์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- ํผ์๊ณต๋ถํ๋SQL
- ํฐ์คํ ๋ฆฌ์ฑ๋ฆฐ์ง
- ์ ์ฃผ2์ฃผ์ด์ด
- RStudio
- ๋ ํ๊ฐ
- ํด๋ฌ์คํฐํ์ธ๋ฑ์ค
- ๊นํธ์ฐ์๊ฐ
- ๋ฐ๋
- ์ ๋ฝ์ฌํ
- Jupyter notebook
- ์์ด๋ฐ์ฐํธ
- ์ฑ ๋ฆฌ๋ทฐ
- ์ ์ฃผ๋์ฌํ
- ์ค๋ธ์
- Linux
- ์ ์ฃผ๋
- digital marketing
- ๋์งํธ๋ง์ผํ
- ํผ๊ณตS
- PRML
- GenAI
- SQL
- PRIMARY KEY
- ์คํ ์ด๋ ํ๋ก์์
- R
- ๋ง์ง
- Github
- ์๊ตญ์ฌํ
- ๋ณด์กฐ์ธ๋ฑ์ค
- ์คํ๋ผ์ธ
- Today
- Total
๋ชฉ๋ก์ค๋ธ์ (14)
Soy Library
์ ์ฌ์๊ฐ์ ๊ฐ ๊ณณ!์จ์ดํ ์ด ์๋ค๊ณ ํด์ ์กฐ๊ธ ์ผ์ฐ ์ถ๋ฐํ๋ค.๋ ์งฌ๋ฝ๋ฉด, ๋ค๋ฅธ ๋ ๋ถ์ ์งฌ๋ฝ๋ฐฅ, ์ง์ฅ๋ฉด์ ๋์ จ๋ค.์งฌ๋ฝ์ ํ์ด ์ข์๋๋ฐ ์ง์ฅ๋ฉด์ ํ์ด ๊ทธ๋ฆฌ ์ข์ง ์์๋ค. ๊ทธ๋ฅ ์์ ํ์ จ๋ค๊ณ ํ๋ค.๋๋ ์งฌ๋ฝ๋ ๋ง์์์ง๋ง,ํ์์ก์ด,, ์ด์ผ,,,ํ์คํ์์ก์ธ๊ฐ,,? ๊ทธ๋ฌ๋ ๊ฑฐ ๊ฐ์๋ฐ๋ง์๋๋ผ,,,๋ค์์ ๋ ๊ฐ ์ํฅ ์๋ค!
์ปดํจํ ์ฌ๊ณ ๋ ฅ์ ๊ณผ์ : **๋ถํด → ํจํด → ์ถ์ํ → ์๊ณ ๋ฆฌ์ฆ → ์๋ํ (๊ณ ์ ์ ์ด์ง ์์)**- ์ถ์ํ: ๋ณต์กํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์๋ ์ด๋ค ์ํ๋ก ๋ง๋๋ ์ผ๋ จ์ ๊ณผ์ - ์ถ์ํ๋ฅผ ์ข ๋ ๊ตฌ์ฒดํ ํ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง๋ฆ- ์๋ํ: ์ถ์ํ ๋ ๋ฌธ์ ๋ฅผ ์๋ํ ๊ธฐ๊ธฐ๋ฅผ ํตํ์ฌ ํด๊ฒฐํ ์ ์๋๋ก ๋ง๋๋ ๊ณผ์ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด- ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ์๊ณ ๋ฆฌ์ฆ์ ์ปดํจํฐ๋ก ํ์ฌ๊ธ ์คํ์ํค๋๋ก ํ๋ ํ์ ์ธ์ด- ํ๋ก๊ทธ๋๋ฐํ ๊ฒฐ๊ณผ๋ฌผ์ ํ๋ก๊ทธ๋จ ๋๋ ์ํํธ์จ์ด**์ปดํ์ผ๋ฌ ๋ฐฉ์ vs ์ธํฐํ๋ฆฌํฐ ๋ฐฉ์**- **์ปดํ์ผ๋ฌ**: ์ฌ๋์ด ์ดํดํ๋ ํ๋ก๊ทธ๋๋ฐ ์ธ์ด๋ฅผ ์ปดํจํฐ๊ฐ ์ดํดํ ์ ์๊ฒ ๊ธฐ๊ณ์ด๋ก ๋ณํํ๋ ์ํํธ์จ์ด ๋๊ตฌ **(C, C++, JAVA)** - ์คํ์๋ ๋น ๋ฆ - ์ปดํ์ผ ์ดํ์๋ ์๋๊ฐ ์์ฃผ ๋น ๋ฆ - ์ค๋ฅ ๋ฐ๊ฒฌ..
์ด๋ฒ์ ๊ฐํ 1๋ฐ 2์ผ ์ฌํ์ ๊ฐ๋ค.๊ฐํ์ ๋๊ฒ ์ค๋๋ง์ ๊ฐ๋ ๊ฒ ๊ฐ์๋ฐ.. ๊ฐํ์์ ์ผ๋ฌด์ง๊ฒ ๋ ธ๋ ๋ฒ 1. ๋ฒ์ง์ ํ๋ชจ๋์ ๋ฒํท๋ฆฌ์คํธ ์๋๊น๋ฒ์ง์ ํ๋ฅผ ํ๊ธฐ๋ก ํ๋ค.๋ฉ๋ฆฌ์ ๋ณผ ๋ '์~ ์ ์ ๋๋ฉด ๋ฐ์ง~' ์ถ์๋ค.....์ง์ง์ง์ง ๋ฌด์ญ๋ค.๋ฐ๋ ค๊ณ ๋ฐํ๋์ ์ฐ์ ๋๊ฐ ์ ์ผ ๋ฌด์ญ๋ค.5,4,3,2,1 ๋ฒ์ง! ํ ๋ ๋ฐ์ด์ผ ํ๋ค๋ง์ค์ด๋ฉด ๋ ๋ฌด์์์ง๋ค๊ณ ํด์ ๊ทธ๋ฅ ๋ฐ๋ก ๋ฐ์ด๋ฒ๋ ธ๋ค ๐ฃ ๊ฐํ์์ ์ผ๋ฌด์ง๊ฒ ๋ ธ๋ ๋ฒ 2. ๋จ์ด์ฌ๊ฐํํ๋๋ ๋ฐ๋ก ์์ ์๋ ์ ์ฐฉ์ฅ์ผ๋ก ๊ฐ์ ํฐ์ผ์ ๋๊ณ ๋ฐฐํ๊ณ ๋ค์ด๊ฐ๋ฉด ๋๋ค!๋ฌผ๋ก ์ง๋ผ์ธ ํ๊ณ ๊ฐ๋ ๋ฒ๋ ์๋ค.๋จ์ด์ฌ์ ์์ ์ ํ๋ฒ ๊ฐ๋ณด๊ณ ์๊ฐ๋ดค๋ค. ์ฐ์ฑ ํ๊ธฐ์ ์ข๋ค.๋์ฝ์ด ๋ ๋จ์ด์ง๊ธฐ ์ ์ ๊ฐ๋ฉด ๋ ์๋ปค์ ๊ฒ ๊ฐ๋ค. ๊ฐํ์์ฑ ์ผ๋ฌด์ง๊ฒ ๋ ธ๋ ๋ฒ 3. ์์ฐ๊ณผ๋ณ์ฒ๋ฌธ๋์ฒ๋ฌธ๋๋ ํ๋ฒ์ฏค ๊ฐ๋ณด๊ณ ์ถ์๋ค.๋ฒํท..
์ฐ๋ฆฌ ๋๋ค์ ๋จํด๋ฐ๋ค๋ง์ฐจ๋ผ๋ ํ์ง์ด ์๋ค.์๋๋ ํ ์ด๋ธ์ด ์กฐ๊ทธ๋งฃ๊ฒ 3๊ฐ? ์ ๋ ์๋ ๋๊ฒ ์์ ์๋น์ด์๋๋ฐ,์ธ์ ๋ถํด๊ฐ ์๋์ด ์ค์ ์๊ธฐ ์์ํ์๊ณ ,๊ทธ๋์ ๊ฐ์ ๊ฑด๋ฌผ 2์ธต์ผ๋ก ์๋น์ ์ฎ๊ธฐ๋ฉด์์น์น์ฅ๊ตฌ ์ฅ์ฌ๊ฐ ์๋๊ณ ๋ธ๋ฃจ๋ฆฌ๋ณธ๋ ๋งค๋ ๋ค์๋ ๊ฒ ๊ฐ๋ค!์ฌํด๋ ์๋๊ณ ์๋ ์ ๊ฐ์๋๋ฐ, ๋๋ฌด ๋ง์์ด์ ์ด๋ฒ ๊ฒจ์ธ์๋ ๋ ๊ฐ๋ ค๊ณ ํ๋ค, ๋ฐฉ์ด ๋จน์ผ๋ฌ! ์ฌ๊ธด ๊ฒจ์ธ์๋ ๋ฐฉ์ด๋ง ํ๋๋ฐ,, ์ง์ง์ง์ง ๋ง์๋ค. ์ธ๋น 3๋ง์์ธ๊ฐ 3๋ง 3์ฒ์์ธ๊ฐ ํ๋ ๊ฑธ๋ก ์๊ณ ๊น๊ณผ ๋ฌต์์ง๋ ๋์์์ด ๊ณ์ ์ฃผ์ ๋ค.ํ์ ๋ถ์๋ถํฐ ๊ธฐ๋ฆ๊ธฐ ๋ง์ ๋ถ์ ๋ถ์๊น์ง ๋ค์ํ ๋ถ์๋ก ์ฃผ์ ๋ค.์ฝํค์ง๋ ๋๋๊น! ํ์ดํธ ์์ธ์ด๋ ์์ฃผ ๋ค๊ณ ๊ฐ๋ฉด ๋ฑ์ด๋ค~~~~๋ก๋๋ทฐ๊ธธ์ฐพ๊ธฐ์ง๋ ํฌ๊ฒ ๋ณด๊ธฐ
์ค๋์ ์ผ์! ์์นจ๋ถํฐ ๋จธ๋ฆฌ ๋ฟ๋ฆฌ๋งค์ง์ ํ๋ฉฐ ํ๋ฃจ๋ฅผ ์์ํ๋ค! 6์์ ํ์๋๋ฐ ๊ทธ๋ ์ ์๋๋์ง ๋จธ๋ฆฌ๊ฐ ๊ธ๋ฐฉ ๋ถ์ค์คํด์ก๋ค. ๊ทธ๋์ ์ค๋ ๋ฟ๋ฆฌ๋งค์ง์ ํ๋๋ฐ.. ํํ ๋น ์ค๋ ๋ ใ -ใ ์ํผ ๊ทธ๋ฌ๊ณ ๊ฒฝ๋ฏผ์ด๊ฐ ๋ณด๋๋ณต ์ฌ๊ณ ์ถ๋ค๊ณ ํด์ ์ธ์ฃผ์ญ์ผ๋ก ํฅํ๋ค! ์ ์ฌ์ ๊ฐ๋จํ ์ญ์ผ์ญ ์์ ํฌ์ผ๋ฅผ ๋จน์๋ค. ํฌ์ผ ๋๋ฌด ๋ง์๋ค. ๊ทผ๋ฐ ๊ฐ๊ฒฉ์ ๋น์ธ๋ค.๊ทธ๋ฆฌ๊ณ ์ธ์ฃผ์ญ์ผ๋ก ๊ฑธ์ด๊ฐ์ ๋ณด๋์ฝ๋ฆฌ์, 911, ํฝ๋ฅ ์ธ ๊ตฐ๋ฐ๋ฅผ ๋์๋ค๋ ๊ฒฐ๊ณผ! ๊ฒฝ๋ฏผ์ด๋ 911์์ ์ค๋ ธ๋ณด๋ ๋ฐ์ง๋ฅผ ํ๋ ์ฌ๊ณ , ํ๋ฅ์์ ์์ ์์ผ์ ํ๋ ์๋ค. ๋๋ ์ค๋ ธ๋ณด๋๋ณต ๋ ์ฌ๊ณ ์ถ์๋๋ฐ,, ๋ด ํต์ฅ์ ๋ค์ ๋ค์ฌ๋ค๋ณด๊ณ ์ ์ ์ ์ฐจ๋ ธ๋ค. ์ ๋ ์!!! ์ด๋ฒ ์ฃผ ๋ด๋ด ์๋ ๋ผ์ง๊ฐ๋น๋ฅผ ๋จน๊ณ ์ถ์ด์ ๋ง๋ง ์ฐพ์๋ณธ ๊ฒฐ๊ณผ ์ ๋ ผํ์ญ ๊ฐ ํ์ ์ด ์ข์์ ์ด์ชฝ์ผ๋ก ํฅํ๋ค. ๋~~~~๋ฌด ๋ง์์๋ค. ๋น..
์ฌ์๋์ ๋ง์๋ ์๊ณ ๊ธฐ์ง์ ๋ง๋ค๊ฐ๊ฒฉ๋๊ฐ ์กฐ๊ธ ์๋ ํธ์ด์ด์ ๋ชป๊ฐ ๋ฟ...์ค๋์ ์ฐฝ๊ณ 43์ ๋ค๋ ์๋ค!๋ฑ์ฌํ๊ณ ์์ฌ ์ธํธ 150g ๊ธฐ์ค 49,900์์ด์๋ค.ํ์ง๋ง ์ ์ ๊ณ ๊ธฐ ํ ์ ์ ๋ฃ๋ ์๊ฐ, ..., ๊ณ ๊ธฐ ํ ์ ๋ฃ๋ ์๊ฐ ์ ์์ ์ฌ๋ฅด๋ฅด ๋ น์๋ค...์ถ๊ฐ๋ก ๋ฌผ๋๋ฉด ํ๋๋ ์์ผฐ๋๋ฐ, ๋๋ฉด ์์ ๊ณ ๊ธฐ๋ ์กฐ๊ธ ๋ค์ด๊ฐ์๊ณ ๋ฌต์์ง๋ ๋ค์ด์์๋ค. ๋ง์์๋ค.
ํ๋ก์ ํธ์์ ํ์ผ ๋ณตํธํ ๊ณผ์ ์์ java ์ธ์ด๋ฅผ ํตํด ๊ณผ์ ์ ์งํํ๋ ๊ฒ ๊ฐ๋๋ผ ์์คํ ์ ~/java -classpath ~/drm: {๋ณตํธํ.class ํ์ผ} ๋ก ์งํํ๋ ๊ฒ ๊ฐ์ ๊ทผ๋ฐ ์ด๋ .java๋ ๋ญ๊ณ .class๋ ๋ญ๋? .java ํ์ผ๊ณผ .class ํ์ผ - .class ํ์ผ์ .java ํ์ผ์ ์ปดํ์ผ ํจ์ผ๋ก์จ ์์ฑ๋จ .java ํ์ผ์? - ์๋ฐ ๊ท์น์ ๋ง๊ฒ ์์ฑํ ์์ค์ฝ๋ ํ์ผ .class๋? - Java bytecode๋ก ๊ตฌ์ฑ๋ ํ์ผ - JVM(Java virtual Machine)์ ์ํ ํ์ผ๋ก, ์๋ฐ๋ฅผ ์คํํ ์ ์๋ ๋ชจ๋ ์ฅ์น์์ ์คํ ๊ฐ๋ฅ
LLaMA7B(70์ต ๊ฐ)์์ 65B(650์ต)๊น์ง์ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ฐ์ง ๊ธฐ์ด ์ธ์ด ๋ชจ๋ธ๋ค๋ก ๊ตฌ์ฑ์์กฐ ๊ฐ์ ํ ํฐ์ ๋ํด ํ์ต์ํด. ๊ณต๊ฐ์ ์ผ๋ก ์ด์ฉ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๋ง์ ์ฌ์ฉํ์ฌ๋ ์ต์ฒจ๋จ ๋ชจ๋ธ์ ํ๋ จ์ํฌ ์ ์๋ค๋ ๊ฒIntroduction๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ด ์๋๋ผ ๋ ๋ง์ ๋ฐ์ดํฐ๋ก ํ๋ จ๋ ์์ ๋ชจ๋ธPretraining๊ณต๊ฐ์ ์ผ๋ก ์คํ๋ ๋ฐ์ดํฐ๋ง์ ์ฌ์ฉCCNet ํ์ดํ๋ผ์ธ, Ngram, Linear classifier, fastText ๋ฑ์ ์ด์ฉํ์ฌ data cleansingTokeniner : BPE(Byte Piece Encoding)Architecture: TransformerAdamW OptimizerBPE(Byte-Pair Encoding) ์๊ณ ๋ฆฌ์ฆ๋ฌธ์ ๋จ์ ๊ตฌ์ฑ๋จ์ด ๋จ์ ๊ตฌ์ฑ: ๋ฐ์ดํฐ ํจ์จ์ฑ ์ธก๋ฉด์์๋ ๋จ์ด..