Notice
Recent Posts
Recent Comments
Link
| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- ์ ์ฃผ๋์ฌํ
- Jupyter notebook
- ์์ด๋ฐ์ฐํธ
- R
- GenAI
- ๋ณด์กฐ์ธ๋ฑ์ค
- ๋ ํ๊ฐ
- Github
- ์๊ตญ์ฌํ
- ๋ฐ๋
- ๊นํธ์ฐ์๊ฐ
- PRML
- ์ ์ฃผ๋
- ์ ์ฃผ2์ฃผ์ด์ด
- ํผ์๊ณต๋ถํ๋SQL
- RStudio
- ์ ๋ฝ์ฌํ
- ์คํ ์ด๋ ํ๋ก์์
- digital marketing
- SQL
- ๋ง์ง
- ์ค๋ธ์
- ํผ๊ณตS
- PRIMARY KEY
- ํฐ์คํ ๋ฆฌ์ฑ๋ฆฐ์ง
- ์ฑ ๋ฆฌ๋ทฐ
- ๋์งํธ๋ง์ผํ
- Linux
- ์คํ๋ผ์ธ
- ํด๋ฌ์คํฐํ์ธ๋ฑ์ค
Archives
- Today
- Total
๋ชฉ๋ก2024/11/13 (1)
Soy Library
[GenAI] LLM ์ข
๋ฅ
LLaMA7B(70์ต ๊ฐ)์์ 65B(650์ต)๊น์ง์ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ฐ์ง ๊ธฐ์ด ์ธ์ด ๋ชจ๋ธ๋ค๋ก ๊ตฌ์ฑ์์กฐ ๊ฐ์ ํ ํฐ์ ๋ํด ํ์ต์ํด. ๊ณต๊ฐ์ ์ผ๋ก ์ด์ฉ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๋ง์ ์ฌ์ฉํ์ฌ๋ ์ต์ฒจ๋จ ๋ชจ๋ธ์ ํ๋ จ์ํฌ ์ ์๋ค๋ ๊ฒIntroduction๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ด ์๋๋ผ ๋ ๋ง์ ๋ฐ์ดํฐ๋ก ํ๋ จ๋ ์์ ๋ชจ๋ธPretraining๊ณต๊ฐ์ ์ผ๋ก ์คํ๋ ๋ฐ์ดํฐ๋ง์ ์ฌ์ฉCCNet ํ์ดํ๋ผ์ธ, Ngram, Linear classifier, fastText ๋ฑ์ ์ด์ฉํ์ฌ data cleansingTokeniner : BPE(Byte Piece Encoding)Architecture: TransformerAdamW OptimizerBPE(Byte-Pair Encoding) ์๊ณ ๋ฆฌ์ฆ๋ฌธ์ ๋จ์ ๊ตฌ์ฑ๋จ์ด ๋จ์ ๊ตฌ์ฑ: ๋ฐ์ดํฐ ํจ์จ์ฑ ์ธก๋ฉด์์๋ ๋จ์ด..
Study/GenAI
2024. 11. 13. 16:15