Notice
Recent Posts
Recent Comments
Link
| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- ๊นํธ์ฐ์๊ฐ
- ๋์งํธ๋ง์ผํ
- ์ค๋ธ์
- Github
- ์ ์ฃผ2์ฃผ์ด์ด
- ๋ ํ๊ฐ
- ํผ์๊ณต๋ถํ๋SQL
- PRIMARY KEY
- PRML
- ์ ์ฃผ๋
- R
- SQL
- ๋ฐ๋
- GenAI
- ์๊ตญ์ฌํ
- ๋ณด์กฐ์ธ๋ฑ์ค
- Jupyter notebook
- ๋ง์ง
- ํฐ์คํ ๋ฆฌ์ฑ๋ฆฐ์ง
- ์ ์ฃผ๋์ฌํ
- ํผ๊ณตS
- digital marketing
- ์ ๋ฝ์ฌํ
- RStudio
- Linux
- ์คํ ์ด๋ ํ๋ก์์
- ํด๋ฌ์คํฐํ์ธ๋ฑ์ค
- ์ฑ ๋ฆฌ๋ทฐ
- ์์ด๋ฐ์ฐํธ
- ์คํ๋ผ์ธ
Archives
- Today
- Total
๋ชฉ๋กLLM (1)
Soy Library
[GenAI] LLM ์ข
๋ฅ
LLaMA7B(70์ต ๊ฐ)์์ 65B(650์ต)๊น์ง์ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ฐ์ง ๊ธฐ์ด ์ธ์ด ๋ชจ๋ธ๋ค๋ก ๊ตฌ์ฑ์์กฐ ๊ฐ์ ํ ํฐ์ ๋ํด ํ์ต์ํด. ๊ณต๊ฐ์ ์ผ๋ก ์ด์ฉ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๋ง์ ์ฌ์ฉํ์ฌ๋ ์ต์ฒจ๋จ ๋ชจ๋ธ์ ํ๋ จ์ํฌ ์ ์๋ค๋ ๊ฒIntroduction๊ฐ์ฅ ํฐ ๋ชจ๋ธ์ด ์๋๋ผ ๋ ๋ง์ ๋ฐ์ดํฐ๋ก ํ๋ จ๋ ์์ ๋ชจ๋ธPretraining๊ณต๊ฐ์ ์ผ๋ก ์คํ๋ ๋ฐ์ดํฐ๋ง์ ์ฌ์ฉCCNet ํ์ดํ๋ผ์ธ, Ngram, Linear classifier, fastText ๋ฑ์ ์ด์ฉํ์ฌ data cleansingTokeniner : BPE(Byte Piece Encoding)Architecture: TransformerAdamW OptimizerBPE(Byte-Pair Encoding) ์๊ณ ๋ฆฌ์ฆ๋ฌธ์ ๋จ์ ๊ตฌ์ฑ๋จ์ด ๋จ์ ๊ตฌ์ฑ: ๋ฐ์ดํฐ ํจ์จ์ฑ ์ธก๋ฉด์์๋ ๋จ์ด..
Study/GenAI
2024. 11. 13. 16:15