๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กCoordinateDescentAlgorithm (1)

Soy Library

[ํ†ต๊ณ„๊ณ„์‚ฐ๋ฐฉ๋ฒ•๋ก ] RIDGE ์™€ LASSO

Stein's Paradox ํ†ต๊ณ„ํ•™์—์„œ์˜ ์ถ”์ •๋Ÿ‰์˜ Efficiency์˜ ์ •๋„๋Š” MSE๋ฅผ ๊ธฐ์ค€์œผ๋กœ ํ•œ๋‹ค. MSE(Mean Squared Error)๊ฐ€ ์ž‘์œผ๋ฉด ์ž‘์„์ˆ˜๋ก ๊ทธ ์ถ”์ •๋Ÿ‰์€ ์ข‹์€ ์ถ”์ •๋Ÿ‰์ด๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๋‹ค. ๋ณดํ†ต bias๊ฐ€ 0์ธ ๋น„ํŽธํ–ฅ์ถ”์ •๋Ÿ‰์œผ๋กœ MLE์™€ UMVUE๊ฐ€ ์ข‹์€ ์ถ”์ •๋Ÿ‰์œผ๋กœ ์ƒ๊ฐ๋˜๋Š”๋ฐ Stein's Paradox๋Š” bias๊ฐ€ ์žˆ๋‹ค ํ•˜๋”๋ผ๋„ MSE๊ฐ€ ๋” ์ž‘๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ๋” ์ข‹์€ ์ถ”์ •๋Ÿ‰์„ ์ƒ๊ฐํ•ด๋‚ธ๋‹ค. ๊ทธ ์ถ”์ •๋Ÿ‰์€ 'James-Stein Estimator'๋ผ๊ณ  ๋ถˆ๋ฆฐ๋‹ค. JS estimator์˜ ํ˜•ํƒœ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค. ๋ชจ์ˆ˜์˜ ๊ฐœ์ˆ˜ p๊ฐ€ 3๋ณด๋‹ค ํฌ๊ฑฐ๋‚˜ ๊ฐ™์€ ๊ฒฝ์šฐ์—๋Š” JS ์ถ”์ •๋Ÿ‰์˜ Risk๋Š” MLE๋‚˜ UMVUE์˜ ๊ฒƒ๋ณด๋‹ค ์ž‘์€ ๊ฒƒ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋‹ค. JS ์ถ”์ •๋Ÿ‰์€ ๊ฐ๊ฐ์˜ component๋“ค์„ origin์ชฝ..

Study/Statistics 2020. 4. 25. 01:18