Soy Library

예전에 공부했던 Text Mining 관련 r파일을 다시 열어보았다. 노트북을 새로 샀기 때문에 그때 필요했던 패키지들을 새로 설치 해야했다. 근데 'rJava'라는 패키지를 보자 어렴풋이 과거에 이 패키지 설치로 인해 고통받던 내 모습이 떠올랐다.. JAVA_HOME 관련 path설정에서 엄청 찾아보고 해결했던 기억이 있다. 아래 사진에서 보이는 에러메세지 또한 그거에 관련된 내용이다. 하지만 먼저 저 콘솔창의 한글 깨짐 현상부터 해결해야겠다 싶었다. 이건 간단하게 아래와 같이 statement만 적어주면 해결된다. Sys.setlocale("LC_ALL", "English_United States.1252") 그리고 나서 다시 돌려보면 영어로 출력됨을 볼 수 있다. 이제 JAVA_HOME path 관..

통계 전공자들은 수십 개의 통계 과목을 이수하면서 그에 따른 분석방법을 배운다. 이러한 통계적 방법들이 의학연구를 비롯한 다양한 연구에서 많이 사용된다. 따라서 통계 전공자들은 연구 분석을 하기 위해 연구에 사용되는 자료의 특성을 파악하고 어떤 분석 방법이 필요가 되는지 알아야 할 것이다. 가설검정의 원리 가설검정(hypothesis testing)은 모수(parameter)에 대한 가설의 옳고 그름을 판단하는 절차이다. 이때 모수(parameter)란 실험 대상이 되는 모집단(population)에서 우리가 관심 있어하는 값으로 모집단의 특성을 나타낸다. 대표적으로 모평균, 모 분산, 모비율 등이 있다. 현실적으로 모집단의 대상 전체를 조사하기가 불가능하기 때문에 우리는 랜덤 표본을 뽑아 모집단에 대한..

Inverse Computing 우리는 $Ax = b$ 라는 선형 모형에서의 solution을 얘기할 때, 행렬 A는 non-singularity의 성질을 가지고 있어야 하며 그때의 solution은 $A^{-1}b$으로 구한다. 하지만 computing에 있어서 A의 inverse를 구하는 것은 너무 복잡하고 많은 시간이 소요된다. 예를 들자면, $n \times n$ 의 행렬 A는 computing 시 $O(n^2)$ 의 flop이 필요하다. 이때 행렬 A를 $I + uv^T$의 형태로 만들어줌으로써 계산에 필요한 flop은 $O(n)$로 줄어든다. 따라서 행렬의 structure를 잘 이용하면 computation의 속도를 빨리할 수 있다. R 프로그램에서는 solve() 함수를 이용하여 inver..

Stein's Paradox 통계학에서의 추정량의 Efficiency의 정도는 MSE를 기준으로 한다. MSE(Mean Squared Error)가 작으면 작을수록 그 추정량은 좋은 추정량이라고 할 수 있다. 보통 bias가 0인 비편향추정량으로 MLE와 UMVUE가 좋은 추정량으로 생각되는데 Stein's Paradox는 bias가 있다 하더라도 MSE가 더 작게 만들 수 있는 더 좋은 추정량을 생각해낸다. 그 추정량은 'James-Stein Estimator'라고 불린다. JS estimator의 형태는 다음과 같다. 모수의 개수 p가 3보다 크거나 같은 경우에는 JS 추정량의 Risk는 MLE나 UMVUE의 것보다 작은 것을 확인할 수 있다. JS 추정량은 각각의 component들을 origin쪽..