본문 바로가기

수학 및 통계학

(해석학 공부 중) 4월 21일, 루트 2의 무리수 증명과 귀류법 수학적 논리력과 rigor에 대해 이해하기 위해... Abott 책 읽으면서(하루에 2페이지) 공부 및 정리 중입니다... ㅎㅎ 개인 정리 용도임으로 자세한 내용은 교재 등을 참고 바랍니다. Hardy라는 사람은 말년에 A Mathematician's Apology라는 에세이를 한 편 남겼다. 거기서 그는 '수학의 아름다움'에 대해 언급하면서, sqrt(2)가 무리수(irrational)하다는 피타고라스파의 B.C. 500년의 중명에 대해 말한다. Theorem) 제곱근의 값이 2인 유리수는 존재하지 않는다. 이 Theorem은 다음과 같이 증명할 수 있는데, 이 때 귀류법(proof by contradiction)이라는 방법을 사용한다. 귀류법은 명제가 참이라 가정하고 논리를 쭉 이어나가다가, 결국에는.. 더보기
확률분포의 모수 추정, (1) 표본분포와 중심극한정리 모수 추정(Parameter estimation)은 수리통계학이 본격적으로 시작되는 지점이라고 할 수 있습니다. 또한 회귀분석 등의 next subject와 Machine learning 분야와의 연관성이 성립되는 구간이기도 하며, 개인적으로는 머신러닝이던 고전(?) 통계학이던 결국에는 하고자 하는 것이 무엇인지, 본질적인 목적성을 생각해 보게 되는 파트이기도 합니다. 오늘은 확률분포의 모수 추정에 대한 내용을 간략히 정리해 보고, 중심극한정리를 짚고 넘어가겠습니다. 다음 포스팅에서는 모수추정의 대표적인 방법인 적률법에 대해서 알아보도록 하겠습니다. 이 과정에서 이전 포스팅에서 공유했던 부트스트래핑(Bootstrapping)과 리샘플링에 대한 이야기를 간략하게 짚고 넘어가겠습니다. 1. 모수 추정이란 무.. 더보기
Quantile Regression(분위수 회귀)의 개념과 R 적용 Quantile Regression은 기존의 선형회귀와 많은 부분이 비슷하지만, conditional mean이 아닌 conditional median을 추정한다는 큰 차이점이 있습니다. 우리나라 말로는 분위수 회귀라고도 합니다. 오늘 포스팅에서는 분위수 회귀에 대해 디테일하게 살펴보고, R로 적용해보는 시간을 갖도록 하겠습니다. 1) 최소자승법과의 차이? 분위수회귀는 최소자승법의 수학적 구조와는 다른 방향성을 갖고 있습니다. 선형대수학적 관점으로 봤을 때 최소자승법은 inner product space에서의 projection matrix등의 문제로 접근할 수 있지만, 분위수회귀는 선형프로그래밍을 simplex method로 해결하는 방식입니다. simplex method에 대해서는 다음의 두 링크를 .. 더보기
(PRA) 회귀분석 1. 데이터 분석의 전반적 컨셉 이 시리즈는 Practical Regression and Anova using R, JJ Faraway, 2002를 공부하면서 정리했습니다. 개인적 사용을 위한 copyright 제한을 따로 걸어두지 않았고 pdf도 무료배포 중입니다. 회귀분석 운을 떼기에 좋은 책이라고 생각합니다. 수학적으로 엄밀하게 증명하면서 따져가는 책은 아니고 multivariate case는 살펴보지 않게 됩니다. * 데이터 분석에 대한 전반적 소고 통계학은 '문제의식'으로부터 시작됩니다. 따라서 문제가 무엇인지 정확히 인지하는 것이 중요합니다. 이를 위해 다음과 같은 사항을 생각해봅시다. 흔히 도메인 지식이라고 부르는, 주어진 데이터의 underlying background를 항상 고려합시다. 분석의 목적이 무엇인지 명확히 인.. 더보기
(베이지안) 가우시안(Normal) 분포와 베이지안 접근법의 기초 이 글은 개인적으로 공부한 내용을 간략하게 정리하기 위한 포스팅입니다. 상세한 내용은 전공 교재들을 참고하시는 것이 좋습니다. Normal Modeling 가우시안 분포는 다음과 같은 수식의 PDF를 갖는 함수다. 수많은 분야에서 적용되는 분포다. 이는 이 분포가 가지고 있는 ‘정상성’(normality) 때문. 작은 사건들이 모여 극한에서는 normal한 모습을 보이는 실제 데이터들 긴 꼬리(long tail)를 갖지 않는 대칭분포 현상들을 아주 잘 적합하는 모델. 수식의 수학적 특성 때문에(해석학적 특성 및 닫힌 꼴의 연산). 따라서 많은 모델링 수업의 첫 발걸음. 심지어 심플한 포아송이나 이항분포보다도 더욱 introductory. 그렇다고 해서 가우시안 분포가 모든 현상을 다 설명하는 킹왕짱 분포.. 더보기
(데이터과학 인터뷰 질문) (7) 확률분포 1. 베르누이와 이항분포 이 글 시리즈는 zzsza.github.io/data/2018/02/17/datascience-interivew-questions/에 있는 에 스스로 대답해보면서 정리해보고자 적어가는 글입니다. 주인장 분께 감사의 말씀 드립니다! 다양한 확률분포들에 대해서. 1편 - 베르누이, 이항, 카테고리(다항) 분포 다음 포스팅 몇 편 동안 다양한 확률분포들에 대해 알아보자. edwith에서 하버드 Statistics 110(확률론 기초) 강의를 제공한다. 교수님의 강의력이 아주 상당하고 자막도 퀄리티가 좋으니 더 깊은 공부를 하고 싶다면 꼭 참고하자. 아래의 표기도 대부분 해당 강의를 따른다. 오늘 살펴볼 분포들은 discrete distrubution들이다. 우리나라 말로는 이산분포다. 이산확률분포에 대해 정의.. 더보기
(토막글 및 잡설) 선형회귀에서 '선형'의 의미 선형회귀는 처음 구축되었을 때나 지금이나 강력하고 유의미한, 이 세상을 설명하는 방법론입니다. 머신러닝과 딥러닝의 시대를 살아가고 있다고 이야기하는 지금도 선형회귀모형의 기본 아이디어, 즉 (세상의 어떠한 현상 Y) = (적절한 변수들 X) + (X와 관계없는 잡음 u) 로 모델링할 수 있다는 일종의 신념(?)은 사실상 머신러닝과 딥러닝에서도 동일하게 스며들어 있습니다. 다만 머신러닝과 딥러닝은 이를 갈수록 발전하는 computational capacity를 이용하여 해결하고자 하는 것이지요. 그 단적인 예가 요새 캐글에서 유행하는 GB(Gradient Boosting) 계열의 알고리즘들이지 않을까 생각합니다(GB가 error term u에 대해서 접근하는 방식을 생각해보세요) 어쨌든, 선형회귀가 복잡한.. 더보기
(데이터과학 인터뷰 질문) (6) 확률변수와 확률모형의 차이 이 글 시리즈는 zzsza.github.io/data/2018/02/17/datascience-interivew-questions/에 있는 에 스스로 대답해보면서 정리해보고자 적어가는 글입니다. 주인장 분께 감사의 말씀 드립니다! 확률변수와 확률모형은 무엇인가요? 우선 영어로는 확률변수는 random variable, 확률모형은 probabilistic model이다. 확률변수는 다음과 같이 수학적으로 정의된다. 먼저 말로 풀어서 설명하면 다음과 같다. "모든 가능한 경우의 수의 집합 시그마 => 측정 가능한 공간 E" 로 전사하는 함수 측정 가능한 공간(measurable space)를 이야기하려면 측도론이라는 학문을 알아야 한다. 여기서 시그마 대수 등의 용어를 배우게 된다(사실 이 부분은 본인도 잘.. 더보기

티스토리툴바