[선형대수학] 선형회귀

*

패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 정리.

명지대 산업경영공학과 김도현 교수님 데이터마이닝 강의 정리.

 

 

 

---

 

* 목차

선형회귀

1) 회귀분석 개요

2) 선형대수학적 접근 - 선형회귀

3) 선형대수학적 접근 - 최소자승법(Ordinary Least Squares, OLS)

4) 선형대수학적 접근 - 가역행렬 도출

​

​

통계의 "가설검증, 유의성검증" , 데이터마이닝의 "예측도출" 접근은 나중에..

여기서는 "최소자승법 계산"에 집중.

​

 

---

​

 

1) 회귀분석 개요

- 회귀분석

연구대상이 되는 시스템에 존재하는 변수들 사이의 함수적인 관계를 규명하기 위해 수학적인 모형을 상정하고, 이 모형을 수집된 자료로부터 추정하는 통계적 기법.

​

- '회귀'라는 말 유래

영국의 유전학자 갈튼(Galton)

아버지와 아들의 키의 관계에 대한 연구에서 유래

ex) 아들의 키는 또래의 평균키로 회귀하려는 경향이 있음.

​

- 회귀분석의 목적

1. 변수간의 관계를 기술하고 설명

ex) 아파트 평수와 전기소모량의 관계

2. 예측 (prediction)

ex) 아파트 평수에 따른 전기소모량 예측

​

- 회귀분석 : 설명모델

목표 : 예측변수(설명변수, 독립변수, 회귀변수)와 목표변수(종속변수, 타깃변수, 반응변수)사이의 관계 설명

모델목표 : 데이터를 잘 적합하고 모델에 대한 설명변수들의 기여 정도를 이해

데이터 분석에서 회귀분석을 사용하는데 많이 쓰임

적합도 검증 : R2, 잔차분석

​

- 회귀분석 : 예측모델

목표 : 예측변수 값은 있지만, 목표변수의 값이 없는 경우 다른 데이터로부터 목표변수의 값을 예측

모델목표 : 예측 정확성 최적화

전통적 데이터마이닝 맥락

학습데이터에서 학습모델 생성후, 테스트 데이터에서 성능 평가.

예측변수의 설명변수로서의 역할이 주요한 목적이 아님.

​

​

​

​

2) 선형대수학적 접근 - 선형회귀

- 선형회귀 구조

​

- 선형회귀 연립방정식

Over-determinded 상황

방정식의 개수 n이 미지수의 개수 K보다 더 많은 상황이다.

이 같은 상황에서는 역행렬이 아닌 가역행렬을 사용하여 근접한 해를 구해야 함.

- 선형대수학적 표기

​

​

​

​

3) 선형대수학적 접근 - 최소자승법(Ordinary Least Squares, OLS)

=> 오차값이 최소가 되게 하도록 하는 계수값은 식의 미분값이 0이 되게 하는 것과 같다.

​

​

​

​

​

4) 가역행렬 도출

​