일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- lstm
- ggplot
- 자연어처리
- 빅데이터처리
- HIVE
- R프로그래밍
- Deeplearning
- AI
- 데이터처리
- Python
- 하둡
- 주가예측
- r
- 데이터시각화
- 기계학습
- SQL
- 그래프
- 빅데이터
- word2vec
- 머신러닝
- Hadoop
- 딥러닝
- 데이터
- pandas
- 데이터분석
- R시각화
- R그래프
- NLP
- 그래프시각화
- CNN
- Today
- Total
목록데이터과학/개념 : Statistics (18)
욱이의 냉철한 공부
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 분류모델링 성능평가 1. 분류모형의 성능평가 2. 성능평가 : 혼동행렬(confusion matrix) : 오분류율, 정확도(Accuracy) 3. 성능평가 : 혼동행렬(confusion matrix) : 민감도(Sensitivity), 특이도(Specificity), 정밀도(Precision) 4. 성능평가 : ROC 곡선 5. 성능평가 : 두 예측모형의 비교검정(McNemar) 6. 베이즈정리 해석 1. 분류모형의 성능평가 - 분류모형의 성능평가 일반적으로 분류 및 예측기법은 다양한 방법이 존재함 그런데 같은 방법에서도 선택사항에 ..
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 로지스틱회귀분석 1. 로지스틱회귀분석 개요 2. 로지스틱회귀분석 원리 3. 로지스틱회귀분석 학습 4, 로지스틱회귀분석 예측 5. 로지스틱회귀모형 해석 6. 로지스틱회귀모형과 선형회귀모형 차이 1. 로지스틱회귀분석 개요 - 로지스틱회귀분석은 어디에 속하는가? * 통계에측모형 1) 수치예측 : 평가방법 : MSE, MAE, RMSE 2) 분류예측 : 평가방법 : Accuracy(정확도), Precision(정밀도), Recall(재현율, 민감도) => 로지스틱회귀모형은 분류예측이다. - 로지스틱회귀분석을 하는 목적 기존 선형회귀분석은 연속형 종속..
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 * 목차 데이터마이닝 모델링 개요 1. 통계와 데이터마이닝 차이 2. 데이터마이닝 모델링 3. 데이터마이닝 모델링 종류 4. 데이터마이닝 모델링 분류 5. 데이터마이닝 변수 종류 6. 데이터마이닝 모델링 과적합 7. 머신러닝에서의 성능평가 개요 1. 통계와 데이터마이닝 차이 - 전통적인 통계 1) 모집단이 있고, 이를 추론하기 위해서 샘플링을 수행 2) 현실에 적용하기 힘든 가정(Assumption) => 모집단의 정규분포, 선형성, 등분산성 등 3) 제안된 가설에 대한 검증이 목적 - 데이터마이닝 1) 모집단을 가지고 있고, 그 안에 숨겨진 패턴과 규칙을 찾는 것이 목적 2) 데이터에 대한 가정이 없음 3) 즉..
* 자료출저 및 참고강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 * 목차 통계모델링 1. 편향오류(과소적합), 분산오류(과적합) 2. 회귀종류 : Ridge 회귀 (L2 정규화) 3. 회귀종류 : Lasso 회귀 (L1 정규화) 4. 회귀종류 : 다항식 회귀 5. 회규종류 : 푸아송 회귀 1. 편향오류(과소적합), 분산오류(과적합) 모형이 편향적 즉 과하게 단순해서 발생하는 오류 2) 분산오류(variance error) : 과적합 오류(overfitting error) 모형이 과하게 복잡하여 발생하는 오류. 매개변수 최적화의 어려움으로 표출 training sample 오류는 작지만, testing sam..
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 통계모델링 1. 선형회귀분석 개요 2. 선형회귀식 원리 3. 선형회귀식 해(OLS (Ordinary Least Squares soluntion)) 1. 선형회귀분석 개요 - 회귀분석 정의 연구대상이 되는 시스템에 존재하는 변수들 사이의 함수적인 관계를 규명하기 위해 수학적인 모형을 상정하고, 이 모형을 수집된 자료로부터 추정하는통계적 기법. - 회귀분석 개요 선형회귀는 대표적인 수치예측기법 한 개 이상의 독립변수(설명변수)가 있음 한 개의 종속변수 선형 관계를 전제 이외에도 여러가지 전제조건 있음. :잔차(오차)에 대한 가설 검정 필요..
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 선형회귀분석 : 모형 유의성 진단 1. 모형의 검토 : t 검정을 적용한 회귀계수의 유의성 진단 2. 모형의 검토 : F 검정을 적용한 회귀모형의 유의성(설명력) 진단 (분산분석) 3. 모형의 검토 : R2 결정계수를 이용한 변동비율 진단 4. 모평의 평가 : MAE, MSE, MSE, RMSE 5. 모형(변수)의 선택 : VIF 4. 모형(변수)의 선택 : AIC, BIC 1. 모형의 검토 : t 검정을 적용한 회귀계수의 유의성 진단 - 목적 모형의 설명변수들은 통계적으로 유의미 있는지 확인 즉 개개의 회귀계수에 대한 t검정을 실시 - ..
* 자료출저 및 참고강의 명지대 산업경영공학과 데이터마이닝 김도현 교수님 강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 통계모델링 1. 잔차(오차) 분석 : 타당성 진단 (전제조건 진단) 2. 잔차(오차) 분석 : 영향력 진단 3. 레버리지 분석 : 영향력 진단 4. 쿡의 거리 분석 : 영향력 진단 1. 잔차(오차) 분석 : 타당성 진단 (전제조건 진단) - 잔차 정의 잔차는 실제 반응변수 값과 추정된 반응변수 값의 차이 - 타당성 검토해야 할 4가지 1) 선형성 : 종속변수는 설명변수의 선형조합으로 설명이 가능하다. 그러므로, 잔차에는 추세 없음 2) 독립성 : 잔차는 순서와 상관없이 독립적. => 특정 패턴을 보이지 말아야 한다. 3) 정상성 : 잔..
* 자료출저 및 참고강의 패스트캠퍼스 올인원 패키지(금융공학/퀀트) 장순용 강사님 인터넷 강의 * 목차 통계분석 : 가설검정 : 비모수검정 1. 비모수 검정 (Non-parametric hypothesis test) 2. 비모수 검정 : 부호검정 (부호) 3. 비모수 검정 : Mann-Whitney U 검정 (순위) 4. 비모수 검정 : Wilcoxon 검정 (부호+순위) 5. 비모수 검정 : Shapiro-Wilk 검정 (정상성) 1. 비모수 검정 (Non-parametric hypothesis test) - 비모수인 경우 모집단의 확률분포에 대한 전제가 없음. 표본으로 계산한 통계량이 모집단의 모수와 통계적 관계가 없음 ex) 표본 크기 매우 작음 2. 부호 검정 (Sign test..