욱이의 냉철한 공부

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Error Analysis 1) Carrying out error analysis - examples 확인 강아지를 고양이로 잘못 카테고리화 한 경우 찾는다. * 선택 10% error : 100장 중 50장이 mislabeled라면 수정하는 것이 가치가 있을 수 있다. ex) 100장 중 강아지를 고양이로 잘못 분류한 경우가 50장! - parallel 방식의 error analysis - 요약 요약하자면, 오류 분석을 실행하는데에는 먼저 dev set나 devleo..

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Introduction to ML Strategy 1) Why ML Strategy? ​ ​ 2) Orthogonalization ​ ​ ​ ​ ​ ​ 2. Setting up your goal 1). Single number evaluation metric - idea – code – experiment - 다양한 평가지표 평가지표 : Precision, Recall 새로운 평가지표 : F1 score 또 다른 방법 : 알고리즘 대륙 전체 평균 ​ 2). Satisf..

출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Normalizing inputs - normalize(표준화) 특징 신경망을 훈련시킬 때, 트레이닝의 속도를 높일 수 있는 방법. ​ - normalize(표준화) 를 하는 이유 표준화를 실행하여 모든 특성값들이 비슷한 범위 값을 가진다면 빠른 속도로 학습을 진행할 수 잇다. ​ ​ ​ 2. Vanishing / Exploding gradients : 가중치 초기화를 적절하게 해야하는 이유 ​ ​ 3. Weight Initialization for Deep Network..

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. train, dev(validaton), test 1) 데이터 양에 따른 train, dev(validaton), test 특징 - 스몰데이터일 경우(데이터 양이 100, 1000, 10,000) train : 70%, test : 30% train : 60%, dev : 20%, test : 20% - 빅데이터일 경우(데이터 양이 1,000,000 이상일 경우) train : 98%, dev : 1%, test : 1% * 검증데이터는 임계치에 맞게 어느 정도 값만 쓰면..

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. Deep L-layer neural network - What is a deep neural network? 로지스틱 회귀분석 모델을 굉장히 "shallow"한 모델이라고 표현 반면에 층이 2개 이상인 모델은 "deeper model"이라고 표현 shallow와 depth의 차이는 결국 그 정도의 차이 ​ * 신경망의 층을 세는 경우, 입력값의 층은 세지 않는다. ​ ​ 2. Forward propagation in a deep network ​ ​ ​ ​ ​ 3. Get..

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. * 목차 1. 학습과 평가를 위한 Dataset 개념 2. 학습최적화 : Optimizer, Momentum과 아이들 3. 학습최적화 : Mini-batch (미니 배치) 4. 학습최적화 : Batch Normalization (배치 정규화) 5. 학습최적화 : The problem of local optima 1. 학습과 평가를 위한 Dataset 개념 - Training Dataset 처음 확인하는 것은 아키텍쳐가 많은 데이터 양을 잘 학습하도록 잘 구축되어 있는가를 확..

* 자료출저 및 참고논문 - 강의 Coursera, Andrew Ng 교수님 인터넷 강의 - 논문 Word2Vec: 2013, Effcient Estimation of Word Representations in Vector Space * Word Representation 관점 : Word Embedding 만들기 1. Discrete Representation : Local Representation 1) One - hot Vector - One - hot Vector 2) Count Based - Bag of Words (BoW) - Document-Term Matrix (DTM) - (TDM) - Term Frequency-Inverse Document Frequency (TF - IDF) - N-..

* 자료출저 및 참고논문 - 강의 Coursera, Andrew Ng 교수님 인터넷 강의 - 논문 NPLM : A Neural Probabilistic Language Model * Word Representation 분류체계 1. Discrete Representation : Local Representation 1) One - hot Vector - One - hot Vector 2) Count Based - Bag of Words (BoW) - Document-Term Matrix (DTM) - (TDM) - Term Frequency-Inverse Document Frequency (TF - IDF) - N-gram Language Model (N-gram) ​ 2. Continuous Repre..