욱이의 냉철한 공부

1. Transfer learning 개념 적은 이미지 데이터 세트에서 딥러닝을 적용하기 위한 효과적인 방법은 전이학습이다. 전이학습은 높은 정확도를 비교적 짧은 시간 내에 달성할 수 있게 해주기 때문에 컴퓨터 비전 분야에서 널리 쓰이는 방법론이다. 일반적으로 대규모 이미지 데이터 세트에서 사전 훈련된 DCNN 모델을 새로운 task에 적합하도록 수정하여 활용한다. 그림 10과 같이 기존 DCNN 모델에서는 하위계층이 일반적인 특징을 추출하도록 학습이 이루어지고, 상위계층은 특정 문제에서만 나타날 수 있는 구체적인 특징을 추출하도록 학습되어 졌다. 전이학습 시 하위계층들은 일반적으로 재사용될 수 있지만, 상위계층은 데이터 크기와 유사성에 따라 재학습이 필요하다. 전이학습을 진행하는 방법은 그림 11처럼 ..

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Error Analysis 1) Carrying out error analysis - examples 확인 강아지를 고양이로 잘못 카테고리화 한 경우 찾는다. * 선택 10% error : 100장 중 50장이 mislabeled라면 수정하는 것이 가치가 있을 수 있다. ex) 100장 중 강아지를 고양이로 잘못 분류한 경우가 50장! - parallel 방식의 error analysis - 요약 요약하자면, 오류 분석을 실행하는데에는 먼저 dev set나 devleo..

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Introduction to ML Strategy 1) Why ML Strategy? ​ ​ 2) Orthogonalization ​ ​ ​ ​ ​ ​ 2. Setting up your goal 1). Single number evaluation metric - idea – code – experiment - 다양한 평가지표 평가지표 : Precision, Recall 새로운 평가지표 : F1 score 또 다른 방법 : 알고리즘 대륙 전체 평균 ​ 2). Satisf..

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Tuning process 1) 일반적인 우선순위 1. a(학습률) 2. b(모멘텀 값), hidden units(은닉층 유닛수), mini-batch size(미니배치 크기) * Adam 최적화 알고리즘 사용시 : b1[0.9], b2[0.99], 앱실론[10-8] 초기화 3. layers(층 개수), learning rate decay(학습속도감쇠법) 등 2) Hyperparameters 서칭 방법 1. 그리드서치 그리드서치는 매개변수 적을 때 유용하다. 중요한 파..

출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Normalizing inputs - normalize(표준화) 특징 신경망을 훈련시킬 때, 트레이닝의 속도를 높일 수 있는 방법. ​ - normalize(표준화) 를 하는 이유 표준화를 실행하여 모든 특성값들이 비슷한 범위 값을 가진다면 빠른 속도로 학습을 진행할 수 잇다. ​ ​ ​ 2. Vanishing / Exploding gradients : 가중치 초기화를 적절하게 해야하는 이유 ​ ​ 3. Weight Initialization for Deep Network..

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. train, dev(validaton), test 1) 데이터 양에 따른 train, dev(validaton), test 특징 - 스몰데이터일 경우(데이터 양이 100, 1000, 10,000) train : 70%, test : 30% train : 60%, dev : 20%, test : 20% - 빅데이터일 경우(데이터 양이 1,000,000 이상일 경우) train : 98%, dev : 1%, test : 1% * 검증데이터는 임계치에 맞게 어느 정도 값만 쓰면..

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. Deep L-layer neural network - What is a deep neural network? 로지스틱 회귀분석 모델을 굉장히 "shallow"한 모델이라고 표현 반면에 층이 2개 이상인 모델은 "deeper model"이라고 표현 shallow와 depth의 차이는 결국 그 정도의 차이 ​ * 신경망의 층을 세는 경우, 입력값의 층은 세지 않는다. ​ ​ 2. Forward propagation in a deep network ​ ​ ​ ​ ​ 3. Get..

LSTM(model)을 이해하기 전에 Sequence(data 특징)와 RNN(model)을 차례로 애해하는 것이 우선입니다. ​ 참고로 Sequence data를 다루는 model을 Sequence model이라고 합니다. 이 Sequence model에 대표적으로 RNN, GRU, LSTM이라는 model들이 있습니다. 여기서 LSTM은 RNN보다 더 좋은 장점이 있기 때문에 많이 사용됩니다. 물론 어떤 문제에 접근하냐에 따라, LSTM, GRU, RNN 사용이 결정되기도 합니다. 무조건 LSTM을 사용한다고 좋은 성능을 가져오는 것은 아닙니다. 예를 들어 간단한 문제에 LSTM을 사용하면 역효과가 생길 수 있고, 시간적 순서의 영향이 약한 문제에는 LSTM의 효과가 없을 수 있습니다. 음..날씨, ..