목록데이터과학/개념 : Deep Learning (14)

욱이의 냉철한 공부

[딥러닝 기본] Transfer learning (전이 학습)

1. Transfer learning 개념 적은 이미지 데이터 세트에서 딥러닝을 적용하기 위한 효과적인 방법은 전이학습이다. 전이학습은 높은 정확도를 비교적 짧은 시간 내에 달성할 수 있게 해주기 때문에 컴퓨터 비전 분야에서 널리 쓰이는 방법론이다. 일반적으로 대규모 이미지 데이터 세트에서 사전 훈련된 DCNN 모델을 새로운 task에 적합하도록 수정하여 활용한다. 그림 10과 같이 기존 DCNN 모델에서는 하위계층이 일반적인 특징을 추출하도록 학습이 이루어지고, 상위계층은 특정 문제에서만 나타날 수 있는 구체적인 특징을 추출하도록 학습되어 졌다. 전이학습 시 하위계층들은 일반적으로 재사용될 수 있지만, 상위계층은 데이터 크기와 유사성에 따라 재학습이 필요하다. 전이학습을 진행하는 방법은 그림 11처럼 ..
데이터과학/개념 : Deep Learning 2022. 4. 1. 13:22
[딥러닝 기본] ML Strategy 2

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Error Analysis 1) Carrying out error analysis - examples 확인 강아지를 고양이로 잘못 카테고리화 한 경우 찾는다. * 선택 10% error : 100장 중 50장이 mislabeled라면 수정하는 것이 가치가 있을 수 있다. ex) 100장 중 강아지를 고양이로 잘못 분류한 경우가 50장! - parallel 방식의 error analysis - 요약 요약하자면, 오류 분석을 실행하는데에는 먼저 dev set나 devleo..
데이터과학/개념 : Deep Learning 2022. 4. 1. 13:07
[딥러닝 기본] ML Strategy 1 (human-level performance)

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Introduction to ML Strategy 1) Why ML Strategy? ​ ​ 2) Orthogonalization ​ ​ ​ ​ ​ ​ 2. Setting up your goal 1). Single number evaluation metric - idea – code – experiment - 다양한 평가지표 평가지표 : Precision, Recall 새로운 평가지표 : F1 score 또 다른 방법 : 알고리즘 대륙 전체 평균 ​ 2). Satisf..
데이터과학/개념 : Deep Learning 2022. 4. 1. 08:28
[딥러닝 기본] Hyperparameter tuning : 하이퍼파라미터 튜닝

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Tuning process 1) 일반적인 우선순위 1. a(학습률) 2. b(모멘텀 값), hidden units(은닉층 유닛수), mini-batch size(미니배치 크기) * Adam 최적화 알고리즘 사용시 : b1[0.9], b2[0.99], 앱실론[10-8] 초기화 3. layers(층 개수), learning rate decay(학습속도감쇠법) 등 2) Hyperparameters 서칭 방법 1. 그리드서치 그리드서치는 매개변수 적을 때 유용하다. 중요한 파..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:40
[딥러닝 기본] Deep Learning 학습최적화 셋팅

출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Normalizing inputs - normalize(표준화) 특징 신경망을 훈련시킬 때, 트레이닝의 속도를 높일 수 있는 방법. ​ - normalize(표준화) 를 하는 이유 표준화를 실행하여 모든 특성값들이 비슷한 범위 값을 가진다면 빠른 속도로 학습을 진행할 수 잇다. ​ ​ ​ 2. Vanishing / Exploding gradients : 가중치 초기화를 적절하게 해야하는 이유 ​ ​ 3. Weight Initialization for Deep Network..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:35
[딥러닝 기본] Setting up your ML application

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. train, dev(validaton), test 1) 데이터 양에 따른 train, dev(validaton), test 특징 - 스몰데이터일 경우(데이터 양이 100, 1000, 10,000) train : 70%, test : 30% train : 60%, dev : 20%, test : 20% - 빅데이터일 경우(데이터 양이 1,000,000 이상일 경우) train : 98%, dev : 1%, test : 1% * 검증데이터는 임계치에 맞게 어느 정도 값만 쓰면..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:06
[딥러닝 기본] Deep learning 학습개념 2

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. Deep L-layer neural network - What is a deep neural network? 로지스틱 회귀분석 모델을 굉장히 "shallow"한 모델이라고 표현 반면에 층이 2개 이상인 모델은 "deeper model"이라고 표현 shallow와 depth의 차이는 결국 그 정도의 차이 ​ * 신경망의 층을 세는 경우, 입력값의 층은 세지 않는다. ​ ​ 2. Forward propagation in a deep network ​ ​ ​ ​ ​ 3. Get..
데이터과학/개념 : Deep Learning 2022. 3. 28. 06:59
[딥러닝 기본] Deep Learning 핵심개념 : Feature추출에 대한 이해

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. * 목차 1. 딥러닝의 hidden layer 효과 (Network의 Size 중요성) 2. 딥러닝에서의 자유도와 가중치 3. 딥러닝에서의 High-level feature 4. 딥러닝에서의 Bottle neck 현상 1. 딥러닝의 hidden layer 효과 (Network의 Size 중요성) - 개념 더 high-level feature를 학습할 수 있다. 즉 복잡한 문제를 해결 할 수 있게 된다. 왜냐하면 네트..
데이터과학/개념 : Deep Learning 2020. 6. 22. 00:08
이전 Prev 1 2 Next 다음