목록데이터 공부, 실무, 연구 (91)

욱이의 냉철한 공부

[딥러닝 기본] Hyperparameter tuning : 하이퍼파라미터 튜닝

* 출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Tuning process 1) 일반적인 우선순위 1. a(학습률) 2. b(모멘텀 값), hidden units(은닉층 유닛수), mini-batch size(미니배치 크기) * Adam 최적화 알고리즘 사용시 : b1[0.9], b2[0.99], 앱실론[10-8] 초기화 3. layers(층 개수), learning rate decay(학습속도감쇠법) 등 2) Hyperparameters 서칭 방법 1. 그리드서치 그리드서치는 매개변수 적을 때 유용하다. 중요한 파..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:40
[딥러닝 기본] Deep Learning 학습최적화 셋팅

출저 본 개념정리는 제 지도교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 대부분 Andrew 교수님의 Coursera 수업자료입니다. 1. Normalizing inputs - normalize(표준화) 특징 신경망을 훈련시킬 때, 트레이닝의 속도를 높일 수 있는 방법. ​ - normalize(표준화) 를 하는 이유 표준화를 실행하여 모든 특성값들이 비슷한 범위 값을 가진다면 빠른 속도로 학습을 진행할 수 잇다. ​ ​ ​ 2. Vanishing / Exploding gradients : 가중치 초기화를 적절하게 해야하는 이유 ​ ​ 3. Weight Initialization for Deep Network..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:35
[딥러닝 기본] Setting up your ML application

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. train, dev(validaton), test 1) 데이터 양에 따른 train, dev(validaton), test 특징 - 스몰데이터일 경우(데이터 양이 100, 1000, 10,000) train : 70%, test : 30% train : 60%, dev : 20%, test : 20% - 빅데이터일 경우(데이터 양이 1,000,000 이상일 경우) train : 98%, dev : 1%, test : 1% * 검증데이터는 임계치에 맞게 어느 정도 값만 쓰면..
데이터과학/개념 : Deep Learning 2022. 3. 28. 07:06
[딥러닝 기본] Deep learning 학습개념 2

* 출저 본 개념정리는 제 담당교수님이신 연세대학교 정보대학원 김하영 교수님 수업과 Andrew 교수님의 Coursera 수업을 통해 얻은 정보를 통해 정리했습니다. 자료는 Andrew 교수님의 Coursera 수업자료입니다. ​ 1. Deep L-layer neural network - What is a deep neural network? 로지스틱 회귀분석 모델을 굉장히 "shallow"한 모델이라고 표현 반면에 층이 2개 이상인 모델은 "deeper model"이라고 표현 shallow와 depth의 차이는 결국 그 정도의 차이 ​ * 신경망의 층을 세는 경우, 입력값의 층은 세지 않는다. ​ ​ 2. Forward propagation in a deep network ​ ​ ​ ​ ​ 3. Get..
데이터과학/개념 : Deep Learning 2022. 3. 28. 06:59
[R, DB연동] MySQL과 연동하여 R에서 SQL 사용하기

* ORACLE과 연동하기 전에 이해하고 해야 할 것이 있다. 1. rJava : 이 패키지로 자바에 있는 리소스를 가져 올 수 있다. 즉 rjdbc를 사용할 수 있다. 이러한 패키지를 사용하기 위해서는 jdk가 필요하다. 그래서 보통 R을 설치하기 전에 자바를 설치한다. 2. rjdbc : R하고 자바가 설치되어 있어야 사용할 수 있다. 모든 데이터베이스하고 연동하게 해준다. 3. mysql-connector-java-5.1.38-bin.jar jar 파일은 자바패키지 파일 덩어리이다. DB연동을 위해 mysql-connector-java-5.1.38-bin.jar에 있는 패키지를 사용할 것이다. 1. MySQL 연결 - JDBC() 함수를 사용하여 자바패키지를 사용한다. - 자바패키지를 사용할 수 있..
데이터분석/R 2021. 6. 28. 06:33
[R, 시각화, 패키지] googleVis 패키지 사용하여 구글 그래프 그리기

* 우리가 R을 쓰는 이유 : 시각화, 통계 패키지를 비롯하여 수많은 패키지 + 다른 언어, 툴과 연결 https://warm-uk.tistory.com/64?category=810499 [R, 정리] R의 특징과 장점, 사용이유 R은 제가 가장 자주, 잘 사용하는 툴이자 언어에요. 처음 데이터 공부를 R로 시작했기 때문에 그런 것일지도 모릅니다. Python을 자주 사용하면서 익히고 싶지만.. 아직 스몰데이터만 만져본 저에 warm-uk.tistory.com * 구글 그래프 - 자바스크립 이용한 기술이다. - 구글이 만든 무빙 그래프(설정에 의해서 움직이는 그래프) ,인터랙티브 그래프(마우스 움직임에 반응해 실시간으로 형태가 변하는 그래프) - R은 수많은 언어와 화합할 수 있고, R을 이용하여 자바스..
데이터분석/R 2021. 6. 28. 06:28
[R, 시각화, 패키지] ggmap 패키지 사용하여 지도 그리기(R까기)

제가 블로그에 올리는 R 내용은 제가 학교 수업, 국비 수업, 책, 구글링, 프로젝트를 통해 습득했던 내용을 요약 정리해서 웬만하면 다른 데이터에 적용해서 포스팅 하고 있어요. (현재 기준으로 아직 워드클라우드, 데이터마이닝 패키지들, 구글그래프, 텍스트클러스터링, shiny 등등 .. 포스팅 할 것이 많네용 ) ggmap 패키지는 책 R까기의 내용을 실행하는 것을 올리도록 할께요~! 개인적으로 책으로 R에 입문할 때, (R 관련 책을 많이 읽어 본 건 아니지만...) R까기, R까기2 가 가장 좋은 책 같아요. R까기는 시각화 위주로 나왔고, R까기2는 R에서 기본적으로 사용할 수 있는 데이터 처리, 시각화, 통계적인 부분 이해하기 쉽게 쓰여진 책이에요 1. 지도 그리는 ggmap패키지 사용하기. * ..
데이터분석/R 2021. 6. 28. 06:23
[R, 크롤링, 패키지] XML 패키지 사용하여 웹에서 그래프 가져오기

R에서 XML 패키지를 사용하면 웹에서 쉽게 그래프를 크롤링 할 수 있어요~! 크롤링 함수를 알아볼께요~! 1. 패키지 설치 - XML 패키지를 설치한다. 2. 도표(Table) 가져오기 - 본인은 스포츠 통계 사이트에 들어가서 빨간색 박스의 '프리미어리그 최근 경기 결과 도표' 를 크롤링 하겠다. - 해당링크 : http://www.betstudy.com/soccer-stats/c/england/premier-league/2017-2018/ - 도표가 있는 크롤링 할 사이트의 링크를 입력한다. - XML 패키지의 readHTMLTable() 함수에 주소링크를 입력한다. - length() 함수를 통해 몇 개의 테이블을 R로 가져왔는지 확인한다. - 빨간색 박스를 통해 원하는 표를 크롤링 했다는 것을 확..
데이터분석/R 2021. 6. 28. 06:16
이전 Prev 1 2 3 4 5 ··· 12 Next 다음