| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 빅데이터처리
- 데이터시각화
- 딥러닝
- Deeplearning
- pandas
- Python
- 하둡
- SQL
- 그래프
- ggplot
- 데이터
- 데이터분석
- AI
- CNN
- Hadoop
- 머신러닝
- 데이터처리
- lstm
- r
- 빅데이터
- 기계학습
- R시각화
- 주가예측
- 그래프시각화
- NLP
- R그래프
- word2vec
- HIVE
- R프로그래밍
- 자연어처리
- Today
- Total
목록빅데이터분석 (2)
욱이의 냉철한 공부
[Hadoop, 하둡] 빅데이터 MAPREDUCE로 WordCount
하둡 대표 명령어 - OS명렁어(unix명령어)하고 비슷한 shell 명령어 - hadoop fs -help : 하둡 fs에서 제공하는 명령어 확인 - hadoop fs -ls : 지정된 폴더나 파일 정보를 출력, 권한정보, 소유자, 생성일자, 바이트 수 확인 - hadoop fs -lsr : 현재 폴더 및 하위 디렉토리 정보까지 출력 - hadoop fs -du : 지정된 폴더나 파일에 사용량을 확인하는 명령어 - hadoop fs -dus : du는 폴더와 파일별 용량 / dus는 전체 합계 용량 - hadoop fs cat : 지정된 파일의 내용을 출력. 텍스트 파일만 출력 - hadoop fs -mkdir : 지정된 경로에 폴더를 생성, 이미 존재하면 error - hadoop fs -put [운..
[Hadoop, 하둡] 빅데이터 하둡 이해하기
빅데이터의 유형 1) 구조화 데이터 - 행과 열로 구조화 되어 있다. - 고객데이터, 업무데이터, 거래데이터 등 - 관계 데이터베이스에 저장 - 앞으로 언급할 관계 데이터베이스 : 오라클-db, my-sql, mariai-db 2) 반구조화 데이터 - XML, JSON : 키와 값 구조로 되어있다. - NoSQL 데이터베이스에 저장 - 앞으로 언급할 NoSQL 데이터베이스 : Mongo-db, Cassndra, Hbase 3) 비구조화 데이터 ,빅데이터 - 텍스트, 동영상, 음성 - 하둡(분산처리시스템)에 저장 및 처리 - 앞으로 언급할 하둡에코시스템 : Hive 1, Hive2, Pig, Hbase, Spark => 빅데이터 및 비구조화 데이터를 저장하고 처리하기 위한 프로그램 하둡을 알아보자! 1. ..