목록데이터분석 (28)

욱이의 냉철한 공부

[데이터 크롤링] requests, BeautifulSoup

* 목차 1. request 2. request : get 방식 3. request : post 방식 4. header값을 수정하는 방법. 5. Session 6. BeautifulSoup * http의 응답 상태코드 => 서버에서 처리결과를 응답메시지의 상태코드를 통해 확인 가능 => 상태코드의 종류 상태코드 의미 200 - OK 서버가 요청을 성공적으로 처리 301 - Moved Permanenlty 요청한 리소스가 새로운 URI로 이동 400 - Bad Request 클라이언트의 요청이 잘못 되었음 401 - Unauthorized 인증되지 않아 지정한 리소스에 대한 권한 없음 403 - Forbidden 요청에 대한 허가가 금지되었음 404 - Not Found 지정한 리소스가 존재하지 않음 50..
데이터분석/Python : Crawling 2020. 4. 20. 19:34
[데이터 크롤링] 개요

* 목차 1. HTML 2. 인터넷 기본 용어 3. HTTP 요청방식 2가지 - GET, Post 4. HTML5 5. 개발자 도구 6. 크롤링 1. HTML - HTML 역사 HTML은 1990년 CERN(유럽원자핵연구기구)에서 일하던 팀 버너스 리에 의해 개발 거의 동시에 HTTP와 URI, WWW와 같은 기본적인 구조와 세계 최초의 웹 브라우저도 개발 그 당시에는 HTML은 CERN 내의 연구 공유와 교환을 위해 사용 1993년 CERN이 WWW를 공개한 것과 인터넷 접속 서비스가 시작된 것을 계기로 표준 규격으로 자리잡게 됨 - HTML 버전의 역사 1993년 - HTML 1.0 1995년 - HTML 2.0 1997년 - HTML 3.0 1997년 - HTML 4.0 1999년 - HTML 4...
데이터분석/Python : Crawling 2020. 4. 20. 15:46
[데이터 크롤링] OPEN API 네이버 검색 데이터 크롤링하기_실행하기

* 목차 1. 네이버 OPEN API 2. 크롤링 가볍게 실행하기 3. 크롤링 후 원하는 데이터 추출하기 1. 네이버 OPEN API => 여기서 실행 할 블로그 OPEN API 사용 가이드를 확인해보자 https://developers.naver.com/docs/search/blog/ 검색 API 블로그 검색 개발가이드 NAVER Developers - 검색 API 블로그 검색 개발가이드 developers.naver.com 1) 기본 예제 및 준비사항 - 우리는 Python으로 API를 호출한다. ​ ​ 2) API 기본 정보 및 요청변수 - JSON을 얻는 요청 URL을 잘 기억한다. - query라는 변수에 우리가 원하는 검색어를 입력시킬 것이다. ​ ​ 3) 출력 결과 - 추후에 직접 Pytho..
데이터분석/Python : Crawling 2020. 4. 20. 15:34
[데이터 크롤링] OPEN API 네이버 검색 데이터 crawling 하기_이해하기

​ * 목차 1. OPEN API 사용하기 전에 이해하기 - OPEN API 2. OPEN API 사용하기 전에 이해하기 - URL 3. OPEN API 사용하기 전에 이해하기 - REQUEST 4. OPEN API 사용하기 전에 이해하기 - JSON DECODING 5. OPEN API 사용하기 전에 이해하기 - NAVER OPEN API ​ ​ 1. OPEN API 사용하기 전에 이해하기 - OPEN API - API 운영체제나 시스템, 애플리케이션, 라이브러리 등을 활용해 응용 프로그램을 작성할 수 있게 하는 다양한 인터페이스를 의미합니다. Window API, Java API, HTML5 API, Android API 등이 있습니다.​ https://terms.naver.com/entry.nhn?..
데이터분석/Python : Crawling 2020. 4. 20. 15:29
이전 Prev 1 2 3 4 Next 다음