목록데이터 분석 (21)

기억의 기록

[크롤링] 크롤링 기초

크롤링 : 웹페이지 자체를 다운로드 하는 행위 스크레이핑 : 다운로드한 웹 페이지에서 원하는 데이터를 추출하는 작업 사용할 수 있는 라이브러리 혹은 프로그램 Wget, cURL, urllib, requests, Beautiful Soup 기본적인 크롤링을 해보자. https://coinmarketcap.com/ko/ 에 있는 데이터를 긁어와보자. 위의 데이터를 가져오면 아래와 같다. 원(\) 표시가 아닌 달러($)가 표시되고 있다. 이런 페이지는 크롤링을 할 수는 있지만 페이지 로딩 후 변경되는 데이터이기 때문에 단순한 크롤링으론 불가능하다. (후처리 되는 페이지 크롤링은 다른 페이지에서 확인가능) from bs4 import BeautifulSoup as bs import requests import ..
데이터 분석/툴 2018. 7. 4. 18:08
이전 Prev 1 2 3 Next 다음