Python/08. 크롤링과 웹 기본2 02. 실전 크롤링 1. 크롤링 Tips1) 크롬 브라우저 활용하기 : Dev Mode(ctrl + shift + i / F12)원하는 요소 클릭 → 우클릭 → outerHTML 복사; 해당 요소와 관련된 태그만 추출import requestsfrom bs4 import BeautifulSoupresponse = requests.get("http://www.naver.com")soup = BeautifulSoup(response.content, "html.parser")data_list = soup.find_all("span", "service_name")for data in data_list: print(data.string) 2) 추출한 것에서 또 추출하기더 크게 감싸는 태그를 find() 로 추출; 미리 범위 지정추출.. 2024. 7. 28. 01. 크롤링 코드 패턴 📖 크롤링 (Crawling)크롤링 : 웹사이트에서 내가 원하는 내용을 자동으로 추출하는 기능ex : 실시간 검색어 추출, 쇼핑몰의 인기 상품 추출,... 1. 크롤링 의미 알기at 파이썬, 라이브러리가 多. 라이브러리 여러개를 조합하여 원하는 기능을 사용 주요 라이브러리- requests : 웹페이지 호출- bs4 (BeautifulSoup) : 웹페이지 분석(크롤링)'웹페이지 호출' 의 의미- 웹브라우저에 IP/URL 주소 입력 → 해당 웹페이지에 접속; HTML 언어 파일이 시각화되어 모니터에 노출- 즉, '웹페이지 호출' = 해당 웹페이지의 HTML 파일's 코드를 호출파싱 (parsing) : 태그로 이루어진 HTML 파일's 문자열의 의미를 분석하는 것 2. 크롤링 코드 패턴* Beauti.. 2024. 7. 27. 이전 1 다음
