본문 바로가기

전체 글212

[DAY 16] Python 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.08.01📕 학습 목록주요 상품 카테고리 분석 및 시각화 📗프로젝트 작업 내역1) 프로젝트 제목주문 데이터를 활용한 주요 상품 카테고리 분석 및 시각화 2) 프로젝트 목표쇼핑몰에서 자주 구매되는 주요 상품 카테고리를 분석하고, 특정 지역(해안/내륙)에 따라 지출 분포를 비교하여 상품 트렌드를 시각화3) 사용한 데이터 셋각 주문 항목에 주요 카테고리가 포함된 주문 데이터내륙 및 해안 지역별로 상품 카테고리별 지출액을 포함한 데이터4) 워크플로우① 데이터 수집 및 전처리import pandas as pd# 데이터 불러오기df_orders = pd.read_csv("Data/order_items_with_major_cate.. 2024. 8. 1.
[DAY 15] Python 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.31📕 학습 목록주요 상품 카테고리 분석 및 시각화 📗프로젝트 작업 내역1) 프로젝트 제목주문 데이터를 활용한 주요 상품 카테고리 분석 및 시각화 2) 프로젝트 목표쇼핑몰에서 자주 구매되는 주요 상품 카테고리를 분석하고, 특정 지역(해안/내륙)에 따라 지출 분포를 비교하여 상품 트렌드를 시각화3) 사용한 데이터 셋각 주문 항목에 주요 카테고리가 포함된 주문 데이터내륙 및 해안 지역별로 상품 카테고리별 지출액을 포함한 데이터4) 워크플로우① 데이터 수집 및 전처리import pandas as pd# 데이터 불러오기df_orders = pd.read_csv("Data/order_items_with_major_cate.. 2024. 7. 31.
[DAY 14] IT 프로젝트, Python 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.30📕 학습 목록IT 프로젝트 개념주요 상품 카테고리 분석 및 시각화 📗기억할 내용[IT 프로젝트]1. IT 프로젝트정의: 정보기술을 활용하여 특정 목표를 달성하기 위한 활동포함 항목: 소프트웨어 개발, 네트워크 설정, 인프라 구축 등2. 프로젝트 관리 방법론1) 워터폴 (Waterfall)특징: 순차적 단계 진행 방식으로, 각 단계가 완료되어야 다음 단계로 넘어감단계요구사항 수집 - 모든 요구사항 정의 및 문서화분석 & 설계 - 소프트웨어 구조 설계코딩 - 설계에 맞춰 구현테스트 - 요구사항 충족 여부 확인운영 - 배포 후 유지보수장점명확한 구조로 관리 용이문서화가 잘 되어 있어 변경이 적음단점요구사항 변경이 .. 2024. 7. 30.
[DAY 13] Python 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.29📕 학습 목록쇼핑몰 고객 RFM 분석 및 시각화 프로젝트 📗 프로젝트 작업 내역1) 프로젝트 제목쇼핑몰 고객 RFM 분석 및 시각화 2) 프로젝트 목표고객의 구매 데이터를 바탕으로 RFM(Recency, Frequency, Monetary) 분석을 통해 고객의 상태를 충성 고객, 이탈 가능 고객, 신규 고객 등으로 세분화하여 맞춤형 마케팅 전략을 수립3) 사용한 데이터 셋고객 구매 데이터 (고객ID, 구매 날짜, 구매 빈도, 구매 금액 등의 정보 포함)4) 워크플로우① 데이터 수집 및 전처리import pandas as pdimport datetime as dt# 데이터 파일 불러오기def read_data(.. 2024. 7. 29.
02. 실전 크롤링 1. 크롤링 Tips1) 크롬 브라우저 활용하기 : Dev Mode(ctrl + shift + i / F12)원하는 요소 클릭 → 우클릭 → outerHTML 복사; 해당 요소와 관련된 태그만 추출import requestsfrom bs4 import BeautifulSoupresponse = requests.get("http://www.naver.com")soup = BeautifulSoup(response.content, "html.parser")data_list = soup.find_all("span", "service_name")for data in data_list: print(data.string) 2) 추출한 것에서 또 추출하기더 크게 감싸는 태그를 find() 로 추출; 미리 범위 지정추출.. 2024. 7. 28.
01. 크롤링 코드 패턴 📖 크롤링 (Crawling)크롤링 : 웹사이트에서 내가 원하는 내용을 자동으로 추출하는 기능ex : 실시간 검색어 추출, 쇼핑몰의 인기 상품 추출,...  1. 크롤링 의미 알기at 파이썬, 라이브러리가 多. 라이브러리 여러개를 조합하여 원하는 기능을 사용 주요 라이브러리- requests : 웹페이지 호출- bs4 (BeautifulSoup) : 웹페이지 분석(크롤링)'웹페이지 호출' 의 의미- 웹브라우저에 IP/URL 주소 입력 → 해당 웹페이지에 접속; HTML 언어 파일이 시각화되어 모니터에 노출- 즉, '웹페이지 호출' = 해당 웹페이지의 HTML 파일's 코드를 호출파싱 (parsing) : 태그로 이루어진 HTML 파일's 문자열의 의미를 분석하는 것 2. 크롤링 코드 패턴* Beauti.. 2024. 7. 27.

티스토리툴바