본문 바로가기

분류 전체보기192

[DAY 12][특강] 학습 데이터의 유형 및 서비스 적용 사례 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기* 특강 : 학습 데이터의 유형 및 서비스 적용 사례학습일 : 2024.07.24📕 학습 목록분석/AI 모델 개발에 필요한 데이터의 유형/형태에듀테크에 사용되는 데이터 유형; 캘리퍼프로세스 마이닝 📗 기억할 내용 1) 분석/AI 모델 개발에 필요한 데이터의 유형/형태  ① 텍스트 데이터 (Text Data); 자연어 처리(NLP) 모델 개발에 주로 사용됨  - ex : 학생 에세이, 교과서 내용, 퀴즈 질문과 답변, 포럼 글, 학습 피드백  - 형태 : 텍스트 파일 (TXT), CSV 파일, JSON, XML  - 적용 분야 : 자동 채점 시스템, 맞춤형 학습 경로 추천, 텍스트 요약, 언어 학습 도우미, 질의응답 시스템② 이미지 데이터.. 2024. 7. 26.
[DAY 11] Plotly, Folium [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.25📕 학습 목록Plotly, Folium을 이용한 데이터 시각화 📗 기억할 내용1. Plotly1) Plotly 란?Plotly는 Python, R, JavaScript 등에서 사용할 수 있는 인터랙티브한 데이터 시각화 라이브러리다양한 그래프 유형을 제공웹 애플리케이션 및 Jupyter Notebook에 쉽게 통합하여 사용할 수 있음2) Plotly 주요 기능 인터랙티브 기능: 그래프를 확대/축소하거나 항목별로 세부 정보를 확인할 수 있음호환성:  웹 프레임워크와의 높은 호환성커스터마이징: 레이아웃, 색상, 주석, 데이터 포인트 등의 요소를 세밀하게 제어할 수 있음3) 기본 플롯 유형 및 설정 방법 라인 차트:.. 2024. 7. 25.
[DAY 10] Data Visualization [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.24📕 학습 목록분포형 데이터범주형 데이터기타 시각화 📗 기억할 내용 1) 분포형 데이터 (Dis Plot)Dis Plot ⊃ Hist Plot, KDE Plot, Rug Plot, ECDF Plot① Hist Plot(Histogram)데이터를 구간별로 나눔; 데이터 값의 범위를 일정한 간격(bin)으로 나눔 → 각 구간에 속하는 데이터의 개수를 막대로 표시데이터의 대칭성을 확인sns.histplot(data, x, hue, multiple, bins)multiple : 다른 범주를 어떻게 시각화할지 결정* multiple 속성들  - layer : 겹치기(기본값)  - dodge : 겹치지 않게 나란히  - .. 2024. 7. 24.
[DAY 9] Data Preprocessing, Data Visualization [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.23📕 학습 목록데이터 요약하기데이터 합치기시각화 라이브러리시각화 구성요소관계형 시각화 📗 기억할 내용1. Data Preprocessing1) 데이터 요약하기 ① 데이터 그룹화groupby() 메서드 : 데이터를 그룹별로 분할, 적용, 결합함- 분할(Split) : 데이터를 특정 기준에 따라 여러 그룹으로 분할- 적용(Apply) : 각 그룹에 대해 하나 이상의 함수(통계 요약, 변환, 필터링 등)를 적용하여 결과를 얻음- 결합(Combine) : 모든 함수 적용 결과를 하나의 데이터 구조로 결② 기본 사용법df.groupby('컬럼명').통계 함수() : 특정 그룹에 통계 함수를 적용# 단일 열 기준 그룹화g.. 2024. 7. 23.
[DAY 8] Data Manipulation, Data Preprocessing [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.22📕 학습 목록데이터 체크리스트데이터 전처리 📗 기억할 내용1. 데이터 전처리 전 체크리스트데이터 형식 확인: 데이터 파일 형식 (CSV, Excel, JSON 등)과 데이터셋 구조(행, 열)를 확인데이터 유형 확인: 각 열의 데이터 유형(숫자형, 문자열형, 날짜형 등)을 확인하여 필요시 변환할 수 있도록 준비결측치 확인: 각 열의 결측치 개수와 분포를 확인하여 결측치 처리 전략을 세움이상치 확인: 이상치가 있는지 확인하고 데이터의 통계적 분포를 파악하여 처리 방법을 결정중복 데이터 확인: 중복된 행이 있는지 확인하여 불필요한 중복 데이터를 제거할지 여부를 결정데이터 정규화/스케일링 필요성 확인: 데이터 분석이.. 2024. 7. 22.
[DAY 7] Data Manipulation [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.07.19📕 학습 목록데이터 분석 시작하기데이터 불러오기데이터 확인하기범주형 자료수치형 자료데이터 선택하기데이터 조작하기 📗 기억할 내용 1) 데이터 분석 시작하기 ① Numpy 란?파이썬의 고성능 수치 계산 라이브러리ndarray : Numpy 배열Numpy 배열 생성 방법import numpy as np# 1차원 배열 생성array_1d = np.array([1, 2, 3, 4, 5])# 배열에 문자열이 있으면 모든 값을 문자열로 변환# Numpy가 하나의 자료형만 허용하기 때문array_1d_str = np.array([1, 2, 3, 4, "5"])# 2차원 배열 생성array_2d = np.array([[1,.. 2024. 7. 19.

티스토리툴바