TIL _Today I Learned/2024.0918 [DAY 53] SQL의 이해 및 활용 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기 학습일 : 2024.09.30📕 학습 목록AWSSQLRDBMS 📗 기억할 내용1. AWS 개념 정리AWS(Amazon Web Services) : 아마존에서 제공하는 클라우드 컴퓨팅 서비스기업이나 개인이 데이터 저장, 서버 운영, 애플리케이션 개발 등을 클라우드 상에서 할 수 있도록 다양한 인프라와 플랫폼 서비스를 제공주요 서비스로는 EC2(가상 서버), S3(파일 저장), RDS(관계형 데이터베이스), Lambda(서버리스 컴퓨팅) 등이 있음1) 계정 및 권한 관리 Root 계정 AWS 계정을 처음 생성할 때 사용하는 최고 관리자 계정 모든 권한을 가지고 있으며, 계정 관리, 결제 설정 등 중요한 작업에만 사용 IAM 계정 AWS에서 리.. 2024. 9. 30. [DAY 52] 텍스트 분류 모델 구축 (LSTM) [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.09.27📕 학습 목록RNNLSTM 📗 기억할 내용1) LSTM 정의LSTM(Long Short-Term Memory) : 순환 신경망(RNN, Recurrent Neural Network)의 일종으로, 긴 시퀀스 데이터를 처리하는 데 적합한 신경망RNN은 시퀀스 데이터를 처리하기 위해 설계된 신경망으로, 텍스트, 음성, 시계열 데이터 등 순차적인 데이터를 학습할 때 사용됨하지만 RNN은 장기 의존성 문제(long-term dependency problem)를 가지고 있음. 이는 긴 시퀀스에서 먼 과거의 정보를 잘 기억하지 못하는 문제를 의미LSTM은 이러한 문제를 해결하기 위해 고안되었으며, 정보를 장기적으로 기억할.. 2024. 9. 27. [DAY 51] TF-IDF, Deep Learning 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.09.26📕 학습 목록TF-IDFDeep Learning 실습(한국어 사투리 분류 시스템 개발) 📗 기억할 내용1. TF-IDF (Term Frequency-Inverse Document Frequency)1) TF-IDF의 정의 및 목적TF-IDF : 텍스트 데이터에서 특정 단어의 중요도를 평가하기 위한 통계적 수치이 방법은 정보 검색 시스템, 문서 분류, 자연어 처리(NLP)에서 자주 사용되며, 주어진 문서에서 얼마나 중요한 단어인지 측정하는 데 유용함TF-IDF는 각 문서에서 자주 등장하는 단어에 가중치를 부여하면서, 전체 문서 집합에서 흔히 등장하는 단어는 중요도를 낮추는 방식으로 계산됨 2) TF (Term .. 2024. 9. 26. [DAY 50] 구문 분석 (Syntactic Parsing) [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.09.25📕 학습 목록구문 분석형태소 분석spaCy, KoNLPY 📗 기억할 내용1. 구문 분석 (Syntactic Parsing)1) 한국어 구문 분석 기본 개념 ① 형태소 분석 (Morphological Analysis)문장을 구성하는 단어들을 최소 의미 단위인 형태소로 분해하는 과정한국어에서는 어미, 접사 등의 형태소가 중요한 역할② 의존 구문 분석 (Dependency Parsing)문장의 각 단어가 어떤 다른 단어에 의존하는지 분석하는 방법주어, 목적어, 서술어 등 문장 성분의 관계를 분석하여 문장의 의미적 구조를 파악③ 문장 성분의 역할주어(SUBJ), 서술어(VERB), 목적어(OBJ)와 같은 문장 성분들.. 2024. 9. 25. [DAY 49] 자연어 처리(NLP) [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.09.24📕 학습 목록정형 데이터 vs 비정형 데이터자연어 처리Tokenizer : Okt, Kkma, Hannanum워드 클라우드정규식 처리 📗 기억할 내용1) 정형 데이터 (Structured Data)정의 : 규격화된 데이터로, 행과 열 형태로 저장되며 관계형 데이터베이스(RDB)에 적합특징숫자나 텍스트를 포함하더라도 고정된 형식에 맞춰 저장됨분석과 처리가 쉽고, 계산이 가능하며, 빠른 검색이 가능RDB(Relational Database) 또는 스프레드시트에서 주로 저장 및 관리SQL을 사용하여 관리 및 분석이 용이데이터 마이닝 가능예시 : 엑셀 시트, 관계형 데이터베이스의 테이블 데이터, 금융 거래 기록, 학.. 2024. 9. 24. [DAY 48] Deep Learning 실습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.09.23📕 학습 목록초등학교 4학년 수학 챗봇 개발 📗 프로젝트 작업 내역1) 프로젝트 제목초등학교 4학년 수학 챗봇 개발 및 성능 평가 2) 프로젝트 목표초등학교 4학년 수학 교과 과정의 학습 내용을 기반으로, 학생들이 자기주도 학습을 할 수 있도록 돕는 챗봇을 개발사용자가 질문을 입력하면 해당 질문에 대해 연관된 수학 강의를 추천(강의 썸네일, 요약, 키워드 제공)3) 사용한 데이터 셋데이터: 초등학교 4학년 강의 영상 (→ 음성 → 텍스트 → 요약 및 키워드 추출)4) 워크플로우① 패키지 임포트사용한 주요 패키지: pandas, scikit-learn, Django, SQLite, NLTK 등의 NLP 패키지i.. 2024. 9. 23. 이전 1 2 3 다음
