TIL _Today I Learned/2024.1218 [DAY 99] 최종 프로젝트_ AWS 아키텍처 설계 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.09📕 프로젝트 작업 내역AWS 아키텍처 설계워크플로우인프라 📗 수행 결과1. 프로젝트 요구사항1) 모델 학습EC2에서 머신러닝 모델 학습 실행학습 데이터와 결과물(S3 저장)2) API 배포학습된 모델을 기반으로 API를 배포하여 서비스 제공3) 자동화(CI/CD)GitLab CI/CD를 통해 학습 및 배포 자동화4) 모니터링API 상태와 모델 성능 모니터링 2. AWS 아키텍처 설계1) 전체 아키텍처 개요GitLab: 코드 저장 및 CI/CD 파이프라인 관리EC2: 머신러닝 모델 학습 및 데이터 처리S3: 학습 데이터와 결과물(모델, 로그) 저장Lambda: 경량화된 API 실행API Gateway: 사용자 .. 2024. 12. 9. [DAY 98] 최종 프로젝트_ 모델 Fine Tuning, 플로우 차트 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.06📕 프로젝트 작업 내역모델 Fine Tuning 계획플로우 차트 📗 수행 결과1. 모델 Fine Tuning 계획1) 모델 정보이름: trocr-small-korean정의: VisionEncoderDecoderModel “이미지 → 텍스트(한국어 특화)”2) 데이터 준비수학 과목 자동 풀이 데이터(AI Hub)데이터 구성Training 데이터 from S3 (boto3)총 15,224개입력 데이터(X): 이미지, 이미지 내 텍스트 영역(line) 좌표텍스트 라벨(y): 해당 영역의 텍스트(한국어) Validation 데이터 from S3 (boto3)총 1,703개학습 중 모델 검증 및 과적합 방지를 위해 .. 2024. 12. 6. [DAY 97] 최종 프로젝트_ GraphRAG, MLOps, CI/CD [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.05📕 프로젝트 작업 내역GraphRAG / LLM / AI AgentMLOpsCI/CDGitLab 📗 수행 결과1. GraphRAG1) GraphRAG(Graph Retrieval-Augmented Generation) 이란?기존 RAG: 단순히 텍스트 기반의 지식 검색∙생성에 초점GraphRAG는 노드와 엣지로 구성된 그래프 데이터의 구조적 정보를 활용하여 더 정교한 정보 검색∙텍스트 생성이 가능 2) GraphRAG의 구성Graph-Based Retrieval그래프 데이터에서 관련 정보(노드 및 엣지)를 검색질의와 노드 간의 유사성을 계산하거나, 그래프 탐색 알고리즘을 사용예: 교육과정 로드맵에서 특정 수.. 2024. 12. 5. [DAY 96] 최종 프로젝트_ 프로젝트 개요] 최종 프로젝트_ 워크플로우 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.04📕 프로젝트 작업 내역프로젝트 워크플로 작성 📗 수행 결과1. 프로젝트 목표초등학생 수학 학습 데이터 입력시, KST 알고리즘에 사용할 수 있는 자동 라벨링 프로그램 개발MLOps 지식과 CI/CD 프로세스를 이해하고, 이를 바탕으로 자동화 파이프라인 제작 2. 기대 효과정확성 향상: RAG 검색과 LLM 라벨링의 결합으로 더 정확한 라벨링 가능유연성 증대: 다양한 문제 유형에 대한 대응 가능자동화: 사용자 피드백 수집부터 모델 개선까지 대부분의 과정이 자동화 3. 아키텍처 흐름1) 사용자 문제 입력 → RAG 검색 → LLM 라벨링2) 결과 신뢰도 분석3) 신뢰도가 낮으면 수정, 높으면 결과 반환4)사용자 .. 2024. 12. 3. [DAY 95] 최종 프로젝트_ KST와 IRT 통합 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.03📕 프로젝트 작업 내역초등 수학 로드맵 작성KST 와 IRT 통합 📗 수행 결과1. 초등 수학 라벨링이란?라벨링의 범위는 단순한 분류에서부터, 문항 간의 관계를 정의하는 고도화된 작업까지 포함 1) 기본적인 라벨링: 대분류 → 중분류 → 소분류초등 수학의 단원 구조에 따라 문항을 분류대분류: 수와 연산, 도형, 측정 등중분류: 도형 → 삼각형, 사각형소분류: 삼각형 → 내각의 합, 외각의 성질이 경우 라벨링은 문항을 각 단원 구조에 맞게 태깅하는 작업을 의미2) 관계 중심 라벨링KST 모델은 문항 간의 선행 관계를 정의하는 구조를 필요로 함ex: "삼각형의 내각의 합" → "삼각형의 외각의 성질"이 경우, 라.. 2024. 12. 3. [DAY 94] 최종 프로젝트_ KST 알고리즘 기반 학습 결손 진단 시스템 설계 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.02📕 프로젝트 작업 내역초등 수학 학습 로드맵 작성 계획 📗 회의록회의 일자: 2024년 12월 02일회의 주제: 초등 수학 로드맵 작성 계획참석자: OOO, OOO, OOO 1. 주요 논의 사항1) 대분류와 중분류 정의1-1) 목표2022학년도 초등 수학 교육과정을 기반으로 대분류와 중분류 체계를 설정하여 모든 출판사의 교과서에 호환 가능하도록 구성1-2) 작업 내용① 대분류 추출교육과정에서 상위 개념을 대분류로 설정수와 연산변화와 관계도형과 측정...② 중분류 세분화각 대분류를 학습 목표에 따라 중분류로 세분화대분류: 수와 연산중분류: 분수, 소수, 나눗셈, 곱셈, ...대분류: 변화와 관계중분류: 규칙과 .. 2024. 12. 2. 이전 1 2 3 다음
