TIL _Today I Learned122 [DAY 122] 최종 프로젝트_ 결과 도출 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.13📕 프로젝트 작업 내역최종 프로젝트 결과물소감 📗 수행 결과1. 결과물 2. 소감 이번 프로젝트는 단순한 기술 구현을 넘어, 실제 사용자에게 도달하는 시스템을 어떻게 설계할 것인가를 깊이 고민했던 경험이었다.모델 성능 향상을 위해 데이터 구조를 분석하고, 파이프라인 자동화를 통해 운영 효율성을 높였으며,REST API와 CI/CD 환경까지 직접 구성하며 모델 → 서비스로 이어지는 전 과정을 다뤘다. 특히, 라벨링 기준을 설계하고, KST 기반 진단 구조로 확장 가능성을 고민하며콘텐츠 기획자의 시선과 데이터 개발자의 시선이 어떻게 만나는지를 실무적으로 배울 수 있었다.단순히 "잘 돌아가는 코드"가 아닌, ".. 2025. 1. 13. [DAY 121] 최종 프로젝트_ ECR & API [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.10📕 프로젝트 작업 내역ECR 이란API 란 📗 수행 결과1. ECR 이란1) Amazon ECR (Elastic Container Registry)Docker 이미지를 저장하고 관리할 수 있는 AWS의 컨테이너 이미지 저장 역할설명Docker 이미지애플리케이션 실행 환경을 패키징한 파일 (예: 코드 + 라이브러리 + 설정 포함)ECRDocker 이미지를 저장하는 리모트 저장소GitHub Actions 또는 Airflow 등에서 이 이미지를 가져와 실행함CI 단계GitHub에서 코드를 푸시하면, Docker 이미지로 빌드 → ECR에 자동 푸시CD 단계Airflow 또는 Lambda가 ECR에서 최신 이미지를 .. 2025. 1. 10. [DAY 120] 최종 프로젝트_ MLflow 수행 결과 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.09📕 프로젝트 작업 내역MLflow 수행 결과 📗 수행 결과1. MLflow 수행 결과1) Model Registry학습이 완료된 모델을 MLflow에 등록 및 버전 관리 (실험 x, 공식적으로 저장소에 등록된 모델 목록)Name : 사용자가 등록한 모델 이름Latest version : 해당 모델의 최신 등록 버전Last modified : 마지막 수정된 시점베스트 모델을 등록하고 배포 환경에서 불러와 쓸 수 있도록 관리여러 버전을 저장하고 실험과 분리하여 운영 모델로 승격 능 2) Experiment Tracking 서버 연동Airflow 모델 학습 로그(실험* 결과 포함)를 MLflow Tracking 서.. 2025. 1. 9. [DAY 119] 최종 프로젝트_ TrOCR 모델 추가 학습 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.08📕 프로젝트 작업 내역평가 지표 설명추가 학습 방법모델 성능 변화 📗 수행 결과1. 평가 지표 설명1) Character Accuracy (CA, 문자 정확도)계산식 : (정확히 예측한 문자 수) / (전체 문자 수)문자 단위의 세밀한 성능 평가학습 데이터에 다양한 단어·문장·글꼴 포함 → CA ↑ex : CA 26.9% "예측한 문자 100자 중 약 27자를 맞춤"2) Word Error Rate (WER, 단어 에러율)계산식 : (삽입 + 삭제 + 대체된 단어 수) / (실제 단어 수)단어 단위 성능 평가 * Levenshtein Distance 기반문맥을 잘못 예측하거나 단어 경계를 잘못 파악할 때 .. 2025. 1. 8. [DAY 118] 최종 프로젝트_ Airflow 수행 결과 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.07📕 프로젝트 작업 내역Airflow 수행 결과 📗 수행 결과1. Airflow 수행 결과1) 데이터 입력S3 버킷에 학습할 문제 데이터업로드 2) Lambda 가 데이터 업로드 이벤트 감지 → Airflow 트리거Airflow 호출하여 모델 학습 프로세스 시작① YOLO Pipeline DAGDAG 구성 요소start학습용 데이터 전처리모델 학습OCR 트리거endYOLO 학습 성공시, TriggerDagRunOperator 가 OCR Pipeline DAG 을 호출DAG 간 연결을 통해 모델 학습 순서를 자동화② OCR Pipeline DAGDAG 구성 요소start학습용 데이터 전처리모델 학습endYOLO .. 2025. 1. 7. [DAY 117] 최종 프로젝트_ Airflow + MLflow 연동 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2025.01.06📕 프로젝트 작업 내역Airflow + MLflow 연동 필요성연동 방법코드 예시 📗 수행 결과1. Airflow + MLflow 연동 필요성각각의 역할Airflow : 모델 학습 과정을 자동으로 스케줄링MLflow : 모델 실험의 파라미터·성능 지표·결과를 기록하고 버전 관리이 두 가지를 연동하면 얻게 되는 이점모델 학습을 주기적으로 자동 실행하면서각 실험의 결과를 MLflow에 자동으로 기록하여 추적 가능성능 비교, 베스트 모델 관리, 재학습 여부 판단이 쉬워짐 2. 연동 방법[Airflow DAG 실행] ↓[PythonOperator 내에서 MLflow Tracking API 호출] ↓.. 2025. 1. 6. 이전 1 2 3 4 ··· 21 다음
