[DAY 118] 최종 프로젝트_ Airflow 수행 결과

[천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기
학습일 : 2025.01.07

📕 프로젝트 작업 내역

• Airflow 수행 결과

 

📗 수행 결과

1. Airflow 수행 결과

1) 데이터 입력

• S3 버킷에 학습할 문제 데이터업로드

 

2) Lambda 가 데이터 업로드 이벤트 감지 → Airflow 트리거

• Airflow 호출하여 모델 학습 프로세스 시작

① YOLO Pipeline DAG

• DAG 구성 요소
  • start
  • 학습용 데이터 전처리
  • 모델 학습
  • OCR 트리거
  • end
• YOLO 학습 성공시, TriggerDagRunOperator 가 OCR Pipeline DAG 을 호출
  • DAG 간 연결을 통해 모델 학습 순서를 자동화

② OCR Pipeline DAG

• DAG 구성 요소
  • start
  • 학습용 데이터 전처리
  • 모델 학습
  • end
• YOLO 학습 성공시, TriggerDagRunOperator 가 OCR Pipeline DAG 을 호출

 

3) 모델 S3에 저장

• 학습 완료된 최신 YOLO/OCR 모델을 S3 에 저장

 

 

📙 내일 일정

• MLflow 수행 결과