TIL _Today I Learned/2025.01
[DAY 118] 최종 프로젝트_ Airflow 수행 결과
gamdong2
2025. 1. 7. 07:40
[천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기
학습일 : 2025.01.07
📕 프로젝트 작업 내역
- Airflow 수행 결과
📗 수행 결과
1. Airflow 수행 결과
1) 데이터 입력
- S3 버킷에 학습할 문제 데이터업로드
2) Lambda 가 데이터 업로드 이벤트 감지 → Airflow 트리거
- Airflow 호출하여 모델 학습 프로세스 시작
① YOLO Pipeline DAG
- DAG 구성 요소
- start
- 학습용 데이터 전처리
- 모델 학습
- OCR 트리거
- end
- YOLO 학습 성공시, TriggerDagRunOperator 가 OCR Pipeline DAG 을 호출
- DAG 간 연결을 통해 모델 학습 순서를 자동화
② OCR Pipeline DAG
- DAG 구성 요소
- start
- 학습용 데이터 전처리
- 모델 학습
- end
- YOLO 학습 성공시, TriggerDagRunOperator 가 OCR Pipeline DAG 을 호출
3) 모델 S3에 저장
- 학습 완료된 최신 YOLO/OCR 모델을 S3 에 저장
📙 내일 일정
- MLflow 수행 결과