[DAY 103] 최종 프로젝트_ CI/CD Pipeline

[천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기
학습일 : 2024.12.13

📕 프로젝트 작업 내역

• CI/CD 파이프라인 자동화 구현

 

📗 수행 결과

1. CI/CD 파이프라인 자동화 구현 

1) 자동화 구현 목표

S3에 교육과정 로드맵 업로드(JSON) → Lambda 실행 → EC2 내 형식 변환 스크립트(json_to_neo4j.py) 실행 → JSON 데이터를 Neo4j 형식으로 변환 → Neo4j 적재

 

2) AWS 아키텍처 구성 흐름

① S3 이벤트 트리거 설정

• JSON 파일이 S3에 업로드되면 Lambda 함수 실행
• Lambda 함수에서 해당 JSON 파일 정보를 받을 준비

② Lambda에서 EC2로 명령 실행

• Lambda가 EC2에 SSH로 접속하거나 AWS Systems Manager (SSM)를 통해 EC2에서 명령을 실행
• 이 명령은 EC2 내 Docker 컨테이너에서 형식 변환 스크립트(json_to_neo4j.py)를 실행하도록 트리거

③ EC2에서 작업 수행

• EC2 내부에 형식 변환 스크립트 배치
• EC2 내 Docker 컨테이너(neo4j-container) 배치
• 형식 변환 스크립트는 JSON 데이터를 Neo4j로 변환하고 데이터를 적재

3) 단계별 상세 구현

 

📙 내일 일정

• 최종 프로젝트