TIL _Today I Learned110 [DAY 106] 최종 프로젝트_ Labeling Pipeline [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.18📕 프로젝트 작업 내역LLM을 활용한 라벨링 자동화GraphRAG을 활용한 라벨링 자동화 📗 수행 결과1. LLM을 활용한 라벨링 자동화1) 라벨링 자동화 파이프라인문제 입력 → 대분류 추출 (GPT-4) → 대분류에 해당하는 JSON 파일 S3에서 로드 → 로컬에 JSON 파일 저장 → 최하위 분류 추출 (GPT-4) → 최하위 분류 출력 2) 로드맵 파일(JSON) 유형S3 버킷(big9-project-02-roadmap-bucket) 에 저장된 파일 유형을 다음 두 가지로 예상 (i) 추출된 대분류와 매핑이 가능한 파일명(main.py)big9-project-02-roadmap-bucket/roadm.. 2024. 12. 18. [DAY 105] 최종 프로젝트_ 모델 학습 파이프라인 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.17📕 프로젝트 작업 내역모델 학습 파이프라인로컬 테스트 📗 수행 결과1. 모델 학습 파이프라인1) 데이터 업로드 및 트리거AWS S3문제 데이터(이미지 파일) 업로드EventBridge와 Lambda로 새로운 데이터가 추가될 때 학습 및 처리 파이프라인 트리거2) 텍스트와 비텍스트 감지 (YOLO)YOLOv8 Fine-Tuning텍스트와 비텍스트 영역을 감지텍스트 영역은 OCR 처리로 넘기고, 비텍스트 영역(표, 그래프, 그림 등)은 멀티모달 모델로 처리3) 텍스트 영역의 정보 추출 (OCR)trocr-small-korean Fine-Tuning텍스트 영역에서 텍스트 추출4) 비텍스트 영역의 정보 추출 (멀티모.. 2024. 12. 17. [DAY 104] 최종 프로젝트_ 인터넷 게이트웨이, 라우팅 테이블, ACL [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.16📕 프로젝트 작업 내역인터넷 게이트웨이라우팅 테이블ACL 📗 수행 결과1. 인터넷 게이트웨이 (Internet Gateway, IGW) 1) 개념인터넷 게이트웨이는 VPC에서 외부 인터넷으로의 출입구 역할EC2와 같은 리소스가 인터넷과 통신하기 위해 필요퍼블릭 서브넷에 있는 EC2가 인터넷에 접근하려면 IGW가 필수2) 인터넷 게이트웨이 필요 조건Lambda 함수가 SSM 명령을 전달하고 EC2의 SSM Agent가 AWS Systems Manager와 통신하려면 다음이 필요① 인터넷 게이트웨이 생성 및 연결인터넷 게이트웨이를 생성하고 VPC에 연결VPC > 인터넷 게이트웨이 > IGW 생성 후 VPC에 연결.. 2024. 12. 16. [DAY 102] 최종 프로젝트_ Labeling Pipeline [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.12📕 프로젝트 작업 내역라벨링 파이프라인 자동화 구현 📗 수행 결과1. 라벨링 파이프라인 자동화 구현 1) 자동화 구현 목표S3에 교육과정 로드맵 업로드(JSON) → Lambda 실행 → EC2 내 형식 변환 스크립트(json_to_neo4j.py) 실행 → JSON 데이터를 Neo4j 형식으로 변환 → Neo4j 적재 2) AWS 아키텍처 구성 흐름① S3 이벤트 트리거 설정JSON 파일이 S3에 업로드되면 Lambda 함수 실행Lambda 함수에서 해당 JSON 파일 정보를 받을 준비② Lambda에서 EC2로 명령 실행Lambda가 EC2에 SSH로 접속하거나 AWS Systems Manager (SSM.. 2024. 12. 12. [DAY 101] 최종 프로젝트_ 네트워크 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.11📕 프로젝트 작업 내역네트워크 란?AWS에서의 네트워크 개념AWS 인프라 간 VPC 연결 필요?VPC 내에서도 인터넷에 접근할 수 있는 이유 📗 수행 결과1. 네트워크 란?컴퓨터와 다른 장치들이 서로 연결되어 데이터를 주고받는 시스템즉, 정보를 주고받는 길 1) 정의컴퓨터와 다른 장치들이 서로 연결되어 데이터를 주고받는 시스템. 즉, 정보를 주고받는 길예시로 이해하기집에서 사용하는 Wi-Fi는 네트워크의 한 종류Wi-Fi를 통해 스마트폰, 노트북, TV가 인터넷에 연결되고 서로데이터를 주고받음2) 네트워크의 구성 요소장치(Device): 컴퓨터, 스마트폰, 서버 등 데이터를 주고받는 주체라우터(Router):.. 2024. 12. 11. [DAY 100] 최종 프로젝트_ GitLab [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.10📕 프로젝트 작업 내역CI/CDGitLab 📗 수행 결과1. GitLab CI/CD 목표 설정1) 프로젝트에서의 CI/CDCI (Continuous Integration): 프로젝트에서 코드 및 환경 변경 사항을 자동으로 통합하고, 테스트 및 실행을 통해 변경된 코드가 정상 작동하는지 확인CD (Continuous Deployment): 테스트를 통과한 코드를 배포하고 실행 환경에 반영하여 최신 상태를 유지 (1) 모델 학습용 데이터를 추가하여 Fine-Tuning 시키는 경우[목표]학습 가상환경(EC2 A)모델 종류별로 총 3가 존재train.py 코드가 포함된 최신 학습 환경을 ECR에 저장하고, EC2 .. 2024. 12. 10. 이전 1 2 3 4 5 ··· 19 다음
