분류 전체보기192 [DAY 113] 최종 프로젝트_ 모델 학습 자동화 파이프라인 구현 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.30📕 프로젝트 작업 내역모델 학습 자동화 구현 📗 수행 결과1. 모델 학습 자동화 파이프라인 구현1) 목표 S3에 새로운 학습 데이터 지속 적재 ⇩한 달 간격으로 EventBridge를 통한 Lambda 자동 트리거 ⇩Lambda에서 S3의 총 파일 개수 확인 ⇽ DynamoDB에서 직전 트리거 상태 확인하여 새로운 데이터 개수 계산 ⇩새로운 데이터가 특정 개수 이상 쌓였을 경우 Lambda 실행 및 DynamoDB 상태 업데이트 ⇩S3 파일 목록 캐싱 파일(.json) & 새로 추가된 파일 매핑 파일(.csv) 업데이트 ⇩새로운 데이터만 학습 진행 ⇽ 직전 캐싱 파일과 비교하여 새로운 데이터.. 2024. 12. 30. 04. [실습] 컨테이너 실행 📖 학습 목표이미지 조회컨테이너 실행1. 실습 목표이미지 조회 및 컨테이너 실행 2. 이미지 조회1) 모든 이미지 조회현재 PC에 저장된 모든 이미지 조회Repository: 이미지 이름Tag: 이미지 버전Image ID: 이미지의 고유한 idCreated: 이미지가 만들어진 날짜Size: 이미지 사이docker image ls특정 이미지 조회docker image ls nginx 3. 컨테이너 실행1) 하나의 이미지로 여러 컨테이너 실행컨테이너 실행-d: 백그라운드 실행--name {컨테이너명}: 컨테이너 이름 지정docker run -d --name {컨테이너명} 이미지명실행 중인 컨테이너 리스트 조회ps: 프로세스docker ps실행 중인 컨테이너 삭제docker rm -f Ref: 개발자.. 2024. 12. 26. [DAY 111] 최종 프로젝트_ Lambda [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.26📕 프로젝트 작업 내역FileRecord 테이블 채우기 📗 수행 결과1. FileRecord 테이블 채우기1) 라벨링 자동화 파이프라인사용자 문제 업로드 (Django API) → S3 업로드 → Lambda 함수 실행 (S3 이벤트 트리거) → EC2 내 라벨링 파이프라인 실행 (YOLO > OCR > LLM) → 라벨링 결과 저장 (PostgreSQL) → 사용자 응답 (Django API) 2) 이번 목표S3 버킷에 사용자 문제 데이터 업로드 → Lambda 트리거 → SSM API → PostgreSQL 컨테이너 내 FileRecord 테이블에 데이터 채우기 자동화 3) 해야할 일S3 이벤트 트리거.. 2024. 12. 26. [DAY 110] 최종 프로젝트_ 라벨링 자동화 파이프라인 개선 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.24📕 프로젝트 작업 내역PostgreSQL / Django 컨테이너 실행Django API 구축Labeling Pipeline 소요 시간 확인Django 와 Labeling Pipeline 연결 📗 수행 결과1. PostgreSQL / Django 컨테이너 연결1) PostgreSQL / Django 컨테이너 실행postgres 폴더 생성 → Dockerfile / requirements.txt / docker-compose.yml 생성# Dockerfile# Python 기반 이미지 사용FROM python:3.9-slim# 작업 디렉토리 설정WORKDIR /app# Python 환경 설정ENV PYTHOND.. 2024. 12. 24. [DAY 109] 최종 프로젝트_ Labeling Pipeline 자동화 [천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기학습일 : 2024.12.23📕 프로젝트 작업 내역Labeling Pipeline 자동화 📗 수행 결과1. Labeling Pipeline 자동화1) 라벨링 자동화 파이프라인사용자 문제 업로드 (Django API) → S3 업로드 → Lambda 함수 실행 (S3 이벤트 트리거) → EC2 내 라벨링 파이프라인 실행 (YOLO > OCR > LLM) → 라벨링 결과 저장 (MongoDB) → 사용자 응답 (Django API) 2) Django → S3 업로드S3 버킷에 업로드된 파일 유형을 다음 두 가지로 예상 (i) 텍스트 업로드 (Django 에서 .txt 로 변환 후 업로드)big9-project-02-question-bu.. 2024. 12. 23. 02. [실습] 가상화 기술 📖 학습 목표실습 목표컨테이너 실행1. 실습 목표Nginx 웹 서버 컨테이너 실행 -> Nginx 웹 서버가 제공하는 웹 페이지 접속웹 서버: 웹 브라우저에서 웹 페이지를 제공해주는 서버웹 브라우저 주소창에 웹 페이지 주소를 입력(웹 브라우저를 통해 웹 서버로 요청을 보냄) -> 웹 페이지를 파일로 응답 -> 웹 페이지 파일이 사용자의 웹 브라우저 화면에 표시됨 -> 사용자가 웹 서비스를 사용할 수 있게 됨웹 서버에 접속하려면 웹 브라우저 주소창에 localhost 입력 2. 컨테이너 실행1) 터미널 명령어docker version: Client, Server의 버전 및 상태 확인Client/Server의 각 버전 확인Host OS 에서 도커가 실행 중 X 일때; 버전 확인 불가docker info:.. 2024. 12. 22. 이전 1 2 3 4 ··· 32 다음
