파일 업로드 및 세션 관리: 사용자가 텍스트 파일을 업로드하고, 파일 내용을 세션에 저장하여 방언 분석이 원활하게 이루어지도록 함
방언 분석 및 지역 예측 기능: KoBERT 모델을 통해 문장을 임베딩한 후, Transformer 기반 분류 모델로 방언 지역을 예측
6) 트러블 슈팅
문제 상황: 초기 모델에서 특정 단어가 부족한 경우 제주도로 예측되는 문제 발생. 이는 제주도 고유 방언 단어가 모델에 강하게 반영되어 예측이 편향된 것으로 판단됨
해결 방법: 지역별 방언 단어 빈도에 따른 가중치를 적용하여 특정 지역에 치우치지 않도록 조정하고 Fine-Tuning을 통해 모델을 최적화
문제 상황: 불용어 처리 시 일반적으로 불용어로 간주되는 부사, 접속사, 감탄사 등을 제거하려 했으나, 방언에서는 이러한 품사가 지역 특유의 말투를 표현하는 중요한 요소가 되기도 함. 단순히 불용어로 처리할 경우 방언의 특색이 손실될 우려가 있어 어려움이 있었음
해결 방법: 방언 특성에 따라 불용어 중에서도 방언의 말투적 특징을 살리는 단어는 유지하고, 의미 없는 단어만 선별적으로 제거하여 방언의 특징을 최대한 보존
7) 프로젝트를 통해 얻은 역량
형태소 분석 및 텍스트 전처리: Konlpy의 형태소 분석기를 활용하여 텍스트 데이터를 처리하고, 이를 기반으로 방언 지역을 분류하는 데 적용
KoBERT를 이용한 임베딩 및 딥러닝 모델 구축: KoBERT 모델을 활용하여 문장을 임베딩하고 Transformer 기반의 분류 모델로 방언 분류
📘 코드 실습
TF-IDF 계산
# 1. 문서 데이터 준비
docs = [
'마트 딸기 진짜 비싸다', # 첫 번째 문서
'나는 오늘 아침 사과 먹겠다', # 두 번째 문서
'아침 사과 금 사과', # 세 번째 문서
'나는 오늘 저녁 딸기 먹겠다' # 네 번째 문서
]
# 2. 문서에 등장하는 단어들의 집합(vocab)을 생성하고 정렬
vocab = list(set([word for doc in docs for word in doc.split()])) # 각 문서에서 단어를 분리하여 집합(set)으로 만듦
vocab.sort() # 단어를 알파벳 순으로 정렬
# 3. DTM(Document-Term Matrix) 생성
N = len(docs) # 문서의 개수 저장
dtm = [] # DTM을 저장할 빈 리스트
# 문서에서 단어의 등장 빈도를 계산하여 DTM에 추가
for doc in docs: # 각 문서에 대해 반복
row = []
for word in vocab: # 각 단어에 대해 반복
row.append(doc.split().count(word)) # 해당 문서에서 해당 단어의 빈도를 계산하여 리스트에 추가
dtm.append(row) # 각 문서에 대해 계산된 단어 빈도를 DTM 리스트에 추가
# DTM을 DataFrame으로 변환하여 출력
import pandas as pd # pandas를 사용하여 DataFrame 생성
dtm_df = pd.DataFrame(dtm, columns=vocab) # DTM을 DataFrame으로 변환
print("Document-Term Matrix (DTM):") # DTM 출력
print(dtm_df)
# 4. TF(Term Frequency) 계산
def tf(term, doc):
"""문서에서의 단어 빈도(TF)를 계산하는 함수"""
return doc.split().count(term) / len(doc.split()) # 문서에서 단어의 등장 횟수를 전체 단어 수로 나눔
tf_result = [] # TF 결과를 저장할 리스트
for doc in docs: # 각 문서에 대해 반복
row = []
for word in vocab: # 각 단어에 대해 반복
row.append(tf(word, doc)) # TF 계산 후 리스트에 추가
tf_result.append(row) # 각 문서에 대한 TF 결과를 리스트에 추가
tf_df = pd.DataFrame(tf_result, columns=vocab) # TF 결과를 DataFrame으로 변환
print("\nTF (Term Frequency):") # TF 출력
print(tf_df)
# 5. IDF(Inverse Document Frequency) 계산
import math # 수학 계산을 위한 math 모듈 사용
def idf(term, docs):
"""역 문서 빈도(IDF)를 계산하는 함수"""
df = sum([1 for doc in docs if term in doc.split()]) # 해당 단어가 등장한 문서의 수 계산
return math.log(len(docs) / (df + 1)) # IDF 계산 (로그 함수 사용)
idf_result = [] # IDF 결과를 저장할 리스트
for word in vocab: # 각 단어에 대해 반복
idf_result.append(idf(word, docs)) # 각 단어에 대해 IDF를 계산하고 리스트에 추가
idf_df = pd.DataFrame(idf_result, index=vocab, columns=['IDF']) # IDF 결과를 DataFrame으로 변환
print("\nIDF (Inverse Document Frequency):") # IDF 출력
print(idf_df)
# 6. TF-IDF 계산
def tf_idf(term, doc, docs):
"""TF와 IDF를 곱하여 TF-IDF 값을 계산하는 함수"""
return tf(term, doc) * idf(term, docs) # TF와 IDF의 곱을 계산
tf_idf_result = [] # TF-IDF 결과를 저장할 리스트
for doc in docs: # 각 문서에 대해 반복
row = []
for word in vocab: # 각 단어에 대해 반복
row.append(tf_idf(word, doc, docs)) # TF-IDF 계산 후 리스트에 추가
tf_idf_result.append(row) # 각 문서에 대한 TF-IDF 결과를 리스트에 추가
tf_idf_df = pd.DataFrame(tf_idf_result, columns=vocab) # TF-IDF 결과를 DataFrame으로 변환
print("\nTF-IDF:") # TF-IDF 출력
print(tf_idf_df)
