from sklearn.feature_extraction.text import CountVectorizer

# 한국어 문서 (형태소 분석 후 공백으로 연결한 상태)
documents = [
    "자연어 처리 는 인공지능 의 핵심 기술 이다",
    "딥러닝 은 자연어 처리 에서 혁명 을 일으켰다",
    "인공지능 과 딥러닝 이 세상 을 바꾸고 있다"
]

# CountVectorizer로 BoW 벡터를 생성합니다
vectorizer = CountVectorizer()
bow_matrix = vectorizer.fit_transform(documents)

# 어휘 확인
print("어휘:", vectorizer.get_feature_names_out())
# ['과', '기술', '는', '딥러닝', '에서', '를', '세상', '이다', '인공지능', '은', ...]

# BoW 행렬 확인 (문서 × 어휘)
print(f"행렬 크기: {bow_matrix.shape}")
print("밀집 행렬:")
print(bow_matrix.toarray())
# 각 행은 문서, 각 열은 단어, 값은 출현 횟수입니다

from sklearn.feature_extraction.text import TfidfVectorizer

documents = [
    "자연어 처리 는 인공지능 의 핵심 기술 이다",
    "딥러닝 은 자연어 처리 에서 혁명 을 일으켰다",
    "인공지능 과 딥러닝 이 세상 을 바꾸고 있다"
]

# TF-IDF 벡터를 생성합니다
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

print(f"행렬 크기: {tfidf_matrix.shape}")

# 각 문서에서 가장 중요한 단어를 확인합니다
feature_names = tfidf_vectorizer.get_feature_names_out()
for i, doc in enumerate(documents):
    scores = tfidf_matrix[i].toarray().flatten()
    top_indices = scores.argsort()[-3:][::-1]  # 상위 3개
    top_words = [(feature_names[j], scores[j]) for j in top_indices]
    print(f"문서 {i+1} 핵심 단어: {top_words}")

# TF-IDF를 활용한 문서 유사도 계산
from sklearn.metrics.pairwise import cosine_similarity

# 문서 간 코사인 유사도를 계산합니다
similarity_matrix = cosine_similarity(tfidf_matrix)
print("문서 간 유사도:")
for i in range(len(documents)):
    for j in range(i+1, len(documents)):
        print(f"  문서 {i+1} ↔ 문서 {j+1}: {similarity_matrix[i][j]:.4f}")

from gensim.models import Word2Vec

# 토큰화된 문장 리스트 (각 문장은 단어 리스트)
sentences = [
    ["자연어", "처리", "는", "인공지능", "의", "핵심", "기술", "이다"],
    ["딥러닝", "은", "자연어", "처리", "에서", "혁명", "을", "일으켰다"],
    ["기계", "학습", "은", "데이터", "에서", "패턴", "을", "학습", "한다"],
    ["인공지능", "은", "머신러닝", "과", "딥러닝", "을", "포함", "한다"],
    ["자연어", "처리", "에서", "토큰화", "는", "기본", "전처리", "이다"],
]

# Word2Vec 모델 학습
model = Word2Vec(
    sentences,
    vector_size=100,  # 벡터 차원 수
    window=5,         # 주변 단어 윈도우 크기
    min_count=1,      # 최소 등장 횟수
    sg=1,             # 1=Skip-gram, 0=CBOW
    epochs=100        # 학습 반복 횟수
)

# 단어 벡터 확인
vector = model.wv["자연어"]
print(f"'자연어' 벡터 (100차원): {vector[:5]}...")  # 처음 5개 값만 출력

# 유사 단어 검색
similar = model.wv.most_similar("자연어", topn=3)
print(f"'자연어'와 유사한 단어: {similar}")

# Word2Vec의 의미 연산 (큰 코퍼스에서 학습 시)
# "왕 - 남자 + 여자 ≈ 여왕" 과 같은 연산이 가능합니다
result = model.wv.most_similar(
    positive=["인공지능", "처리"],
    negative=["학습"],
    topn=3
)
print(f"인공지능 - 학습 + 처리 ≈ {result}")

# 단어 간 유사도 계산
similarity = model.wv.similarity("자연어", "인공지능")
print(f"'자연어' ↔ '인공지능' 유사도: {similarity:.4f}")

from gensim.models import FastText

# FastText 모델 학습
ft_model = FastText(
    sentences,
    vector_size=100,
    window=5,
    min_count=1,
    sg=1,
    epochs=100
)

# 학습 데이터에 없는 단어도 벡터를 생성할 수 있습니다 (OOV 처리)
# "자연어처리"는 학습 데이터에 없지만, "자연어"와 "처리"의 서브워드 정보로 벡터 생성
oov_vector = ft_model.wv["자연어처리"]
print(f"OOV 단어 '자연어처리' 벡터 생성 가능: {oov_vector[:5]}...")

# Word2Vec에서는 OOV 단어 조회 시 KeyError가 발생합니다
try:
    model.wv["자연어처리"]
except KeyError as e:
    print(f"Word2Vec OOV 에러: {e}")

# GloVe는 별도 학습 도구를 사용하지만,
# 사전학습된 모델을 gensim으로 로드할 수 있습니다
import gensim.downloader as api

# 사전학습된 GloVe 모델 로드 (최초 실행 시 다운로드)
# glove_model = api.load("glove-wiki-gigaword-100")  # 100차원

# 로드 후 Word2Vec과 동일한 인터페이스로 사용합니다
# similar = glove_model.most_similar("computer", topn=5)
# print(similar)

# GloVe 텍스트 파일을 직접 로드하는 방법
import numpy as np

def load_glove(filepath, dim=100):
    """GloVe 텍스트 파일에서 임베딩을 로드합니다."""
    embeddings = {}
    with open(filepath, 'r', encoding='utf-8') as f:
        for line in f:
            values = line.strip().split()
            word = values[0]
            vector = np.array(values[1:], dtype='float32')
            if len(vector) == dim:
                embeddings[word] = vector
    print(f"로드된 단어 수: {len(embeddings)}")
    return embeddings

# 사용 예시 (파일이 있을 경우)
# embeddings = load_glove("glove.6B.100d.txt", dim=100)
# print(embeddings["computer"][:5])