# 어휘 기반 (Jaccard Similarity)
sent_a = set("오늘 날씨가 좋습니다".split())
sent_b = set("오늘 날씨가 맑습니다".split())
jaccard = len(sent_a & sent_b) / len(sent_a | sent_b)
print(f"Jaccard: {jaccard:.2f}")  # 0.60 — "좋습니다" ≠ "맑습니다"

# 의미 기반 (Sentence-BERT)
# "좋습니다"와 "맑습니다"가 날씨 맥락에서 유사하다는 것을 캡처
# → 의미 유사도: ~0.92

import numpy as np

def cosine_similarity(u, v):
    """코사인 유사도 계산"""
    return np.dot(u, v) / (np.linalg.norm(u) * np.linalg.norm(v))

from sentence_transformers import SentenceTransformer, util

# 다국어 문장 임베딩 모델 로딩
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

# 문장 인코딩
sentences = [
    "오늘 날씨가 정말 좋습니다",
    "오늘은 맑고 화창한 날입니다",
    "주식 시장이 크게 하락했습니다",
    "경제 전망이 어둡습니다",
]

embeddings = model.encode(sentences, convert_to_tensor=True)
print(f"임베딩 차원: {embeddings.shape}")  # (4, 384)

# 모든 쌍의 유사도 계산
cosine_scores = util.cos_sim(embeddings, embeddings)

for i in range(len(sentences)):
    for j in range(i + 1, len(sentences)):
        print(f"[{cosine_scores[i][j]:.4f}] "
              f"'{sentences[i]}' vs '{sentences[j]}'")
# [0.8923] '오늘 날씨가 정말 좋습니다' vs '오늘은 맑고 화창한 날입니다'
# [0.1234] '오늘 날씨가 정말 좋습니다' vs '주식 시장이 크게 하락했습니다'
# ...

import torch

# 검색 대상 문서 (코퍼스)
corpus = [
    "파이썬은 데이터 과학에 널리 사용되는 프로그래밍 언어입니다",
    "자바스크립트는 웹 개발의 핵심 언어입니다",
    "딥러닝은 인공 신경망을 활용한 머신러닝 기법입니다",
    "자연어 처리는 컴퓨터가 인간의 언어를 이해하는 기술입니다",
    "컨테이너 기술은 애플리케이션 배포를 간소화합니다",
    "벡터 데이터베이스는 임베딩 벡터의 유사도 검색에 특화되어 있습니다",
]

# 코퍼스 인코딩 (한 번만 수행)
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)

def semantic_search(query, top_k=3):
    """시맨틱 서치: 의미적으로 유사한 문서 검색"""
    query_embedding = model.encode(query, convert_to_tensor=True)

    # 코사인 유사도 계산
    scores = util.cos_sim(query_embedding, corpus_embeddings)[0]

    # 상위 K개 결과
    top_results = torch.topk(scores, k=top_k)

    print(f"\n질의: '{query}'")
    print("-" * 50)
    for score, idx in zip(top_results.values, top_results.indices):
        print(f"  [{score:.4f}] {corpus[idx]}")

# 검색 테스트
semantic_search("NLP 기술이란?")
# [0.7832] 자연어 처리는 컴퓨터가 인간의 언어를 이해하는 기술입니다
# [0.5421] 딥러닝은 인공 신경망을 활용한 머신러닝 기법입니다
# [0.3156] 파이썬은 데이터 과학에 널리 사용되는 프로그래밍 언어입니다

semantic_search("유사한 문서 찾기")
# [0.6789] 벡터 데이터베이스는 임베딩 벡터의 유사도 검색에 특화되어 있습니다
# ...

def find_duplicates(questions, threshold=0.85):
    """유사 질문 그룹 탐지"""
    embeddings = model.encode(questions, convert_to_tensor=True)
    cosine_scores = util.cos_sim(embeddings, embeddings)

    duplicates = []
    for i in range(len(questions)):
        for j in range(i + 1, len(questions)):
            if cosine_scores[i][j] > threshold:
                duplicates.append((
                    questions[i], questions[j],
                    cosine_scores[i][j].item()
                ))
    return duplicates

questions = [
    "파이썬 설치 방법",
    "Python 어떻게 설치하나요?",
    "딥러닝이란 무엇인가요?",
    "딥러닝의 정의를 알려주세요",
]

for q1, q2, score in find_duplicates(questions):
    print(f"[{score:.3f}] '{q1}' ↔ '{q2}'")

from sklearn.cluster import KMeans

# 문서 임베딩
documents = [...]  # 문서 리스트
embeddings = model.encode(documents)

# K-Means 클러스터링
kmeans = KMeans(n_clusters=5, random_state=42)
clusters = kmeans.fit_predict(embeddings)

# 클러스터별 문서 그룹화
for cluster_id in range(5):
    cluster_docs = [doc for doc, c in zip(documents, clusters)
                    if c == cluster_id]
    print(f"\n클러스터 {cluster_id}: {len(cluster_docs)}건")
    for doc in cluster_docs[:3]:
        print(f"  - {doc[:50]}...")