import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def textrank_summarize(text, num_sentences=3):
    """TextRank 기반 추출 요약"""
    # 1. 문장 분할
    sentences = text.split(". ")
    sentences = [s.strip() for s in sentences if len(s.strip()) > 10]

    if len(sentences) <= num_sentences:
        return ". ".join(sentences)

    # 2. TF-IDF 벡터화
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(sentences)

    # 3. 문장 간 유사도 행렬 (그래프의 간선 가중치)
    similarity_matrix = cosine_similarity(tfidf_matrix)

    # 4. PageRank 계산
    scores = np.ones(len(sentences)) / len(sentences)
    damping = 0.85  # 감쇠 계수

    for _ in range(30):  # 반복 수렴
        new_scores = (1 - damping) / len(sentences)
        for i in range(len(sentences)):
            weighted_sum = 0
            for j in range(len(sentences)):
                if i != j and similarity_matrix[i][j] > 0:
                    degree = similarity_matrix[j].sum() - similarity_matrix[j][j]
                    if degree > 0:
                        weighted_sum += (
                            similarity_matrix[i][j] / degree * scores[j]
                        )
            new_scores_i = (1 - damping) / len(sentences) + damping * weighted_sum
            scores[i] = new_scores_i

    # 5. 상위 문장 선택 (원문 순서 유지)
    ranked_indices = np.argsort(scores)[::-1][:num_sentences]
    ranked_indices = sorted(ranked_indices)

    summary = ". ".join([sentences[i] for i in ranked_indices])
    return summary + "."

# 한국어 텍스트 예시
article = """
인공지능(AI) 기술이 의료 분야에서 혁신을 이끌고 있다.
특히 의료 영상 분석에서 딥러닝 모델의 정확도가 전문의 수준에 도달했다.
폐 CT 영상에서 폐암을 조기 발견하는 AI 모델은 방사선과 의사의 진단 정확도와
유사한 수준을 보여주고 있다.
그러나 AI 진단의 신뢰성과 설명 가능성에 대한 우려도 존재한다.
환자의 개인정보 보호와 의료 AI의 윤리적 사용에 대한 가이드라인이 필요하다.
전문가들은 AI가 의사를 대체하는 것이 아니라 보조하는 도구로 활용되어야 한다고 강조한다.
향후 AI 기술의 발전과 함께 의료 분야의 디지털 전환이 가속화될 것으로 전망된다.
""".strip()

summary = textrank_summarize(article, num_sentences=3)
print("요약 결과:")
print(summary)

pip install transformers torch

from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration

# KoBART 모델 로딩
model_name = "digit82/kobart-summarization"
tokenizer = PreTrainedTokenizerFast.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

def abstractive_summarize(text, max_length=128, min_length=32):
    """KoBART 기반 생성 요약"""
    inputs = tokenizer(
        text,
        return_tensors="pt",
        max_length=1024,
        truncation=True,
    )

    summary_ids = model.generate(
        inputs["input_ids"],
        max_length=max_length,
        min_length=min_length,
        num_beams=4,
        length_penalty=2.0,      # 긴 요약 선호
        no_repeat_ngram_size=3,   # 3-gram 반복 방지
        early_stopping=True,
    )

    summary = tokenizer.decode(
        summary_ids[0],
        skip_special_tokens=True,
    )
    return summary

# 요약 실행
summary = abstractive_summarize(article)
print("생성 요약:")
print(summary)

from transformers import T5ForConditionalGeneration, T5Tokenizer

model_name = "paust/pko-t5-base"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

def t5_summarize(text, max_length=128):
    """T5 기반 생성 요약"""
    # T5는 태스크를 접두어로 지정
    input_text = f"summarize: {text}"

    inputs = tokenizer(
        input_text,
        return_tensors="pt",
        max_length=512,
        truncation=True,
    )

    outputs = model.generate(
        **inputs,
        max_length=max_length,
        num_beams=4,
        early_stopping=True,
    )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

print(t5_summarize(article))

import evaluate

rouge = evaluate.load("rouge")

# 예측 요약과 참조 요약
predictions = [summary]
references = ["AI 기술이 의료 영상 분석에서 혁신을 이끌고 있으나, "
               "신뢰성과 윤리적 사용에 대한 가이드라인이 필요하다."]

results = rouge.compute(
    predictions=predictions,
    references=references,
)

print(f"ROUGE-1: {results['rouge1']:.4f}")  # 유니그램 겹침
print(f"ROUGE-2: {results['rouge2']:.4f}")  # 바이그램 겹침
print(f"ROUGE-L: {results['rougeL']:.4f}")  # 최장 공통 부분 수열