먹 (어근) + 었 (과거 시제 선어말 어미) + 습니다 (종결 어미)
→ "먹었습니다"

학교 (체언) + 에서 (부사격 조사)
→ "학교에서"

아름답 (어근) + ㄴ (관형사형 전성 어미)
→ "아름다운"

# 같은 의미이지만 띄어쓰기가 다른 텍스트
text_correct = "나는 학교에 간다"     # 올바른 띄어쓰기
text_wrong1  = "나는학교에간다"       # 띄어쓰기 없음
text_wrong2  = "나 는 학교에간 다"    # 잘못된 띄어쓰기

# 공백 기반 토큰화 결과가 모두 다릅니다
print(text_correct.split())  # ['나는', '학교에', '간다']
print(text_wrong1.split())   # ['나는학교에간다']
print(text_wrong2.split())   # ['나', '는', '학교에간', '다']

"아름다운 꽃이 피었습니다"
→ 아름답 / ㄴ / 꽃 / 이 / 피 / 었 / 습니다
   어근    어미 명사 조사 어근 어미  어미

# KoNLPy 설치
# pip install konlpy

# 각 분석기 임포트
from konlpy.tag import Mecab, Okt, Komoran, Hannanum, Kkma

# 5가지 분석기로 같은 문장을 분석합니다
text = "아버지가방에들어가셨다"

# Mecab - 가장 빠른 분석기
mecab = Mecab()
print("Mecab:", mecab.morphs(text))
# ['아버지', '가', '방', '에', '들어가', '셨', '다']

print("Mecab(품사):", mecab.pos(text))
# [('아버지', 'NNG'), ('가', 'JKS'), ('방', 'NNG'), ('에', 'JKB'),
#  ('들어가', 'VV'), ('셨', 'EP'), ('다', 'EF')]

# Okt (Open Korean Text) - 정규화 기능 포함
okt = Okt()
print("Okt:", okt.morphs(text))
# ['아버지', '가방', '에', '들어가셨', '다']

# Okt의 정규화 기능
print("정규화:", okt.normalize("ㅋㅋㅋ 완전 좋아용~"))
# 'ㅋㅋ 완전 좋아용~'

# Okt의 명사 추출
print("명사:", okt.nouns("자연어 처리는 인공지능의 한 분야입니다"))
# ['자연어', '처리', '인공지능', '분야']

# Komoran - 공백 오류에 강건
komoran = Komoran()
print("Komoran:", komoran.morphs(text))
# ['아버지', '가', '방', '에', '들어가', '시', '었', '다']

# Hannanum - 학술적 분석
hannanum = Hannanum()
print("Hannanum:", hannanum.morphs(text))
# ['아버지가방에들어가', '시', '었', '다']  (공백이 없으면 어려워함)

# Kkma - 가장 상세한 분석
kkma = Kkma()
print("Kkma:", kkma.morphs(text))
# ['아버지', '가방', '에', '들어가', '시', '었', '다']

# 실무에서의 분석기 선택 기준
import time

text_list = ["자연어 처리는 인공지능의 핵심 기술입니다"] * 1000

# 속도 비교
analyzers = {
    "Mecab": Mecab(),
    "Okt": Okt(),
    "Komoran": Komoran()
}

for name, analyzer in analyzers.items():
    start = time.time()
    for t in text_list:
        analyzer.morphs(t)
    elapsed = time.time() - start
    print(f"{name}: {elapsed:.3f}초 (1000문장)")

# 일반적인 결과:
# Mecab: 0.15초
# Okt: 1.20초
# Komoran: 0.80초

# 용도별 추천 조합
def choose_analyzer(use_case):
    """용도에 따른 형태소 분석기 추천"""
    recommendations = {
        "대용량_처리": "Mecab - 속도가 가장 빠릅니다",
        "소셜미디어": "Okt - 구어체/신조어 정규화에 강합니다",
        "정밀_분석": "Kkma - 품사 태깅 정확도가 가장 높습니다",
        "범용_서비스": "Komoran - 띄어쓰기 오류에 강건합니다",
        "학술_연구": "Hannanum - 언어학적 분석에 적합합니다"
    }
    return recommendations.get(use_case, "Mecab (기본 추천)")

# 영어와 한국어의 토큰화 차이를 비교합니다
from transformers import AutoTokenizer

# 영어 문장
en_text = "I went to school yesterday"
# 한국어 문장 (같은 의미)
ko_text = "나는 어제 학교에 갔습니다"

tokenizer = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")

en_tokens = tokenizer.tokenize(en_text)
ko_tokens = tokenizer.tokenize(ko_text)

print(f"영어 ({len(en_tokens)} 토큰): {en_tokens}")
# 영어 (5 토큰): ['I', 'went', 'to', 'school', 'yesterday']

print(f"한국어 ({len(ko_tokens)} 토큰): {ko_tokens}")
# 한국어 (12 토큰): ['나', '##는', '어', '##제', '학', '##교', '##에', '갔', '##습', '##니', '##다']

# 같은 의미의 문장인데 한국어가 더 많은 토큰을 사용합니다
# 이는 한국어 어휘가 충분히 학습되지 않았기 때문입니다

# 한국어 특화 모델의 토크나이저와 비교합니다
from transformers import AutoTokenizer

# 다국어 모델
multi_tok = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")
# 한국어 특화 모델
ko_tok = AutoTokenizer.from_pretrained("klue/bert-base")

text = "자연어 처리 기술이 빠르게 발전하고 있습니다"

multi_tokens = multi_tok.tokenize(text)
ko_tokens = ko_tok.tokenize(text)

print(f"다국어 BERT ({len(multi_tokens)} 토큰): {multi_tokens}")
# 다국어 BERT (16 토큰): ['자', '##연', '##어', '처', '##리', ...]

print(f"KLUE BERT ({len(ko_tokens)} 토큰): {ko_tokens}")
# KLUE BERT (9 토큰): ['자연어', '처리', '기술', '##이', '빠르', '##게', ...]

# 한국어 특화 모델이 훨씬 효율적으로 토큰화합니다

# 형태소 분석 + 서브워드 토큰화 결합 예시
from konlpy.tag import Mecab
from transformers import AutoTokenizer

mecab = Mecab()
tokenizer = AutoTokenizer.from_pretrained("klue/bert-base")

text = "아버지가방에들어가셨다"

# 방법 1: 서브워드 토크나이저에 직접 입력
tokens_direct = tokenizer.tokenize(text)
print(f"직접 토큰화: {tokens_direct}")
# 띄어쓰기 없는 텍스트를 잘못 분석할 수 있습니다

# 방법 2: 형태소 분석 후 서브워드 토큰화
morphs = mecab.morphs(text)               # 형태소 분석
morphs_text = " ".join(morphs)             # 형태소를 공백으로 결합
tokens_morph = tokenizer.tokenize(morphs_text)
print(f"형태소 후 토큰화: {tokens_morph}")
# 형태소 분석이 선행되어 더 정확한 토큰화가 가능합니다