임베딩과 표현 학습

임베딩(Embedding)은 고차원의 이산적 데이터(단어, 문장, 이미지)를 저차원의 연속적 벡터 공간에 매핑하는 기법입니다. 유사한 의미를 가진 데이터가 벡터 공간에서 가까이 위치하도록 학습됩니다.

이 그룹은 RAG 탭의 벡터 검색 파이프라인과 직접 연결됩니다. 임베딩 모델의 원리를 이해하면 RAG에서 임베딩 모델을 선택하고 최적화하는 능력이 크게 향상됩니다.

단어 임베딩

Word2Vec, GloVe, FastText의 원리

Sentence-BERT, E5, BGE 모델과 유사도 검색

SimCLR, CLIP, InfoNCE Loss