HippoRAG

HippoRAG는 인간 뇌의 해마(hippocampus) 기억 인덱싱 이론에서 영감을 받은 RAG 아키텍처입니다. LLM으로 문서에서 지식 트리플(주어-관계-목적어)을 추출하여 지식 그래프를 구축하고, Personalized PageRank(PPR)를 활용하여 검색하는 방식으로 기존 RAG보다 다단계 추론과 지식 통합에 뛰어납니다.

핵심 아이디어

HippoRAG는 뇌의 장기 기억 시스템을 세 가지 구성 요소에 대응시킵니다.

뇌 구조	HippoRAG 대응	역할
대뇌 신피질 (Neocortex)	LLM	지식 처리 및 답변 생성
해마 (Hippocampus)	Knowledge Graph	지식 트리플 저장 및 인덱싱
해마방회 (Parahippocampal)	PPR 알고리즘	연관 기억 검색

해마 기억 인덱싱 이론 (Hippocampal Memory Indexing Theory)

해마 기억 인덱싱 이론에 따르면, 해마는 기억의 내용 자체를 저장하는 것이 아니라 대뇌 신피질에 분산된 기억 조각들의 인덱스(색인)를 관리합니다.새로운 정보가 들어오면 해마는 기존 기억과의 연결(패턴 분리/패턴 완성)을 통해 관련 기억을 활성화합니다. HippoRAG는 이 과정을 지식 그래프의 엔티티 연결과 PPR 전파로 모사합니다.

동작 방식

HippoRAG는 오프라인 인덱싱과 온라인 검색의 두 단계로 동작합니다.

오프라인 인덱싱 vs 온라인 검색

오프라인 인덱싱
온라인 검색

트리플 추출: LLM이 각 문서에서 (주어, 관계, 목적어) 형태의 지식 트리플을 추출합니다
그래프 구축: 추출된 트리플의 엔티티를 노드로, 관계를 엣지로 연결하여 Knowledge Graph를 구축합니다
패시지 연결: 각 트리플이 추출된 원본 패시지를 해당 노드에 연결합니다

이 과정은 문서가 추가될 때 한 번 수행되며, 검색 시에는 구축된 그래프를 재활용합니다.

LangGraph 구현

아래 구현에서는 Knowledge Graph를 딕셔너리 기반의 간소화된 구조로 시뮬레이션합니다. 실제 HippoRAG 구현에서는 Neo4j 등의 그래프 DB와 정교한 PPR 알고리즘을 사용합니다.

상태 정의

from typing import TypedDict, List
from langchain_core.documents import Document

class HippoState(TypedDict):
    question: str
    query_entities: List[str]
    kg_results: List[dict]
    documents: List[Document]
    answer: str

지식 그래프 시뮬레이션

# 사전 구축된 Knowledge Graph (예시)
KNOWLEDGE_GRAPH = {
    "entities": {
        "트랜스포머": {"passages": ["passage_1", "passage_2"]},
        "셀프 어텐션": {"passages": ["passage_1", "passage_3"]},
        "BERT": {"passages": ["passage_4", "passage_5"]},
        "GPT": {"passages": ["passage_5", "passage_6"]},
        "사전학습": {"passages": ["passage_4", "passage_6"]},
    },
    "triples": [
        ("트랜스포머", "핵심 메커니즘", "셀프 어텐션"),
        ("BERT", "기반 아키텍처", "트랜스포머"),
        ("GPT", "기반 아키텍처", "트랜스포머"),
        ("BERT", "학습 방식", "사전학습"),
        ("GPT", "학습 방식", "사전학습"),
    ],
}

PASSAGES = {
    "passage_1": "트랜스포머는 셀프 어텐션 메커니즘을 기반으로 한 딥러닝 아키텍처입니다.",
    "passage_2": "트랜스포머는 인코더-디코더 구조를 사용하며 병렬 처리에 유리합니다.",
    "passage_3": "셀프 어텐션은 시퀀스 내 모든 위치 간의 관계를 동시에 계산합니다.",
    "passage_4": "BERT는 양방향 사전학습을 통해 문맥을 이해하는 언어 모델입니다.",
    "passage_5": "BERT와 GPT는 모두 트랜스포머 아키텍처를 기반으로 합니다.",
    "passage_6": "GPT는 자기회귀 사전학습으로 텍스트를 생성하는 언어 모델입니다.",
}

노드 함수

쿼리 엔티티 추출
KG 검색 (PPR 시뮬레이션)
패시지 수집
답변 생성

from langchain.chat_models import init_chat_model
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = init_chat_model("gpt-4o-mini", temperature=0)

def extract_query_entities(state: HippoState) -> HippoState:
    """질문에서 핵심 Named Entity를 추출합니다."""
    question = state["question"]

    prompt = ChatPromptTemplate.from_messages([
        ("system", (
            "질문에서 핵심 Named Entity(인물, 기술, 개념, 조직 등)를 추출하세요.\n"
            "쉼표로 구분하여 출력하세요.\n"
            "예: 트랜스포머, 셀프 어텐션, BERT"
        )),
        ("human", "{question}"),
    ])

    chain = prompt | llm | StrOutputParser()
    result = chain.invoke({"question": question})
    entities = [e.strip() for e in result.split(",") if e.strip()]

    return {"query_entities": entities}

def retrieve_from_kg(state: HippoState) -> HippoState:
    """Knowledge Graph에서 PPR 방식으로 관련 트리플과 노드를 탐색합니다."""
    query_entities = state["query_entities"]
    kg = KNOWLEDGE_GRAPH

    # 1. 시드 노드 매칭
    seed_nodes = [e for e in query_entities if e in kg["entities"]]

    # 2. PPR 시뮬레이션: 시드 노드와 연결된 트리플 탐색
    related_triples = []
    visited_entities = set(seed_nodes)

    for triple in kg["triples"]:
        subj, rel, obj = triple
        if subj in seed_nodes or obj in seed_nodes:
            related_triples.append({"subject": subj, "relation": rel, "object": obj})
            visited_entities.add(subj)
            visited_entities.add(obj)

    # 3. 2-hop 확장: 1차 탐색에서 발견된 엔티티의 이웃도 포함
    for triple in kg["triples"]:
        subj, rel, obj = triple
        if (subj in visited_entities or obj in visited_entities) and triple not in [
            (t["subject"], t["relation"], t["object"]) for t in related_triples
        ]:
            related_triples.append({"subject": subj, "relation": rel, "object": obj})
            visited_entities.add(subj)
            visited_entities.add(obj)

    return {"kg_results": related_triples, "query_entities": list(visited_entities)}

def retrieve_passages(state: HippoState) -> HippoState:
    """KG 탐색에서 발견된 엔티티와 연결된 원본 패시지를 수집합니다."""
    entities = state["query_entities"]
    kg = KNOWLEDGE_GRAPH

    passage_ids = set()
    for entity in entities:
        if entity in kg["entities"]:
            passage_ids.update(kg["entities"][entity]["passages"])

    documents = [
        Document(page_content=PASSAGES[pid], metadata={"passage_id": pid})
        for pid in passage_ids
        if pid in PASSAGES
    ]

    return {"documents": documents}

def generate(state: HippoState) -> HippoState:
    """수집된 패시지와 KG 트리플을 기반으로 답변을 생성합니다."""
    question = state["question"]
    documents = state["documents"]
    kg_results = state["kg_results"]

    # KG 트리플 정보를 텍스트로 변환
    triples_text = "\n".join(
        f"- {t['subject']} → {t['relation']} → {t['object']}"
        for t in kg_results
    )

    context = "\n\n".join(doc.page_content for doc in documents)

    prompt = ChatPromptTemplate.from_messages([
        ("system", (
            "다음 지식 그래프 관계와 문서를 참고하여 질문에 답변하세요.\n\n"
            "지식 그래프 관계:\n{triples}\n\n"
            "관련 문서:\n{context}"
        )),
        ("human", "{question}"),
    ])

    chain = prompt | llm | StrOutputParser()
    answer = chain.invoke({
        "triples": triples_text,
        "context": context,
        "question": question,
    })

    return {"answer": answer}

그래프 구성

from langgraph.graph import StateGraph, START, END

workflow = StateGraph(HippoState)

# 노드 추가
workflow.add_node("extract_query_entities", extract_query_entities)
workflow.add_node("retrieve_from_kg", retrieve_from_kg)
workflow.add_node("retrieve_passages", retrieve_passages)
workflow.add_node("generate", generate)

# 엣지 연결
workflow.add_edge(START, "extract_query_entities")
workflow.add_edge("extract_query_entities", "retrieve_from_kg")
workflow.add_edge("retrieve_from_kg", "retrieve_passages")
workflow.add_edge("retrieve_passages", "generate")
workflow.add_edge("generate", END)

# 컴파일 및 실행
app = workflow.compile()
result = app.invoke({"question": "트랜스포머와 BERT의 관계는?"})
print(result["answer"])

실제 PPR 알고리즘은 그래프 전체에 대해 확률 전파를 수행하며, 위 예제의 이웃 탐색보다 훨씬 정교합니다. 대규모 Knowledge Graph에서는 NetworkX의 pagerank_scipy나 전용 그래프 DB의 PPR 구현을 사용하세요.

기존 Graph RAG와의 비교

항목	Graph RAG (Microsoft)	HippoRAG
그래프 구조	엔티티 + 커뮤니티 계층	엔티티 + 지식 트리플
검색 알고리즘	커뮤니티 요약 / 서브그래프 탐색	Personalized PageRank
요약 생성	커뮤니티 단위 요약 필요	요약 불필요 (트리플만 저장)
영감	그래프 이론	해마 기억 인덱싱 이론
전역 질문	Global Search (map-reduce)	PPR 전파 범위로 커버
인덱싱 비용	높음 (추출 + 커뮤니티 탐지 + 요약)	중간 (추출 + 그래프 구축)
멀티홉 추론	서브그래프 탐색으로 가능	PPR 전파로 자연스럽게 지원

참고 논문

논문	학회	링크
HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models (Gutierrez et al., 2024)	NeurIPS 2024	arXiv 2405.14831

RAG 개요

RAG 개발 단계

RAG 성능 향상 전략

RAG 아키텍처

HippoRAG

HippoRAG

핵심 아이디어

동작 방식

오프라인 인덱싱 vs 온라인 검색

LangGraph 구현

상태 정의

지식 그래프 시뮬레이션

노드 함수

그래프 구성

기존 Graph RAG와의 비교

참고 논문

RAG 개요

RAG 개발 단계

RAG 성능 향상 전략

RAG 아키텍처

​HippoRAG

​핵심 아이디어

​동작 방식

​오프라인 인덱싱 vs 온라인 검색

​LangGraph 구현

​상태 정의

​지식 그래프 시뮬레이션

​노드 함수

​그래프 구성

​기존 Graph RAG와의 비교

​참고 논문

HippoRAG

핵심 아이디어

동작 방식

오프라인 인덱싱 vs 온라인 검색

LangGraph 구현

상태 정의

지식 그래프 시뮬레이션

노드 함수

그래프 구성

기존 Graph RAG와의 비교

참고 논문