논문 정보
- 날짜:
2026-04-05
- 카테고리: -
- 우선순위 점수: 1.267
핵심 요약
Brainstacks는 동결된 베이스 모델 위에 MoE-LoRA 스택을 추가하여 지속적인 학습을 가능하게 하는 모듈형 아키텍처입니다. 널 공간 투영(Null-space projection)을 통해 이전 지식의 망각을 방지하며, 메타 라우터가 도메인 간의 인지적 프리미티브를 조합하여 새로운 도메인에 대응합니다. 실험 결과, 의료 데이터 없이도 대화와 수학 스택의 조합만으로 의료 프롬프트를 처리하는 등 도메인 간 지식 전이 능력을 입증했습니다.
학습자 관점 포인트
- 우리 팀 영향: 지속적인 도메인 확장 시 발생하는 카타스트로픽 포겟팅 문제를 해결하고, 기존 학습된 모듈의 조합만으로 미학습 도메인에 대응하는 효율적인 튜닝 전략을 제공합니다.
- 권장 액션: 실험
- 액션 근거: 기존 LoRA 대비 빠른 수렴 속도와 망각 방지 성능이 우수하며, 모듈형 스택 조합을 통한 제로샷 도메인 확장 가능성을 검증할 가치가 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
