논문 정보
- 날짜:
2026-03-04
- 카테고리: -
- 우선순위 점수: 0.7
핵심 요약
MOSAIC은 에이전트 모델이 도구를 사용할 때 발생할 수 있는 비가역적 피해를 방지하기 위해 ‘계획-확인-실행/거절’ 루프를 도입한 사후 학습 프레임워크입니다. 선호도 기반 강화학습(PbRL)을 활용하여 명시적인 안전 추론과 거절 동작을 학습시키며, 궤적 단위의 라벨 없이도 안전성을 강화합니다. 실험 결과 Qwen 및 Phi 모델에서 유해 행동을 최대 50% 감소시키면서도 일반 성능은 유지하는 것으로 나타났습니다.
학습자 관점 포인트
- 우리 팀 영향: 멀티스텝 도구 사용이 필요한 에이전트 개발 시, 중간 단계의 안전성을 검증하고 거절 로직을 내재화하는 아키텍처 설계에 기여할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 기존 채팅 모델용 정렬 방식의 한계를 극복하고 에이전트 특화 안전 추론을 구현했다는 점에서 실제 서비스 적용 가능성을 검증할 가치가 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
