논문 정보
- 날짜:
2026-04-14 - 카테고리: -
- 우선순위 점수: 0.367
핵심 요약
확산 언어 모델(DLM)이 자기회귀(AR) 모델보다 성능이 낮은 원인을 내성적 일관성(Introspective Consistency) 부족으로 정의하고 이를 해결한 I-DLM을 제안합니다. 새로운 ISD 디코딩 알고리즘을 통해 이전 토큰을 검증하면서 동시에 새로운 토큰을 생성하는 병렬 구조를 구현했습니다. 실험 결과 동일 규모의 AR 모델과 대등한 품질을 달성했으며, 기존 DLM 대비 3배 높은 처리량을 보여주었습니다.학습자 관점 포인트
- 우리 팀 영향: 병렬 생성의 효율성을 유지하면서도 AR 모델 수준의 품질을 확보할 수 있는 새로운 디코딩 및 학습 패러다임을 제시합니다.
- 권장 액션: 실험
- 액션 근거: 기존 DLM의 한계인 품질 저하 문제를 해결하고 높은 처리량을 증명했으므로 실제 성능 검증이 가치가 있습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.11035
- Hugging Face Papers: https://huggingface.co/papers/2604.11035