논문 정보
- 날짜:
2026-04-12 - 카테고리: -
- 우선순위 점수: 1.367
핵심 요약
DMax는 확산 언어 모델(dLLM)의 병렬 디코딩 시 발생하는 오류 누적 문제를 해결하기 위해 제안된 새로운 패러다임입니다. 마스크 임베딩에서 토큰 임베딩으로의 점진적 자기 정제 방식을 도입하고, On-Policy Uniform Training을 통해 모델의 복구 능력을 강화했습니다. 실험 결과 GSM8K 및 MBPP 벤치마크에서 기존 LLaDA 대비 생성 품질을 유지하면서도 처리 속도(TPF)를 2배 이상 향상시켰습니다.학습자 관점 포인트
- 우리 팀 영향: 확산 모델 기반 텍스트 생성의 고질적인 속도 문제를 해결하여 실시간 추론 서비스 적용 가능성을 높였습니다.
- 권장 액션: 실험
- 액션 근거: 기존 dLLM 대비 비약적인 TPS 향상을 보였으며 오픈소스 코드가 제공되어 내부 모델에 적용 및 성능 검증이 용이합니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.08302
- Hugging Face Papers: https://huggingface.co/papers/2604.08302