Nokia-Bell Labs가 자유로운 추론과 구조화된 생성을 결합한 In-Writing 방식을 제안했어요. 모델은 먼저 제약 없는 추론을 수행한 뒤 트리거 토큰이 생성되면 구조화된 디코딩을 적용하여 추론과 서식을 분리해요. In-Writing 방식은 기존 방식의 조기 트리거 문제를 해결하고 분류 및 추론 작업에서 최대 27% 정확도 향상을 달성했어요.
코드 GitHub에서 공개됐어요.
자유로운 생성과 구조화된 생성을 결합하여 LLM 성능을 개선하는 새로운 접근 방식이에요.