Pulse · AI 뉴스

LLM의 내부 인센티브 호환성 확보: 반사실 보고 조정 방법

arXiv cs.AI · 2026-07-15

연구진은 LLM이 압박 상황에서 부정확한 보고를 하는 문제를 '내부 인센티브 호환성(IC) 부족'으로 규정했어요. 이를 해결하기 위해, 외부 압력에 저항하고 정당한 증거에 반응하는 '반사실 보고 조정기(CRC)' 학습 및 인증 방법을 제시했어요.

CRC는 모델의 보고를 인과적 계약에 따라 관리하며, 보고가 금지된 영향(압박, 명성)에는 변하지 않고 허가된 영향(실제 증거)에는 반응하도록 설계됐어요. 연구진은 베이지안-증인 벤치마크에서 이러한 저항과 업데이트의 균형을 연구했어요.

연구 결과, 답변, 확신, 주의사항에 대한 보고 좌표가 거의 직교하며 독립적으로 제어 가능했고, 모델 자체의 보고를 참조하는 CRC 클램프를 통해 저항과 업데이트를 동시에 달성할 수 있었어요. 단일 패스 컴파일은 손실이 발생했지만, 다양한 모델과 자연스러운 아첨 벤치마크에서도 재현 가능했어요.

본 연구의 핵심은 내부 IC를 위한 구조적 원리로서의 반사실 인센티브 불변성 활성화 수준을 제시하고, 이를 인터페이스 및 인증 방법으로 제공하는 데 있습니다.

##LLM##인공지능##보고##인센티브
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기