Pulse · AI 뉴스

다음 토큰 예측, 언제 유용한가? 주변화, 인과성, 혼합 식별 가능성, 국소 충분성, RAG, 도구, 그리고 프로그래밍

arXiv cs.CL · 2026-05-22

본 논문은 언어 모델이 실제 토큰 경로를 학습한다고 설명하지만, 이는 조건적으로만 맞으며, 모델은 완전한 조건부 법칙이 아닌 샘플링된 연속만 관찰합니다.

언어 생성은 이전 단어뿐만 아니라 사실, 사건, 의도, 목표, 신념, 사회적 맥락, 작업별 제약과 같은 비텍스트 환경에 의해 조건부로 결정됩니다.

본 논문은 주변화된 텍스트만 법을 추정하는 것은 정상성, 대표성, 인과성이라는 가정을 필요로 하며, 이 가정들은 이질적인 언어 코퍼스에 적용하기 어렵다고 주장합니다.

##LLM##RAG##인과성##충분성##모델
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기