기술 리더가 LLM의 논리적 오류를 해결하기 위해 '시스템 프롬프트 개선'을 지속적으로 지시하지만, 확률적 예측 모델로는 근본적인 해결이 어렵다는 불만이 제기되었습니다.
에너지 기반 모델과 LLM의 차이점을 분석한 Milken Conference 패널 토론을 통해 현재 접근 방식에 대한 회의감이 커지고 있으며, RAG와 CoT(Chain of Thought)를 임시방편으로 사용하는 것에 대한 비판이 나왔습니다.
LLM을 단순히 거대한 사전으로 간주하고, 규모를 키우는 것만으로는 정확한 추론 능력을 확보할 수 없다는 문제의식이 드러나면서, 새로운 아키텍처로의 전환 필요성이 제기되었습니다.