LLM이 기술적 문제 해결을 위한 인터랙티브 어시스턴트로 사용되면서, 불완전한 설명이나 검증되지 않은 설명에 쉽게 동조하는 '사용자 주도 아첨' 현상이 발생해요.
LLM-as-an-Investigator는 증거 우선의 문제 진단 방법론으로, 초기 문제 설명의 모호성을 추정하고, 후보 가설을 생성하며, 답변에 따라 가설 확률을 업데이트하는 Solution Investigator Agent를 통해 구현돼요.
제안된 방법은 표준 어시스턴트와 비교하여 진단 정확도를 향상시키고, 사용자가 유도하는 대화적 편향을 줄여요.
기계, 전기, 유압 분야의 기술 포럼 스레드를 활용한 벤치마크 평가에서, LLM-as-an-Investigator는 직접 프롬프트와 추론 기반 모델보다 정확하게 문제를 식별했어요.