연구자들이 LLM을 활용해 연구 아이디어를 얻는 경우가 늘고 있지만, 기존 평가 방식은 아이디어의 참신성이나 실현 가능성만 평가했어요. 연구팀은 LLM이 생성한 아이디어가 인간 연구자의 아이디어와 얼마나 차이가 있는지 측정하는 평가 프레임워크를 구축했어요. 분석 결과, LLM 아이디어는 주로 기존 아이디어를 연결하거나 융합하는 경향을 보였고, 인간 연구자의 아이디어는 더 넓은 범위에서 다양한 방식으로 문제를 정의하고 기여했어요.
LLM은 합리적인 아이디어를 생성할 수 있지만, 인간의 연구 취향과 비교했을 때 범위가 좁고 체계적으로 차이가 있다는 점이 확인됐어요. 연구팀은 연구 아이디어의 기회 패턴과 연구 패러다임을 분석하는 2축 분류 체계를 도입해 인간과 LLM 아이디어 간의 차이를 정량화했어요.
이번 연구는 LLM이 연구 아이디어 발상에 활용될 수 있지만, 인간 연구자의 창의성과 다양성을 완전히 대체하기는 어렵다는 점을 시사해요.