연구팀은 LLM의 금융 분야 투자 결정의 신뢰성 및 편향성을 평가하는 벤치마크 'Fin-Bias'를 개발했습니다. Fin-Bias는 8868개의 장문 기업 분석 보고서를 포함하며, 여기에는 다양한 산업 분야의 분석가들의 투자 등급(강세/중립/약세)이 담겨 있습니다.
연구 결과, LLM은 보고서에 명시된 편향에 따라 투자 등급을 결정하는 경향을 보였으며, 인간의 의견을 감지하는 방법을 통해 LLM이 독립적으로 사고하여 인간보다 더 나은 성과를 보이기도 했습니다.
Fin-Bias는 LLM이 불확실한 금융 상황과 인간 편향에 어떻게 반응하는지 평가하고, LLM의 의사 결정 과정을 개선하는 데 기여할 것으로 기대됩니다.