연구진은 LLM 편향 연구가 모델의 외부 대상에 대한 표현을 연구하는 제3자 감사에 집중해 왔어요. 하지만 사용자가 감사에서 배제되어 구조적인 한계가 발생해요. 상황화된 상호작용 감사(SIA)는 사용자 프로필 신호가 LLM 응답 품질에 미치는 영향을 연구하는 사용자 중심 프레임워크예요.
연구진은 성별과 사회경제적 지위 신호가 여러 작업 영역에서 교차하는 사례 연구를 통해 SIA 프레임워크를 입증했어요. 이는 LLM이 사용자를 어떻게 대하는지에 대한 편향을 드러내요.
SIA는 자연어 처리의 새로운 과제로, LLM 응답의 내용과 어조가 사용자 프로필 신호에 따라 어떻게 달라지는지 연구하는 데 초점을 맞출 거예요.