연구진이 자율주행차의 의사결정 과정을 설명하는 CommandLM이라는 다중 모드 대규모 언어 모델을 공개했어요.
CommandLM은 LiDAR와 카메라 데이터를 융합하여 차량의 행동을 인간이 읽을 수 있는 간결한 설명으로 생성하며, planner 감독 및 안전 감사를 위한 캡션을 제공해요.
실험 결과, CommandLM은 기존 BLIP-2 모델보다 CIDEr 점수 0.67, BERT-F1 점수 0.88로 높은 성능을 보였고, 인간 평가에서 58%의 정확도, 효율성, 규정 준수도를 기록했어요.