Qiskit이 Microsoft의 양자 컴퓨팅 교육 과정인 QuantumKatas를 Qiskit 프레임워크로 전환하고 LLM 평가를 위한 평가 프레임워크를 함께 제공했어요.
새 벤치마크는 기본 게이트부터 Grover, Simon, Deutsch-Jozsa 알고리즘, 오류 수정, 키 분배, 양자 게임에 이르는 26개 범주의 350개 과제를 포함해요.
16개의 LLM을 7가지 프롬프트 구성으로 평가한 결과, 최고 구성의 합격률은 32.3%에서 83.1%까지 다양하며, 최첨단 모델과 오픈 소스 모델 간 평균 26.1pp의 격차가 발생했어요.
연구진은 벤치마크, 평가 프레임워크, 기준 결과를 공개하여 양자 컴퓨팅 분야의 LLM 능력 연구를 지원할 예정이에요.