개인 벤치마크 결과, 로컬 모델을 사용하여 앱 스크린샷에서 UI 아이콘을 검출하는 데 있어 Qwen3.5가 가장 뛰어난 성능을 보였고, Qwen3.6와 Gemma4는 상대적으로 성능이 떨어지는 것으로 나타났어요.
Gemma4는 Cursor IDE 스크린샷에서 아이콘 검출에 완전히 실패했으며, Qwen3.6는 Photoshop 스크린샷에서 전체 이미지를 하나의 아이콘으로 인식하는 오류를 발생시켰어요.
vLLM을 사용하여 오프라인 추론을 진행했으며, 온도 설정을 통해 모델의 자신감 있는 출력을 유도하고, 필요에 따라 온도를 점진적으로 높여 아이콘 검출을 시도했어요.