오디오 인식 레이어는 LLM이 음성을 처리하는 데 필요한 기술을 제공하며, 주변 소리(새소리, 깨지는 유리 소리, 화재 경보기 등)를 인식하는 기능을 추가합니다.
es617_dev가 CLAP, Whisper, Silero VAD, sqlite-vec 등을 활용하여 로컬에서 실행되는 실험적 오픈소스 프레임워크 'Audient'를 개발했습니다.
Audient는 신호 특징, 임베딩 유사도 점수, 전문가 레이블의 세 가지 심볼릭 레이어를 통해 LLM이 추론할 수 있도록 지원하며, 학습 없이도 개념이 자동 보정되어 서버 측 빠른 경로로 전환됩니다.
Audient는 현재 Whisper, BirdNET, AST 전문가를 포함하고 있으며, 확장 가능한 레지스트리를 통해 추가 분류기를 활용할 수 있습니다.