사용자가 Arduino 기반의 실시간 음악 AI 시스템을 구축하여 음성 명령으로 음악 스타일을 변경하고 있습니다. ESP32 마이크로컨트롤러는 MLX Whisper로 음성을 인식하고 Qwen 모델을 통해 음악 스타일 변경 명령을 결정합니다. Magenta Realtime 2를 로컬에서 실행하여 오디오를 스트리밍하고 GitHub에서 관련 코드를 확인할 수 있습니다.
사용자는 음성 명령을 통해 드럼 추가, Lo-fi 스타일 적용, 재즈 비밥 스타일 적용, 기타 제거, 악기 변경 등 다양한 음악 스타일 변경을 실시간으로 제어합니다. 이 시스템은 에이전트 기반으로 작동하며 대화형으로 음악을 만들 수 있습니다.
GitHub 링크와 Hugging Face 링크를 통해 시스템 구축에 필요한 코드와 Magenta Realtime 2 모델을 확인할 수 있습니다. 이 시스템은 실시간 음악 생성 및 제어 분야에 새로운 가능성을 제시합니다.