GitHub 사용자가 llama.cpp 환경에서 GGUF 모델을 위한 Jacobian-Lens 시각화 도구 및 실시간 조작기 'jlens-gguf'를 공개했어요. Anthropic의 연구 및 코드를 기반으로 개발되었으며, 모델 관찰 및 j-space 조작 기능을 제공합니다. 160GB 모델의 경우 20GB 추가 RAM이 필요하며, dense 및 MoE GGUF 모델 모두 지원합니다.
jlens-gguf는 llama.cpp와 동기화된 네이티브 GGUF 서버를 내장하고 있으며, 기존 llama-server 모델을 관찰할 수 있지만 조작은 불가능합니다. 모델 크기에 따라 메모리 요구량이 달라지며, 1/8 정도의 추가 RAM이 필요합니다.
Anthropic의 Jacobian-Lens 연구 및 Matthew Berman의 설명 영상을 참고하여 개발되었으며, GitHub 저장소를 통해 코드를 확인할 수 있습니다.