LUMI는 토크나이저에 구애받지 않는 LLM 기반 무손실 이미지 압축 프레임워크입니다. 기존 방식이 사전 학습된 모델의 텍스트 인터페이스를 활용하는 반면, LUMI는 LLM 백본을 고정하고 픽셀 임베딩 모듈을 통해 압축을 수행합니다. LLaMA, Qwen, Gemma 백본을 사용한 실험 결과, 기존 방식 대비 압축률이 향상되고 다양한 이미지 분야에서 성능이 우수했습니다. LUMI는 LLM 기반 이미지 압축을 픽셀 공간 적응으로 재정의합니다.
픽셀 임베딩 모듈은 원시 강도와 채널 정보를 LLM의 연속적인 임베딩 공간으로 매핑하며, 패치 내 위치 인코딩을 통해 2차원 공간 구조를 유지합니다. 256개의 예측 헤드를 사용하여 원시 픽셀 알파벳에 대한 확률을 생성합니다. 픽셀 임베딩, 위치 인코딩, 소프트 프리픽스 파라미터, 예측 헤드만 학습됩니다.
자연, 의료, 원격 감지 이미지 벤치마크에서 LUMI는 토크나이저 기반 LLM 압축 기준선보다 더 강력한 성능을 보였습니다. 다양한 토크나이저 패밀리에 걸쳐 통일된 인터페이스를 제공하며, 기존 방식의 제약을 극복했습니다.