Ostris AI 툴킷 사용자가 FP8 양자화 LoRA 학습 시, 툴킷이 매번 전체 Transformer 가중치를 메모리에 로드 후 양자화하는 과정이 비효율적이라고 지적했어요. 이 과정은 학습 시작 전 시간을 낭비하고 메모리 사용량을 급증시켜 OOM 오류를 유발할 수 있다는 문제점을 제기했어요. 사용자는 툴킷이 미리 다운로드된 FP8 가중치를 직접 로드할 수 있는 방법을 문의했어요.
현재 툴킷은 전체 Transformer 가중치를 메모리에 로드한 뒤 양자화하는 과정을 거쳐야 하는데, 이 과정에서 메모리 사용량이 급증하여 OOM 오류가 발생할 수 있습니다. 사용자는 이 과정을 생략하고 미리 다운로드된 FP8 가중치를 직접 로드할 수 있는 방법을 찾고 있습니다. FP8 양자화 LoRA 학습 시 메모리 사용량과 시간을 최적화하는 방법을 문의했습니다.
Ostris AI 툴킷은 FP8 양자화 학습 시 메모리 사용량 최적화가 필요하며, 사용자는 툴킷이 미리 다운로드된 FP8 가중치를 직접 로드할 수 있는 방법을 요청했습니다. 이는 OOM 오류 방지 및 학습 시간 단축에 기여할 수 있습니다.