구글, 딥시크, 엔비디아 등 빅테크 기업들이 메모리 효율을 높이는 소프트웨어 기술 개발에 집중하며, 메모리 가격 상승에 대응하고 있습니다.
구글은 KV캐시 메모리를 압축하는 '터보퀀트' 기술을 선보였고, 딥시크는 '하이브리드 어텐션' 기술로 KV캐시 사용량을 10분의 1로 줄였습니다.
엔비디아는 '트라이어텐션' 기술로 KV캐시 사용량을 줄이거나 연산 속도를 높이는 방법을 제시하며, 화웨이는 통합컴퓨트메모리(UCM) 기술로 HBM 의존도를 낮추고 있습니다.