연구진은 원자 수준 머신러닝 학습 데이터셋의 반복적인 읽기, 셔플링, 클러스터 저장 시스템 관리, 재사용 가능한 과학적 결과물로 재출판에 최적화된 저장 형식과 배포 레이어 Atompack을 공개했어요.
Atompack은 원자 기록을 효율적으로 추가하고, 불변 인덱스를 커밋하며, 학습에 최적화된 메모리 매핑 읽기 경로를 통해 기록을 제공해요.
64개 원자 워크로드에서 Atompack은 ASE LMDB보다 셔플링된 학습 스타일 읽기에서 96배 더 빠르며, 79% 더 작은 크기의 결과물을 생성했어요.