연구자가 LLM 에이전트의 대화 기록을 주제 트리로 정리하는 메모리 시스템 'TRACE'를 개발했어요. TRACE는 gpt-oss-20B 모델로 MemoryAgentBench의 EventQA 정확도 측정에서 82.5%의 F1 점수를 기록했어요. Mem0, MemGPT/Letta 대비 월등히 높은 성능을 보여줬어요.
TRACE는 파이썬 패키지로 배포되어 사용자들이 쉽게 적용할 수 있으며, GitHub 저장소에서 관련 로그를 확인할 수 있어요. gpt-oss-120B 모델로 테스트했을 때 83.8%의 F1 점수를 기록하며 성능이 더 향상될 가능성을 보여줬어요.
Mem0, Letta를 gpt-oss 모델로 직접 비교하려 했지만, JSON 파싱 문제 등으로 인해 어려움을 겪었고, GPT-4o-mini 백본에서 테스트를 진행했어요.