클로드와 분산 방식으로 검열되지 않은 20TB 데이터셋을 활용하여 LLM을 훈련하는 아이디어를 논의했습니다. 훈련에 필요한 최소 조건은 4개의 RTX Pro 6000 카드를 보유한 3,000개의 노드이며, 훈련 기간은 2.5개월, 노드당 약 666달러의 전기 및 인터넷 비용이 소요될 것으로 예상됩니다. 현재 4개의 RTX Pro 6000 카드를 보유한 사람의 1%가 참여한다면 분산 훈련이 가능할 수 있는지 확인하기 위한 여론조사입니다.