Reddit 사용자가 LLM 애플리케이션 보안 평가 프레임워크 개발 중 레드팀 공격 생성 모델 선정에 어려움을 겪고 있어요. 독성, 프롬프트 주입, SQL 주입 등 다양한 공격을 생성할 수 있는 폐쇄형·오픈소스 모델 추천을 요청했어요. 레드팀 공격 벤치마크에 활용할 수 있는 공개 데이터셋도 함께 문의했어요.
폐쇄형 모델 중 Claude Opus나 GPT-4, Gemini를 고려해볼 수 있으며, 오픈소스 모델 중에서는 Mixtral, Llama 3 등이 좋은 성능을 보인다는 의견이 있어요. 모델별로 공격 생성 능력에 차이가 있을 수 있으므로, 다양한 모델을 테스트해 보는 것이 중요해요.
LLM 보안·레드팀 작업 경험이 있는 사용자는 모델, 데이터셋, 논문, GitHub 저장소 등 관련 정보를 공유해 달라고 요청했어요.