QIMMA, 자동·사람 검증 파이프라인으로 아랍어 LLM 벤치마크 검증
연구진이 엄격한 품질 검증 파이프라인을 사용하는 새로운 아랍어 LLM 리더보드 qimma를 공개했습니다. 평가 전 저품질 데이터를 제거하기 위해 qwen3-235b와 deepseek-v3를 실행해 14개 벤치마크에서 52,000개 샘플을 필터링합니다. 이 스위트는 코드 평가를 위한 아랍어 적용형 humaneval+를 포함하며 99% 네이티브 콘텐츠에 중점을 둡니다.
QIMMA는 아랍어 대규모 언어 모델 평가에 있어 품질 우선 접근 방식을 도입하여 14개의 벤치마크에서 109개의 하위 집합을 통합하여 52,000개 이상의 샘플로 구성된 통합 제품군으로 구성했습니다. 기존 리더보드와 달리 QIMMA는 Qwen3-235B-A22B-Instruct 및 DeepSeek-V3-671B를 활용하는 2단계 검증 파이프라인을 사용하여 데이터를 필터링한 후, 번역 오류 및 문화적 부조화를 수정하기 위해 아랍어 원어민의 검토를 거칩니다. 결과 벤치마크는 HumanEval+ 및 MBPP+ 데이터 세트를 적용하여 최초로 아랍어 코드 평가를 포함하여 7개 도메인을 다루고 있습니다.