QIMMA 通过自动化和人工流程验证阿拉伯语 LLM 基准
研究人員發布了 qimma，這是一個新的阿拉伯語 llm 排行榜，採用嚴格的質量驗證流程。測試使用 qwen3-235b 和 deepseek-v3 從 14 個基準中過濾 52,000 個樣本，在評估前剔除低質量數據。該套件包含適配阿拉伯語的 humaneval+ 代碼評估，並專注於 99% 的原生內容。
QIMMA 引入了一种质量优先的阿拉伯语大语言模型评估方法，将来自 14 个基准测试的 109 个子集整合成一个包含超过 52,000 个样本的统一套件。与现有的排行榜不同，QIMMA 采用两阶段验证流程，利用 Qwen3-235B-A22B-Instruct 和 DeepSeek-V3-671B 过滤数据，然后由母语者进行人工审核，以纠正翻译错误和文化错位。生成的基准测试涵盖七个领域，包括首个使用改编的 HumanEval+ 和 MBPP+ 数据集的阿拉伯语代码评估。