Hugging Face 推出去中心化社区评估功能
hugging face 正在去中心化 ai 评估。数据集仓库现在通过 eval.yaml 托管排行榜。用户可以通过 pull request 在 .eval_results/*.yaml 中提交结果。验证徽章确保可复现性。这为 mmlu-pro 和 gpqa 等基准创建了单一事实来源。
Hugging Face 推出了一个去中心化 AI 基准测试报告的测试功能。数据集仓库现在可以通过 `eval.yaml` 规格注册为基准测试并托管自己的排行榜。这种标准化允许模型将评估结果存储在 `.eval_results/*.yaml` 文件中，然后自动聚合到数据集卡中。社区成员可以通过拉取请求提交结果，促进了 MMLU-Pro、GPQA 和 HLE 等平台的透明度和可重复性。该倡议解决了报告分数的碎片化和当前排行榜的饱和度问题。