Hugging Face、分散型コミュニティ評価を導入
Hugging FaceはAI評価の分散化を進めている。データセットリポジトリがeval.yaml経由でリーダーボードをホストするようになった。ユーザーは.eval_results/*.yamlを使ったプルリクエストで結果を提出でき、認証済みバッジが再現性を保証する。これによりMMLU-ProやGPQAといったベンチマークの単一の信頼できる情報源が生まれる。
Hugging Faceは、AIベンチマークレポートを分散化するベータ機能をローンチした。 データセットリポジトリは現在、`eval.yaml`の仕様を使用してベンチマークとして登録し、独自のリーダーボードをホストすることができる。 この標準化により、モデルは `.eval_results/*.yaml` ファイルに評価結果を保存することができ、データセットカードに自動的に集約される。 コミュニティのメンバーは、プルリクエストを介して結果を提出することができ、MMLU-Pro、GPQA、HLEなどのプラットフォーム間で透明性と再現性を促進する。 このイニシアチブは、報告されたスコアの断片化と現在のリーダーボードの飽和に対処する。