---
schema_version: '1.0'
id: news-20260826-c64ff8
title: 「ニュートラルな評価ハーネス」は存在しない——LLMリーダーボードは「設定にもろい設問」によって作られている
url: https://gotosocial.chinng-lab-srv.dev/niyutorarunaping-jia-hanesu-hacun-zai-sinai-llmridabodoha-she-ding-nimoroishe-wen-niyotutezuo-rareteiru/
url_hash: c64ff8d8ee0f5375e09c3c7733caa7c59e30162174af4f35ef91e1a3c0363b94
canonical_url: https://gotosocial.chinng-lab-srv.dev/niyutorarunaping-jia-hanesu-hacun-zai-sinai-llmridabodoha-she-ding-nimoroishe-wen-niyotutezuo-rareteiru
source: ghost-chinng-lab
category: news/general
category_raw: LLM
region: JP
tags:
- LLM
- ベンチマーク
- 評価ハーネス
- リーダーボード
- MMLU
- 機械学習
- 生成AI
lang: ja
published_at: '2026-08-26T00:24:41Z'
fetched_at: '2026-08-26T00:39:25.593401Z'
updated_at: '2026-08-26T00:39:45Z'
status: published
content_hash: null
content_changed_at: null
license_note: full
summary: LLMのリーダーボードスコアは、評価ハーネス（設定方法）の選択に大きく依存する。同一モデル・同一設問でも、正解肢の順序やプロンプト形式、スコアリング方法を変えるだけで、スコアが数十ポイント変動する。12モデル×3,679問×26設定での実験では、隣接モデル間の順位差の95.7%がハーネス設定に依存する「もろい設問」から生じており、両モデルが確信を持って正解できる設問だけでは順位を判定できない。ニュートラルな評価ハーネスは存在せず、リーダーボード運用には複数設定での安定性検証が必須である。
summary_source: llm
summary_en: LLM’S LEADERBOARD SCORES GREATLY DEPEND ON THE SELECTION OF EVALUATION
  HARNESSES. EVEN IN THE SAME MODEL OR THE SAME QUESTION, THE SCORE変動CTUATES TO DOZENS
  OF POINTS BY CHANGING THE ORDER, PROMPT FORMAT, AND SCORING METHOD. IN THE EXPERIMENT
  WITH 12 MODELS95,679 QUESTIONS X 26 SETTINGS, 95.7% OF THE DIFFERENCES BETWEENモデルACENT
  MODELS WILL DEPEND ON THE HARNESS SETTING. THERE IS NO NEUTRAL EVALUATION HARNESS,
  AND STABILITY VERIFICATION IN MULTIPLE SETTINGS IS REQUIRED FOR LEADERBOARD OPERATION。
summary_omitted_reason: null
redistribution: true
keywords_en:
- general news
- LLM
- MMLU
- SOTAベンチマーク
- 生成AI
entities_en:
- name: LLM
  type: concept
- name: MMLU
  type: event
- name: SOTAベンチマーク
  type: concept
- name: 生成AI
  type: concept
topics_en:
- general news
numeric_facts: []
entities:
- name: LLM
  type: concept
- name: SOTAベンチマーク
  type: concept
- name: MMLU
  type: event
- name: 生成AI
  type: concept
key_facts: []
related: []
related_auto:
- name: 自宅サーバー
  type: artifact
  weight: 1.0
- name: RTX_4060
  type: artifact
  weight: 1.0
- name: スポーツ戦術AI
  type: concept
  weight: 1.0
- name: ハルシネーション
  type: UNKNOWN
  weight: 1.0
- name: LLaMA-1
  type: content
  weight: 1.0
computed_at: '2026-08-26T00:39:43Z'
---

# 「ニュートラルな評価ハーネス」は存在しない——LLMリーダーボードは「設定にもろい設問」によって作られている

## TL;DR
LLMのリーダーボードスコアは、評価ハーネス（設定方法）の選択に大きく依存する。同一モデル・同一設問でも、正解肢の順序やプロンプト形式、スコアリング方法を変えるだけで、スコアが数十ポイント変動する。12モデル×3,679問×26設定での実験では、隣接モデル間の順位差の95.7%がハーネス設定に依存する「もろい設問」から生じており、両モデルが確信を持って正解できる設問だけでは順位を判定できない。ニュートラルな評価ハーネスは存在せず、リーダーボード運用には複数設定での安定性検証が必須である。

## Key Points
- LLM / ベンチマーク / 評価ハーネス / リーダーボード / MMLU / 機械学習 / 生成AI

## Details
(本文なし。リンク先参照)

## Source
元記事: [「ニュートラルな評価ハーネス」は存在しない——LLMリーダーボードは「設定にもろい設問」によって作られている](https://gotosocial.chinng-lab-srv.dev/niyutorarunaping-jia-hanesu-hacun-zai-sinai-llmridabodoha-she-ding-nimoroishe-wen-niyotutezuo-rareteiru/) — published 2026-08-26T00:24:41Z