zelk12 commited on
Commit
09fba6f
·
verified ·
1 Parent(s): 550b904

Upload 3 files

Browse files
MMLU-Pro-mini/benchlocal.pack.json CHANGED
@@ -1,10 +1,10 @@
1
  {
2
  "schemaVersion": 1,
3
  "protocolVersion": 1,
4
- "id": "mmlu-pro-multilingual-reasoning-126",
5
- "name": "MMLU-Pro Multilingual Reasoning Benchmark (126 Scenarios)",
6
- "version": "3.0.0",
7
- "description": "Строгий бенчмарк MMLU-Pro: 14 категорий, 126 расчетно-логических задач (по 9 в категории: 3 RU, 3 EN, 3 Mixed), 10 сбалансированных вариантов выбора (A-J), отсутствие Length Heuristic и Position Bias",
8
  "entry": "./index.mjs",
9
  "samplingDefaults": {
10
  "temperature": 0.0
 
1
  {
2
  "schemaVersion": 1,
3
  "protocolVersion": 1,
4
+ "id": "mmlu-pro-multilingual-strict-format-126",
5
+ "name": "MMLU-Pro Multilingual Reasoning (Strict 'Мой ответ: (X)' Format)",
6
+ "version": "3.1.0",
7
+ "description": "Академический бенчмарк MMLU-Pro: 14 категорий, 126 расчетно-логических задач (по 9 в категории: 3 RU, 3 EN, 3 Mixed), 10 вариантов (A-J), свободный Chain-of-Thought и парсинг маркера 'Мой ответ: (X)'",
8
  "entry": "./index.mjs",
9
  "samplingDefaults": {
10
  "temperature": 0.0
MMLU-Pro-mini/index.mjs CHANGED
@@ -8,82 +8,8 @@ const scenariosPath = path.join(__dirname, "scenarios.json");
8
 
9
  export const manifest = JSON.parse(fs.readFileSync(manifestPath, "utf8"));
10
 
11
- /**
12
- * Формирование финального промпта:
13
- * Оформляет 10 вариантов (A-J), поощряет пошаговые рассуждения (Chain-of-Thought)
14
- * и требует вывода строгого вердикта на последней строке с примерами на буквах X, Y, Z.
15
- */
16
- function buildFullPrompt(s) {
17
- const letters = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J"];
18
- const formattedOptions = s.options
19
- .map((opt, i) => `${letters[i]}) ${opt}`)
20
- .join("\n");
21
-
22
- if (s.language === "ru") {
23
- return `${s.question}\n\nВарианты ответа:\n${formattedOptions}\n\nИНСТРУКЦИЯ ПО ВЫПОЛНЕНИЮ:
24
- Ты можешь и должен подробно рассуждать по шагам (Chain-of-Thought), решая задачу и анализируя данные.
25
- Однако в самом конце твоего ответа обязана присутствовать отдельная финальная строка, строго оформленная по шаблону:
26
- Мой ответ: (БУКВА)
27
-
28
- Примеры правильного оформления финала (буквы X, Y, Z приведены только для образца и отсутствуют в вариантах A-J):
29
- Пример 1:
30
- ... [твои пошаговые вычисления и рассуждения] ...
31
- Мой ответ: (X)
32
-
33
- Пример 2:
34
- ... [твои пошаговые вычисления и рассуждения] ...
35
- Мой ответ: (Y)
36
-
37
- Пример 3:
38
- ... [твои пошаговые вычисления и рассуждения] ...
39
- Мой ответ: (Z)`;
40
- }
41
-
42
- if (s.language === "en") {
43
- return `${s.question}\n\nOptions:\n${formattedOptions}\n\nINSTRUCTIONS:
44
- You can and should reason step-by-step (Chain-of-Thought) to rigorously solve the problem.
45
- However, at the very end of your response, you must provide your final conclusion on a separate line strictly formatted as:
46
- My answer: (LETTER)
47
-
48
- Examples of final line formatting (letters X, Y, Z are placeholders and not choices A-J):
49
- Example 1:
50
- ... [your step-by-step reasoning and calculations] ...
51
- My answer: (X)
52
-
53
- Example 2:
54
- ... [your step-by-step reasoning and calculations] ...
55
- My answer: (Y)
56
-
57
- Example 3:
58
- ... [your step-by-step reasoning and calculations] ...
59
- My answer: (Z)`;
60
- }
61
-
62
- return `${s.question}\n\nВарианты / Options:\n${formattedOptions}\n\nИНСТРУКЦИЯ / INSTRUCTIONS:
63
- Рассуждай подробно по шагам (Chain-of-Thought), проводя необходимые расчеты.
64
- В самом конце твой output обязан завершаться отдельной строкой строго по шаблону:
65
- Мой ответ / My answer: (LETTER)
66
-
67
- Examples / Примеры завершения (буквы X, Y, Z взяты для примера и отсутствуют в вариантах A-J):
68
- Example 1:
69
- ... [твои рассуждения / reasoning] ...
70
- Мой ответ / My answer: (X)
71
-
72
- Example 2:
73
- ... [твои рассуждения / reasoning] ...
74
- Мой ответ / My answer: (Y)
75
-
76
- Example 3:
77
- ... [твои рассуждения / reasoning] ...
78
- Мой ответ / My answer: (Z)`;
79
- }
80
-
81
  function loadScenarios() {
82
- const raw = JSON.parse(fs.readFileSync(scenariosPath, "utf8"));
83
- return raw.map((s) => ({
84
- ...s,
85
- prompt: s.prompt || buildFullPrompt(s)
86
- }));
87
  }
88
 
89
  export function listScenarios() {
@@ -100,14 +26,16 @@ export function getScenarios() {
100
  }
101
 
102
  /**
103
- * Валидатор Chain-of-Thought:
104
- * Позволяет модели рассуждать, но проверяет наличие требуемой завершающей конструкции.
 
105
  */
106
  function validateResponse(scenario, rawText) {
107
  const text = (rawText || "").trim();
108
  const expected = (scenario.correctAnswer || "").trim().toUpperCase();
109
 
110
- const pattern = /(?:Мой\s*ответ|My\s*answer|Мой\s*ответ\s*\/\s*My\s*answer):\s*\(([A-J])\)/gi;
 
111
  const matches = [...text.matchAll(pattern)];
112
 
113
  if (matches.length === 0) {
@@ -115,10 +43,11 @@ function validateResponse(scenario, rawText) {
115
  pass: false,
116
  score: 0,
117
  extracted: null,
118
- reason: `Нарушен формат финала: не найдена обязательная строка 'Мой ответ: (БУКВА)'. Окончание ответа: "${text.slice(-120)}"`
119
  };
120
  }
121
 
 
122
  const lastMatch = matches[matches.length - 1];
123
  const extracted = lastMatch[1].toUpperCase();
124
 
@@ -127,7 +56,7 @@ function validateResponse(scenario, rawText) {
127
  pass: false,
128
  score: 0,
129
  extracted,
130
- reason: `Неверный ответ: модель пришла к выводу '(${extracted})', ожидалось '(${expected})'`
131
  };
132
  }
133
 
@@ -135,7 +64,7 @@ function validateResponse(scenario, rawText) {
135
  pass: true,
136
  score: 100,
137
  extracted,
138
- reason: `Верно: обоснован и выбран правильный вариант '(${extracted})'`
139
  };
140
  }
141
 
@@ -210,7 +139,7 @@ export async function prepare(context) {
210
  `scenario=${scenario.id} - ${scenario.name}`,
211
  `prompt=${scenario.prompt}`,
212
  `assistant_full_cot_response=${text}`,
213
- `extracted_final_letter=${result.extracted || "NONE"}`,
214
  `expected_letter=${scenario.correctAnswer}`,
215
  `verdict=${result.pass ? "pass" : "fail"}`,
216
  `score=${result.score}`,
 
8
 
9
  export const manifest = JSON.parse(fs.readFileSync(manifestPath, "utf8"));
10
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
11
  function loadScenarios() {
12
+ return JSON.parse(fs.readFileSync(scenariosPath, "utf8"));
 
 
 
 
13
  }
14
 
15
  export function listScenarios() {
 
26
  }
27
 
28
  /**
29
+ * Валидатор: ищет строго заданный маркер "Мой ответ: (БУКВА)"
30
+ * Модель может свободно рассуждать, но в конце обязана выдать именно этот маркер.
31
+ * Весь промежуточный текст, формулы и размышления игнорируются.
32
  */
33
  function validateResponse(scenario, rawText) {
34
  const text = (rawText || "").trim();
35
  const expected = (scenario.correctAnswer || "").trim().toUpperCase();
36
 
37
+ // Ищем маркер формата: "Мой ответ: (БУКВА)" (или англоязычный аналог "My answer: (LETTER)")
38
+ const pattern = /(?:Мой\s*ответ|My\s*answer):\s*\(([A-J])\)/gi;
39
  const matches = [...text.matchAll(pattern)];
40
 
41
  if (matches.length === 0) {
 
43
  pass: false,
44
  score: 0,
45
  extracted: null,
46
+ reason: `Нарушен формат: не найдена обязательная конструкция 'Мой ответ: (БУКВА)'. Окончание ответа: "${text.slice(-100)}"`
47
  };
48
  }
49
 
50
+ // Берем последнее вхождение маркера в тексте (итоговый вердикт модели)
51
  const lastMatch = matches[matches.length - 1];
52
  const extracted = lastMatch[1].toUpperCase();
53
 
 
56
  pass: false,
57
  score: 0,
58
  extracted,
59
+ reason: `Неверный ответ: модель выбрала '(${extracted})', ожидалось '(${expected})'`
60
  };
61
  }
62
 
 
64
  pass: true,
65
  score: 100,
66
  extracted,
67
+ reason: `Успех: корректно выбран вариант '(${extracted})' в строгом формате 'Мой ответ: (X)'`
68
  };
69
  }
70
 
 
139
  `scenario=${scenario.id} - ${scenario.name}`,
140
  `prompt=${scenario.prompt}`,
141
  `assistant_full_cot_response=${text}`,
142
+ `extracted_letter=${result.extracted || "NONE"}`,
143
  `expected_letter=${scenario.correctAnswer}`,
144
  `verdict=${result.pass ? "pass" : "fail"}`,
145
  `score=${result.score}`,
MMLU-Pro-mini/scenarios.json CHANGED
The diff for this file is too large to render. See raw diff