Gemini 4 Krypton
Нейросеть на 1337 параметров (полносвязная, два скрытых слоя с tanh), обученная аппроксимировать функцию sin(3x) + 0.5x.
Архитектура
Многослойный перцептрон 1 → 18 → 65 → 1: вход и выход — по одному числу, два скрытых слоя с функцией активации tanh.
x ──► Linear(1→18) ──► tanh ──► Linear(18→65) ──► tanh ──► Linear(65→1) ──► ŷ
| Слой | Вес | Смещение | Параметров |
|---|---|---|---|
| Linear(1 → 18) | 18 × 1 | 18 | 36 |
| Linear(18 → 65) | 65 × 18 | 65 | 1235 |
| Linear(65 → 1) | 1 × 65 | 1 | 66 |
| Итого | 1337 |
| Характеристика | Значение |
|---|---|
| размер входа / выхода | 1 / 1 |
| скрытые слои | 2 (размеры 18 и 65) |
| функция активации | tanh на скрытых слоях, на выходе линейный |
| тип весов | float32 |
| инициализация | веса ~ N(0, 1/fan_in), смещения = 0 |
Размеры скрытых слоёв подобраны так, чтобы общее число параметров равнялось ровно 1337.
Обучение
Данные. Синтетическая выборка:
x— равномерное распределение на [−2, 2];y = sin(3x) + 0.5·x + ε, гдеε— гауссовский шум со стандартным отклонением 0.05;- 128 точек для обучения и 64 точки для проверки (validation), генератор зафиксирован (
seed = 0).
Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²).
Градиенты считаются вручную обратным распространением ошибки.
Оптимизация. Adam на полном батче (все 128 обучающих точек на каждом шаге).
| Гиперпараметр | Значение |
|---|---|
| оптимизатор | Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8) |
| скорость обучения | 0.005 |
| число итераций | 1500 |
| размер батча | 128 (полный) |
Результат обучения
| Итерация | train MSE | validation MSE |
|---|---|---|
| 1 | 0.34737 | 0.31627 |
| 300 | 0.02756 | 0.02956 |
| 600 | 0.00632 | 0.00557 |
| 900 | 0.00377 | 0.00340 |
| 1200 | 0.00311 | 0.00302 |
| 1500 (итог) | 0.00295 | 0.00300 |
Дисперсия шума в данных (σ²) равна 0.0025, то есть итоговая ошибка отличается от неё примерно на 20%. Train и validation MSE почти совпадают, переобучения (подгонки под шум) не видно, несмотря на то, что параметров (1337) больше, чем обучающих точек (128). К 1500-й итерации loss ещё продолжает медленно снижаться, поэтому при большем числе итераций он, вероятно, подошёл бы ближе к σ², но это не проверялось.