Gemini 4 Neon
Небольшая нейросеть на 42 параметра (полносвязная, два скрытых слоя с tanh), обученная аппроксимировать синус.
Архитектура
Многослойный перцептрон 1 → 3 → 7 → 1: вход и выход — по одному числу, два скрытых слоя с функцией активации tanh.
x ──► Linear(1→3) ──► tanh ──► Linear(3→7) ──► tanh ──► Linear(7→1) ──► ŷ
| Слой | Вес | Смещение | Параметров |
|---|---|---|---|
| Linear(1 → 3) | 3 × 1 | 3 | 6 |
| Linear(3 → 7) | 7 × 3 | 7 | 28 |
| Linear(7 → 1) | 1 × 7 | 1 | 8 |
| Итого | 42 |
| Характеристика | Значение |
|---|---|
| размер входа / выхода | 1 / 1 |
| скрытые слои | 2 (размеры 3 и 7) |
| функция активации | tanh на скрытых слоях, на выходе линейный |
| тип весов | float32 |
| инициализация | веса ~ N(0, 1/fan_in), смещения = 0 |
Обучение
Данные. Синтетическая выборка:
x— равномерное распределение на [−π, π];y = sin(x) + ε, гдеε— гауссовский шум со стандартным отклонением 0.05;- 100 точек для обучения и 50 точек для проверки (validation), генератор зафиксирован (
seed = 0).
Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²).
Градиенты считаются вручную обратным распространением ошибки.
Оптимизация. Adam на полном батче (все 100 обучающих точек на каждом шаге).
| Гиперпараметр | Значение |
|---|---|
| оптимизатор | Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8) |
| скорость обучения | 0.02 |
| число итераций | 4000 |
| размер батча | 100 (полный) |
Результат обучения
| Величина | Значение |
|---|---|
| train MSE | 0.00205 |
| validation MSE | 0.00281 |
| дисперсия шума в данных (σ²) | 0.0025 |
Loss выходит на плато примерно к 800-й итерации, дальше меняется лишь в пределах нескольких процентов. Validation MSE близок к дисперсии шума, то есть сеть воспроизводит синус с точностью, ограниченной самим шумом. Train MSE немного ниже σ²: это признак лёгкой подгонки под шум в обучающих точках. Validation MSE оценён всего по 50 точкам, поэтому он тоже приблизителен.