Gemini 4 Krypton

Нейросеть на 1337 параметров (полносвязная, два скрытых слоя с tanh), обученная аппроксимировать функцию sin(3x) + 0.5x.

Архитектура

Многослойный перцептрон 1 → 18 → 65 → 1: вход и выход — по одному числу, два скрытых слоя с функцией активации tanh.

x ──► Linear(1→18) ──► tanh ──► Linear(18→65) ──► tanh ──► Linear(65→1) ──► ŷ
Слой Вес Смещение Параметров
Linear(1 → 18) 18 × 1 18 36
Linear(18 → 65) 65 × 18 65 1235
Linear(65 → 1) 1 × 65 1 66
Итого 1337
Характеристика Значение
размер входа / выхода 1 / 1
скрытые слои 2 (размеры 18 и 65)
функция активации tanh на скрытых слоях, на выходе линейный
тип весов float32
инициализация веса ~ N(0, 1/fan_in), смещения = 0

Размеры скрытых слоёв подобраны так, чтобы общее число параметров равнялось ровно 1337.

Обучение

Данные. Синтетическая выборка:

  • x — равномерное распределение на [−2, 2];
  • y = sin(3x) + 0.5·x + ε, где ε — гауссовский шум со стандартным отклонением 0.05;
  • 128 точек для обучения и 64 точки для проверки (validation), генератор зафиксирован (seed = 0).

Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²). Градиенты считаются вручную обратным распространением ошибки.

Оптимизация. Adam на полном батче (все 128 обучающих точек на каждом шаге).

Гиперпараметр Значение
оптимизатор Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8)
скорость обучения 0.005
число итераций 1500
размер батча 128 (полный)

Результат обучения

Итерация train MSE validation MSE
1 0.34737 0.31627
300 0.02756 0.02956
600 0.00632 0.00557
900 0.00377 0.00340
1200 0.00311 0.00302
1500 (итог) 0.00295 0.00300

Дисперсия шума в данных (σ²) равна 0.0025, то есть итоговая ошибка отличается от неё примерно на 20%. Train и validation MSE почти совпадают, переобучения (подгонки под шум) не видно, несмотря на то, что параметров (1337) больше, чем обучающих точек (128). К 1500-й итерации loss ещё продолжает медленно снижаться, поэтому при большем числе итераций он, вероятно, подошёл бы ближе к σ², но это не проверялось.

Downloads last month

-

Downloads are not tracked for this model. How to track
Safetensors
Model size
1.34k params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Collection including salgr/Gemini-4-Krypton