Gemini 4 Neon

Небольшая нейросеть на 42 параметра (полносвязная, два скрытых слоя с tanh), обученная аппроксимировать синус.

Архитектура

Многослойный перцептрон 1 → 3 → 7 → 1: вход и выход — по одному числу, два скрытых слоя с функцией активации tanh.

x ──► Linear(1→3) ──► tanh ──► Linear(3→7) ──► tanh ──► Linear(7→1) ──► ŷ
Слой Вес Смещение Параметров
Linear(1 → 3) 3 × 1 3 6
Linear(3 → 7) 7 × 3 7 28
Linear(7 → 1) 1 × 7 1 8
Итого 42
Характеристика Значение
размер входа / выхода 1 / 1
скрытые слои 2 (размеры 3 и 7)
функция активации tanh на скрытых слоях, на выходе линейный
тип весов float32
инициализация веса ~ N(0, 1/fan_in), смещения = 0

Обучение

Данные. Синтетическая выборка:

  • x — равномерное распределение на [−π, π];
  • y = sin(x) + ε, где ε — гауссовский шум со стандартным отклонением 0.05;
  • 100 точек для обучения и 50 точек для проверки (validation), генератор зафиксирован (seed = 0).

Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²). Градиенты считаются вручную обратным распространением ошибки.

Оптимизация. Adam на полном батче (все 100 обучающих точек на каждом шаге).

Гиперпараметр Значение
оптимизатор Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8)
скорость обучения 0.02
число итераций 4000
размер батча 100 (полный)

Результат обучения

Величина Значение
train MSE 0.00205
validation MSE 0.00281
дисперсия шума в данных (σ²) 0.0025

Loss выходит на плато примерно к 800-й итерации, дальше меняется лишь в пределах нескольких процентов. Validation MSE близок к дисперсии шума, то есть сеть воспроизводит синус с точностью, ограниченной самим шумом. Train MSE немного ниже σ²: это признак лёгкой подгонки под шум в обучающих точках. Validation MSE оценён всего по 50 точкам, поэтому он тоже приблизителен.

Downloads last month

-

Downloads are not tracked for this model. How to track
Safetensors
Model size
42 params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Collection including salgr/Gemini-4-Neon