Gemini 4 Xenon

Линейная модель с двумя обучаемыми параметрами (вес и смещение), обученная на синтетических данных оптимизатором Adam.

Архитектура

Один линейный слой со смещением (bias): вход и выход — по одному числу.

x  ──►  [ w, b ]  ──►  ŷ = w · x + b
Характеристика Значение
размер входа / выхода 1 / 1
слои 1 линейный (аналог Linear(1, 1))
функции активации нет
обучаемых параметров 2 (w, b)
тип весов float32
инициализация w ~ N(0, 1), b = 0

Обучение

Данные. Синтетическая выборка:

  • x — равномерное распределение на [−1, 1];
  • y = 3·x + 1 + ε, где ε — гауссовский шум со стандартным отклонением 0.1;
  • 100 точек для обучения и 50 точек для проверки (validation), генератор зафиксирован (seed = 0).

Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²).

Оптимизация. Adam на полном батче (все 100 обучающих точек на каждом шаге).

Гиперпараметр Значение
оптимизатор Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8)
скорость обучения 0.05
число итераций 500
размер батча 100 (полный)

Результат обучения

Величина Значение
обученный w 2.9545
обученный b 1.0089
train MSE 0.00840
validation MSE 0.00968
дисперсия шума в данных (σ²) 0.01

Параметры, использованные для генерации данных: w = 3, b = 1. Loss перестаёт меняться примерно к 200-й итерации. MSE близок к дисперсии шума: меньше её модель опуститься не может, а небольшие отклонения (в том числе validation MSE чуть ниже σ²) объясняются конечным размером выборки. Отличие обученных w и b от 3 и 1 вызвано тем же шумом.

Downloads last month

-

Downloads are not tracked for this model. How to track
Safetensors
Model size
2 params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Collection including salgr/Gemini-4-Xenon