Gemini 4 Leak Open Source
Collection
Weights of all models in the Gemini 4 series • 6 items • Updated • 2
Линейная модель с двумя обучаемыми параметрами (вес и смещение), обученная на синтетических данных оптимизатором Adam.
Один линейный слой со смещением (bias): вход и выход — по одному числу.
x ──► [ w, b ] ──► ŷ = w · x + b
| Характеристика | Значение |
|---|---|
| размер входа / выхода | 1 / 1 |
| слои | 1 линейный (аналог Linear(1, 1)) |
| функции активации | нет |
| обучаемых параметров | 2 (w, b) |
| тип весов | float32 |
| инициализация | w ~ N(0, 1), b = 0 |
Данные. Синтетическая выборка:
x — равномерное распределение на [−1, 1];y = 3·x + 1 + ε, где ε — гауссовский шум со стандартным отклонением 0.1;seed = 0).Функция потерь. Среднеквадратичная ошибка (MSE): L = mean((ŷ − y)²).
Оптимизация. Adam на полном батче (все 100 обучающих точек на каждом шаге).
| Гиперпараметр | Значение |
|---|---|
| оптимизатор | Adam (β₁ = 0.9, β₂ = 0.999, ε = 1e-8) |
| скорость обучения | 0.05 |
| число итераций | 500 |
| размер батча | 100 (полный) |
| Величина | Значение |
|---|---|
обученный w |
2.9545 |
обученный b |
1.0089 |
| train MSE | 0.00840 |
| validation MSE | 0.00968 |
| дисперсия шума в данных (σ²) | 0.01 |
Параметры, использованные для генерации данных: w = 3, b = 1. Loss перестаёт меняться примерно к 200-й итерации.
MSE близок к дисперсии шума: меньше её модель опуститься не может, а небольшие отклонения (в том числе validation MSE чуть
ниже σ²) объясняются конечным размером выборки. Отличие обученных w и b от 3 и 1 вызвано тем же шумом.