Kcarochun's picture
Initial release: ZeroFree-1Bit MNIST (1-bit without zero)
ce06d86 verified
Raw History Blame Contribute Delete
3.83 kB
#
# source /home/vlad/ai/.venv/bin/activate
# pip install numpy matplotlib
import numpy as np
import matplotlib.pyplot as plt
# --- Параметры ---
N = 128 # Размерность вектора
beta = 1.0 / np.sqrt(N) # Коэффициент
M_offsets = 500 # Количество отсчётов (точек на графике)
M_experiments = 1 # Количество экспериментов на каждый отсчёт
x_range = (-16, 16) # Диапазон
# Массив отсчётов (первый элемент вектора)
offsets = np.linspace(x_range[0], x_range[1], M_offsets)
mean_your = np.zeros(M_offsets)
mean_swiglu = np.zeros(M_offsets)
print("Начинаем симуляцию (это может занять до минуты)...")
# --- Симуляция ---
for i, offset in enumerate(offsets):
# Генерируем матрицу размера (M_experiments, N)
# Первый столбец (x_0) фиксирован в offset
# Остальные N-1 элементов случайны в [-30, 30]
x = np.random.uniform(x_range[0], x_range[1], (M_experiments, N))
x[:, 0] = offset
# 1. Ваша функция (новая формула)
# Для x > 0: x^2
# Для x < 0: -x^2 * beta
y_your = np.where(x > 0, x**2, -(x**2) * beta)
# 2. SwiGLU (поэлементная часть)
# Чтобы избежать переполнения exp, используем более стабильную формулу
# silu(x) = x / (1 + exp(-x))
# Мы считаем silu(x) * x
y_swiglu = (x / (1.0 + np.exp(-x))) * x
# Усредняем по всем экспериментам (по строкам) и по всем N элементам
mean_your[i] = y_your.mean()
mean_swiglu[i] = y_swiglu.mean()
# --- Расчёт корреляции на всём отрезке ---
corr = np.corrcoef(mean_your, mean_swiglu)[0, 1]
print(f"\nРезультаты:")
print(f"Корреляция средних значений на всём отрезке: {corr:.6f}")
print(f"Среднее вашей функции (по всем точкам): {mean_your.mean():.4f}")
print(f"Среднее SwiGLU (по всем точкам): {mean_swiglu.mean():.4f}")
# --- Построение графиков ---
fig, axes = plt.subplots(1, 2, figsize=(16, 6))
# График 1: Средние значения функций
axes[0].plot(offsets, mean_your, label='Ваша функция (среднее)', color='blue', linewidth=2)
axes[0].plot(offsets, mean_swiglu, label='SwiGLU (среднее)', color='red', linestyle='--', linewidth=2)
axes[0].set_xlabel('Значение первого элемента вектора (отсчёт)')
axes[0].set_ylabel('Среднее значение функции')
axes[0].set_title('Средние значения функций по 4096 экспериментам')
axes[0].legend()
axes[0].grid(True, alpha=0.3)
axes[0].axhline(0, color='gray', linestyle=':', alpha=0.5)
# График 2: Scatter для средних значений
axes[1].scatter(mean_swiglu, mean_your, color='purple', alpha=0.7, s=15)
axes[1].set_xlabel('Среднее SwiGLU')
axes[1].set_ylabel('Среднее вашей функции')
axes[1].set_title(f'Корреляция средних значений = {corr:.4f}')
axes[1].grid(True, alpha=0.3)
# Добавляем линию y=x для наглядности
min_val = min(mean_swiglu.min(), mean_your.min())
max_val = max(mean_swiglu.max(), mean_your.max())
axes[1].plot([min_val, max_val], [min_val, max_val], color='gray', linestyle='--', label='y = x')
axes[1].legend()
plt.tight_layout()
plt.savefig('comparison_averaged.png', dpi=150)
plt.show()