Download cf.py from Kcarochun/ZeroFree-1Bit-MNIST: direct link, hf CLI and curl.
- Browser
- Download file 3.83 kB
-
https://huggingface.co/Kcarochun/ZeroFree-1Bit-MNIST/resolve/main/cf.py
- Command line
-
hf download hf://Kcarochun/ZeroFree-1Bit-MNIST/cf.py
-
curl -L -o cf.py https://huggingface.co/Kcarochun/ZeroFree-1Bit-MNIST/resolve/main/cf.py
3.83 kB
| # | |
| # source /home/vlad/ai/.venv/bin/activate | |
| # pip install numpy matplotlib | |
| import numpy as np | |
| import matplotlib.pyplot as plt | |
| # --- Параметры --- | |
| N = 128 # Размерность вектора | |
| beta = 1.0 / np.sqrt(N) # Коэффициент | |
| M_offsets = 500 # Количество отсчётов (точек на графике) | |
| M_experiments = 1 # Количество экспериментов на каждый отсчёт | |
| x_range = (-16, 16) # Диапазон | |
| # Массив отсчётов (первый элемент вектора) | |
| offsets = np.linspace(x_range[0], x_range[1], M_offsets) | |
| mean_your = np.zeros(M_offsets) | |
| mean_swiglu = np.zeros(M_offsets) | |
| print("Начинаем симуляцию (это может занять до минуты)...") | |
| # --- Симуляция --- | |
| for i, offset in enumerate(offsets): | |
| # Генерируем матрицу размера (M_experiments, N) | |
| # Первый столбец (x_0) фиксирован в offset | |
| # Остальные N-1 элементов случайны в [-30, 30] | |
| x = np.random.uniform(x_range[0], x_range[1], (M_experiments, N)) | |
| x[:, 0] = offset | |
| # 1. Ваша функция (новая формула) | |
| # Для x > 0: x^2 | |
| # Для x < 0: -x^2 * beta | |
| y_your = np.where(x > 0, x**2, -(x**2) * beta) | |
| # 2. SwiGLU (поэлементная часть) | |
| # Чтобы избежать переполнения exp, используем более стабильную формулу | |
| # silu(x) = x / (1 + exp(-x)) | |
| # Мы считаем silu(x) * x | |
| y_swiglu = (x / (1.0 + np.exp(-x))) * x | |
| # Усредняем по всем экспериментам (по строкам) и по всем N элементам | |
| mean_your[i] = y_your.mean() | |
| mean_swiglu[i] = y_swiglu.mean() | |
| # --- Расчёт корреляции на всём отрезке --- | |
| corr = np.corrcoef(mean_your, mean_swiglu)[0, 1] | |
| print(f"\nРезультаты:") | |
| print(f"Корреляция средних значений на всём отрезке: {corr:.6f}") | |
| print(f"Среднее вашей функции (по всем точкам): {mean_your.mean():.4f}") | |
| print(f"Среднее SwiGLU (по всем точкам): {mean_swiglu.mean():.4f}") | |
| # --- Построение графиков --- | |
| fig, axes = plt.subplots(1, 2, figsize=(16, 6)) | |
| # График 1: Средние значения функций | |
| axes[0].plot(offsets, mean_your, label='Ваша функция (среднее)', color='blue', linewidth=2) | |
| axes[0].plot(offsets, mean_swiglu, label='SwiGLU (среднее)', color='red', linestyle='--', linewidth=2) | |
| axes[0].set_xlabel('Значение первого элемента вектора (отсчёт)') | |
| axes[0].set_ylabel('Среднее значение функции') | |
| axes[0].set_title('Средние значения функций по 4096 экспериментам') | |
| axes[0].legend() | |
| axes[0].grid(True, alpha=0.3) | |
| axes[0].axhline(0, color='gray', linestyle=':', alpha=0.5) | |
| # График 2: Scatter для средних значений | |
| axes[1].scatter(mean_swiglu, mean_your, color='purple', alpha=0.7, s=15) | |
| axes[1].set_xlabel('Среднее SwiGLU') | |
| axes[1].set_ylabel('Среднее вашей функции') | |
| axes[1].set_title(f'Корреляция средних значений = {corr:.4f}') | |
| axes[1].grid(True, alpha=0.3) | |
| # Добавляем линию y=x для наглядности | |
| min_val = min(mean_swiglu.min(), mean_your.min()) | |
| max_val = max(mean_swiglu.max(), mean_your.max()) | |
| axes[1].plot([min_val, max_val], [min_val, max_val], color='gray', linestyle='--', label='y = x') | |
| axes[1].legend() | |
| plt.tight_layout() | |
| plt.savefig('comparison_averaged.png', dpi=150) | |
| plt.show() |