# # source /home/vlad/ai/.venv/bin/activate # pip install numpy matplotlib import numpy as np import matplotlib.pyplot as plt # --- Параметры --- N = 128 # Размерность вектора beta = 1.0 / np.sqrt(N) # Коэффициент M_offsets = 500 # Количество отсчётов (точек на графике) M_experiments = 1 # Количество экспериментов на каждый отсчёт x_range = (-16, 16) # Диапазон # Массив отсчётов (первый элемент вектора) offsets = np.linspace(x_range[0], x_range[1], M_offsets) mean_your = np.zeros(M_offsets) mean_swiglu = np.zeros(M_offsets) print("Начинаем симуляцию (это может занять до минуты)...") # --- Симуляция --- for i, offset in enumerate(offsets): # Генерируем матрицу размера (M_experiments, N) # Первый столбец (x_0) фиксирован в offset # Остальные N-1 элементов случайны в [-30, 30] x = np.random.uniform(x_range[0], x_range[1], (M_experiments, N)) x[:, 0] = offset # 1. Ваша функция (новая формула) # Для x > 0: x^2 # Для x < 0: -x^2 * beta y_your = np.where(x > 0, x**2, -(x**2) * beta) # 2. SwiGLU (поэлементная часть) # Чтобы избежать переполнения exp, используем более стабильную формулу # silu(x) = x / (1 + exp(-x)) # Мы считаем silu(x) * x y_swiglu = (x / (1.0 + np.exp(-x))) * x # Усредняем по всем экспериментам (по строкам) и по всем N элементам mean_your[i] = y_your.mean() mean_swiglu[i] = y_swiglu.mean() # --- Расчёт корреляции на всём отрезке --- corr = np.corrcoef(mean_your, mean_swiglu)[0, 1] print(f"\nРезультаты:") print(f"Корреляция средних значений на всём отрезке: {corr:.6f}") print(f"Среднее вашей функции (по всем точкам): {mean_your.mean():.4f}") print(f"Среднее SwiGLU (по всем точкам): {mean_swiglu.mean():.4f}") # --- Построение графиков --- fig, axes = plt.subplots(1, 2, figsize=(16, 6)) # График 1: Средние значения функций axes[0].plot(offsets, mean_your, label='Ваша функция (среднее)', color='blue', linewidth=2) axes[0].plot(offsets, mean_swiglu, label='SwiGLU (среднее)', color='red', linestyle='--', linewidth=2) axes[0].set_xlabel('Значение первого элемента вектора (отсчёт)') axes[0].set_ylabel('Среднее значение функции') axes[0].set_title('Средние значения функций по 4096 экспериментам') axes[0].legend() axes[0].grid(True, alpha=0.3) axes[0].axhline(0, color='gray', linestyle=':', alpha=0.5) # График 2: Scatter для средних значений axes[1].scatter(mean_swiglu, mean_your, color='purple', alpha=0.7, s=15) axes[1].set_xlabel('Среднее SwiGLU') axes[1].set_ylabel('Среднее вашей функции') axes[1].set_title(f'Корреляция средних значений = {corr:.4f}') axes[1].grid(True, alpha=0.3) # Добавляем линию y=x для наглядности min_val = min(mean_swiglu.min(), mean_your.min()) max_val = max(mean_swiglu.max(), mean_your.max()) axes[1].plot([min_val, max_val], [min_val, max_val], color='gray', linestyle='--', label='y = x') axes[1].legend() plt.tight_layout() plt.savefig('comparison_averaged.png', dpi=150) plt.show()