Upload 3 files

2Gv37_AutoLR/emoairy.py

@@ -4,9 +4,10 @@ import math
 from collections import deque
 
 """
-EmoAiry v3.7.1 (260105) shadow-system v3.1 -moment v3.1 emoPulse v3.7
-EmoLynx v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
-emoPulse 機構により完全自動化を目指す(emoScope 微調整可／改善度反映率)
+EmoAiry v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
+EmoFact v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
+emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
+dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
 """
 
 class EmoAiry(Optimizer):
@@ -25,8 +26,10 @@ class EmoAiry(Optimizer):
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.writer = writer         # 動的学習率や感情スカラー等を渡す(研究向け)
         self.emoScope = lr           # 動的学習率の調和とリズム
-        self.noise_est = 0.1         # emoPulse nest 初期化
-        self.d_est = 0.1             # emoPulse dest 初期化
+        self.noise_est = 1.0         # emoPulse nest 初期化
+        self.d_est = 0.02            # emoPulse dest 初期化
+        self.dNR_hist = None         # emoPulse hist 初期化
+        #self.warmup = 0.01           # emoPulse warmup 初期化
 
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
@@ -86,6 +89,31 @@ class EmoAiry(Optimizer):
         ratio = self._decide_ratio(scalar)
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
+        # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
+        #self.warmup = 0.97 * (getattr(self, 'warmup', 0.01) or 0.01) + 0.03 * 1.0
+        # d / N 履歴 (時間的D推定)  
+        self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
+        self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
+        noise = max(self.noise_est, 1e-3)
+        d = self.d_est
+        # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
+        noise_base = abs(scalar - trust) + 0.1
+        d_base = abs(noise - d) + 0.1
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        dNR_now_val = (d_base / noise_base) ** 2
+        # d / N (SNR) の履歴化と最大値の成長率の増減
+        if self.dNR_hist is None:
+            self.dNR_hist = 1.0
+        else:
+            if dNR_now_val >= self.dNR_hist and trust >= 0.5:
+                # 加速：どんなに SNR が高くても、1.05倍という｢歩幅｣の成長制限
+                self.dNR_hist = min(dNR_now_val, self.dNR_hist * 1.05)
+            elif -0.5 <= trust <= 0.5:
+                # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
+                self.dNR_hist = dNR_now_val * 0.98
+        # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
+        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+
         for group in self.param_groups:
             for p in group['params']:
                 if p.grad is None:
@@ -108,15 +136,6 @@ class EmoAiry(Optimizer):
                         leap_ratio = 0.1 * abs(trust)
                         state['shadow'].lerp_(p, leap_ratio)  
 
-                # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
-                # noise_estimate: loss の揺れ(不安定性)のEMA
-                self.noise_est = 0.7 * self.noise_est + 0.3 * abs(scalar)
-                noise = max(self.noise_est, 1e-8)  # 下限 eps
-                # distance_estimate: loss の改善傾向の EMA(距離 D の代理)
-                # emoScope：基準値1.0
-                self.d_est = 0.95 * self.d_est + 0.05 * abs(trust)
-                d = self.d_est * self.emoScope
-
                 # --- Start Gradient Update Logic ---
                 # 行列の形状が2次元以上の場合、分散情報ベースのAB近似を使用
                 if grad.dim() >= 2:
@@ -148,9 +167,7 @@ class EmoAiry(Optimizer):
                     update_term = torch.sign(grad / denom)
 
                 # 最終的なパラメータ更新 (decoupled weight decayも適用)
-                # 完全自動LR / 安全クリップ (emoPulse = step_size)
                 #step_size = group['lr']
-                emoPulse = max(min((((d / noise)**2) * 5e-5), 1e-3), 1e-6)
                 p.add_(p, alpha=-group['weight_decay'] * emoPulse)
                 p.add_(update_term, alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
@@ -169,11 +186,12 @@ class EmoAiry(Optimizer):
             if avg_abs < 0.05 and var < 0.005:
                 self.should_stop = True # 💡 外部からこれを見て判断可
 
-        # TensorBoardへの記録（step関数の末尾に追加）
+        # TensorBoardへの記録 (研究者向けデバッグ用) 要：外部記録コード
         if hasattr(self, 'writer') and self.writer is not None:
             self._step_count = getattr(self, "_step_count", 0) + 1
-            self.writer.add_scalar("emoLR/base", emoPulse, self._step_count)
+            self.writer.add_scalar("emostate/emoLR", emoPulse, self._step_count)
             self.writer.add_scalar("emostate/scalar", scalar, self._step_count)
+            self.writer.add_scalar("emostate/trust", trust, self._step_count)
 
         return
 

2Gv37_AutoLR/emocats.py

@@ -5,9 +5,10 @@ from typing import Tuple, Callable, Union
 from collections import deque
 
 """
-EmoCats v3.7.1 (260105) shadow-system v3.1 -moment v3.1 emoPulse v3.7
+EmoCats v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 EmoLynx v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
-emoPulse 機構により完全自動化を目指す(emoScope 微調整可／改善度反映率)
+emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
+dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
 """
 
 # Helper function (Lynx)
@@ -31,8 +32,10 @@ class EmoCats(Optimizer):
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.writer = writer         # 動的学習率や感情スカラー等を渡す(研究向け)
         self.emoScope = lr           # 動的学習率の調和とリズム
-        self.noise_est = 0.1         # emoPulse nest 初期化
-        self.d_est = 0.1             # emoPulse dest 初期化
+        self.noise_est = 1.0         # emoPulse nest 初期化
+        self.d_est = 0.02            # emoPulse dest 初期化
+        self.dNR_hist = None         # emoPulse hist 初期化
+        #self.warmup = 0.01           # emoPulse warmup 初期化
 
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
@@ -95,6 +98,31 @@ class EmoCats(Optimizer):
         ratio = self._decide_ratio(scalar)
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
+        # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
+        #self.warmup = 0.97 * (getattr(self, 'warmup', 0.01) or 0.01) + 0.03 * 1.0
+        # d / N 履歴 (時間的D推定)  
+        self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
+        self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
+        noise = max(self.noise_est, 1e-3)
+        d = self.d_est
+        # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
+        noise_base = abs(scalar - trust) + 0.1
+        d_base = abs(noise - d) + 0.1
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        dNR_now_val = (d_base / noise_base) ** 2
+        # d / N (SNR) の履歴化と最大値の成長率の増減
+        if self.dNR_hist is None:
+            self.dNR_hist = 1.0
+        else:
+            if dNR_now_val >= self.dNR_hist and trust >= 0.5:
+                # 加速：どんなに SNR が高くても、1.05倍という｢歩幅｣の成長制限
+                self.dNR_hist = min(dNR_now_val, self.dNR_hist * 1.05)
+            elif -0.5 <= trust <= 0.5:
+                # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
+                self.dNR_hist = dNR_now_val * 0.98
+        # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
+        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+
         for group in self.param_groups:
             # リンクス共通パラメータ抽出
             lr, wd, beta1, beta2 = group['lr'], group['weight_decay'], *group['betas']
@@ -121,15 +149,6 @@ class EmoCats(Optimizer):
                         leap_ratio = 0.1 * abs(trust)
                         state['shadow'].lerp_(p, leap_ratio)          
 
-                # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
-                # noise_estimate: loss の揺れ(不安定性)のEMA
-                self.noise_est = 0.7 * self.noise_est + 0.3 * abs(scalar)
-                noise = max(self.noise_est, 1e-8)  # 下限 eps
-                # distance_estimate: loss の改善傾向の EMA(距離 D の代理)
-                # emoScope：基準値1.0
-                self.d_est = 0.95 * self.d_est + 0.05 * abs(trust)
-                d = self.d_est * self.emoScope
-
                 # --- Start Gradient Update Logic ---
                 # lynx初期化(exp_avg_sq)
                 if 'exp_avg' not in state:
@@ -138,7 +157,6 @@ class EmoCats(Optimizer):
 
                 # Stepweight decay (from lynx): p = p * (1 - lr * wd)
                 # decoupled_wd 考慮 _wd_actual 使用(EmoNaviのwdは最後に適用)
-                emoPulse = max(min((((d / noise)**2) * 5e-5), 1e-3), 1e-6)
                 p.mul_(1 - emoPulse * _wd_actual)
                 beta1, beta2 = group['betas']
 
@@ -167,11 +185,12 @@ class EmoCats(Optimizer):
             if avg_abs < 0.05 and var < 0.005:
                 self.should_stop = True # 💡 外部からこれを見て判断可
 
-        # TensorBoardへの記録（step関数の末尾に追加）
+        # TensorBoardへの記録 (研究者向けデバッグ用) 要：外部記録コード
         if hasattr(self, 'writer') and self.writer is not None:
             self._step_count = getattr(self, "_step_count", 0) + 1
-            self.writer.add_scalar("emoLR/base", emoPulse, self._step_count)
+            self.writer.add_scalar("emostate/emoLR", emoPulse, self._step_count)
             self.writer.add_scalar("emostate/scalar", scalar, self._step_count)
+            self.writer.add_scalar("emostate/trust", trust, self._step_count)
 
         return
 

2Gv37_AutoLR/emosens.py

@@ -4,14 +4,15 @@ import math
 from collections import deque
 
 """
-EmoSens v3.7.1 (260105) shadow-system v3.1 -moment v3.1 emoPulse v3.7
-EmoLynx v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
-emoPulse 機構により完全自動化を目指す(emoScope 微調整可／改善度反映率)
+EmoSens v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
+EmoNavi v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
+emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
+dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
 """
 
 class EmoSens(Optimizer):
     # クラス定義＆初期化
-    def __init__(self, params,
+    def __init__(self, params, 
                  lr=1.0, 
                  eps=1e-8, 
                  betas=(0.9, 0.995), 
@@ -25,8 +26,10 @@ class EmoSens(Optimizer):
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.writer = writer         # 動的学習率や感情スカラー等を渡す(研究向け)
         self.emoScope = lr           # 動的学習率の調和とリズム
-        self.noise_est = 0.1         # emoPulse nest 初期化
-        self.d_est = 0.1             # emoPulse dest 初期化
+        self.noise_est = 1.0         # emoPulse nest 初期化
+        self.d_est = 0.02            # emoPulse dest 初期化
+        self.dNR_hist = None         # emoPulse hist 初期化
+        #self.warmup = 0.01           # emoPulse warmup 初期化
 
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
@@ -86,6 +89,31 @@ class EmoSens(Optimizer):
         ratio = self._decide_ratio(scalar)
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
+        # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
+        #self.warmup = 0.97 * (getattr(self, 'warmup', 0.01) or 0.01) + 0.03 * 1.0
+        # d / N 履歴 (時間的D推定)  
+        self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
+        self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
+        noise = max(self.noise_est, 1e-3)
+        d = self.d_est
+        # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
+        noise_base = abs(scalar - trust) + 0.1
+        d_base = abs(noise - d) + 0.1
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        dNR_now_val = (d_base / noise_base) ** 2
+        # d / N (SNR) の履歴化と最大値の成長率の増減
+        if self.dNR_hist is None:
+            self.dNR_hist = 1.0
+        else:
+            if dNR_now_val >= self.dNR_hist and trust >= 0.5:
+                # 加速：どんなに SNR が高くても、1.05倍という｢歩幅｣の成長制限
+                self.dNR_hist = min(dNR_now_val, self.dNR_hist * 1.05)
+            elif -0.5 <= trust <= 0.5:
+                # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
+                self.dNR_hist = dNR_now_val * 0.98
+        # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
+        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+
         for group in self.param_groups:
             for p in group['params']:
                 if p.grad is None:
@@ -108,15 +136,6 @@ class EmoSens(Optimizer):
                         leap_ratio = 0.1 * abs(trust)
                         state['shadow'].lerp_(p, leap_ratio)
 
-                # emoPulse (loss 時系列から D / noise を推定し完全自動LRを生成)
-                # noise_estimate: loss の揺れ(不安定性)のEMA
-                self.noise_est = 0.7 * self.noise_est + 0.3 * abs(scalar)
-                noise = max(self.noise_est, 1e-8)  # 下限 eps
-                # distance_estimate: loss の改善傾向の EMA(距離 D の代理)
-                # emoScope：基準値1.0
-                self.d_est = 0.95 * self.d_est + 0.05 * abs(trust)
-                d = self.d_est * self.emoScope
-
                 # --- Start Gradient Update Logic ---
                 # 1次・2次モーメントを使った勾配補正(decoupled weight decay 構造に近い)
                 exp_avg = state.setdefault('exp_avg', torch.zeros_like(p))
@@ -128,8 +147,8 @@ class EmoSens(Optimizer):
                 denom = exp_avg_sq.sqrt().add_(group['eps'])
 
                 #step_size = group['lr']
-                # 完全自動LR / 安全クリップ (emoPulse = step_size)
-                emoPulse = max(min((((d / noise)**2) * 5e-5), 1e-3), 1e-6)
+                # 完全自動LR / 安全クリップ (emoPulse = step_size) # emoScope：基準値1.0
+                #emoPulse = max(min(((emobase * self.emoScope) * 5e-5), 1e-3), 1e-6)
 
                 if group['weight_decay']:
                     p.add_(p, alpha=-group['weight_decay'] * emoPulse)
@@ -150,11 +169,12 @@ class EmoSens(Optimizer):
             if avg_abs < 0.05 and var < 0.005:
                 self.should_stop = True # 💡 外部からこれを見て判断可
 
-        # TensorBoardへの記録（step関数の末尾に追加）
+        # TensorBoardへの記録 (研究者向けデバッグ用) 要：外部記録コード
         if hasattr(self, 'writer') and self.writer is not None:
             self._step_count = getattr(self, "_step_count", 0) + 1
-            self.writer.add_scalar("emoLR/base", emoPulse, self._step_count)
+            self.writer.add_scalar("emostate/emoLR", emoPulse, self._step_count)
             self.writer.add_scalar("emostate/scalar", scalar, self._step_count)
+            self.writer.add_scalar("emostate/trust", trust, self._step_count)
 
         return