V6.7: upload src/bigru_t/model/kohonen_learning_system.py (BBPE serial mode + OomGuard V7)

src/bigru_t/model/kohonen_learning_system.py

@@ -443,6 +443,15 @@ class KohonenSOM4D:
         self.fisher_accum = torch.zeros(self.I, self.J, self.K, self.L)
         self.fisher_count = torch.zeros(self.I, self.J, self.K, self.L)
 
+        # V6.6 — Fisher accumulation CONTÍNUA (online EWC pattern)
+        # Quando True, Fisher é acumulado em TODOS os updates (não só
+        # antes da primeira consolidação). Após set_ewc_reference(),
+        # Fisher é resetado e começa a acumular novamente para a próxima
+        # tarefa. A consolidada é preservada via EMA em finalize_fisher().
+        self.fisher_continuous: bool = True
+        # Histórico de Fisher consolidations (uma entrada por set_ewc_reference)
+        self.fisher_consolidation_count: int = 0
+
         # V6.5-V2-metrics-FIX-4 — Conscience mechanism (DeSieno 1988)
         # Inicializa p_i = 1/N (uniforme) — sem viés inicial.
         # b_i = γ · (1/N - p_i) começa em 0 (sem bias).
@@ -1392,10 +1401,19 @@ class KohonenSOM4D:
              NaN não deve contaminar permanentemente os pesos).
           3. Clamp dos pesos após update (evita explosão numérica).
 
+        V6.6 — Fisher accumulation CONTÍNUA (online EWC pattern):
+          Quando self.fisher_continuous=True (default), acumula Fisher em
+          TODOS os updates, não apenas quando accumulate_fisher=True.
+          Após set_ewc_reference(), Fisher é resetado e começa a acumular
+          novamente para a próxima tarefa. Isto suporta online EWC
+          (Schwarz et al. 2018) onde múltiplas tarefas são consolidadas
+          sequencialmente sem catastrophic forgetting.
+
         Args:
             x: tensor [4] — amostra 4D.
             bmu_idx: (i, j, k, l) — índice do BMU.
-            accumulate_fisher: se True, acumula (x_w - W_w)² nos Fisher accumulators.
+            accumulate_fisher: se True (ou fisher_continuous=True), acumula
+                (x_w - W_w)² nos Fisher accumulators.
         """
         # V6.5-V2-metrics-FIX-3 — sanitiza x: substitui NaN/Inf por 0
         # (uma amostra degenerada não deve contaminar todo o SOM).
@@ -1427,13 +1445,16 @@ class KohonenSOM4D:
         if torch.isnan(self.weights).any() or torch.isinf(self.weights).any():
             self.weights = torch.nan_to_num(self.weights, nan=0.0, posinf=100.0, neginf=-100.0)
 
-        if accumulate_fisher:
+        # V6.6 — Fisher accumulation contínua (online EWC)
+        # Acumula SEMPRE que: accumulate_fisher=True OU fisher_continuous=True
+        should_accumulate = accumulate_fisher or getattr(self, 'fisher_continuous', False)
+        if should_accumulate:
             # Acumula Fisher apenas em neurônios próximos ao BMU (Λ > 0.1)
             mask = h > 0.1
             if mask.any():
                 diff_sq = (x[3] - self.weights[mask][..., 3]) ** 2
-                self.fisher_accum[mask] += diff_sq
-                self.fisher_count[mask] += 1
+                self.fisher_accum[mask] = self.fisher_accum[mask] + diff_sq
+                self.fisher_count[mask] = self.fisher_count[mask] + 1
 
         self.t += 1
 
@@ -1458,16 +1479,41 @@ class KohonenSOM4D:
             pass
 
     def finalize_fisher(self):
-        """Fisher = mean((x_w - W_w)²) sobre samples acumuladas."""
+        """Fisher = mean((x_w - W_w)²) sobre samples acumuladas.
+
+        V6.6 — se fisher_continuous=True E já existe fisher_w (consolidação
+        anterior), faz EMA (exponential moving average) com a Fisher anterior
+        em vez de substituir — isto preserva informação de tarefas passadas
+        (online EWC pattern, cf. Schwarz et al. 2018).
+        """
         cnt = self.fisher_count.clamp(min=1e-8)
-        self.fisher_w = self.fisher_accum / cnt
+        new_fisher = self.fisher_accum / cnt
+        if (getattr(self, 'fisher_continuous', False)
+                and self.fisher_w is not None
+                and getattr(self, 'fisher_consolidation_count', 0) > 0):
+            # EMA: F_t = α·F_t_new + (1-α)·F_{t-1}
+            # α=0.5 dá peso igual a tarefa atual e à memória das anteriores
+            ema_alpha = 0.5
+            self.fisher_w = ema_alpha * new_fisher + (1 - ema_alpha) * self.fisher_w
+        else:
+            self.fisher_w = new_fisher
 
     def set_ewc_reference(self):
-        """Consolida W_w como referência EWC e finaliza Fisher."""
+        """Consolida W_w como referência EWC e finaliza Fisher.
+
+        V6.6 — Após consolidação, Fisher é RESETADO para acumular informação
+        da PRÓXIMA tarefa (online EWC pattern). A Fisher consolidada é
+        preservada em self.fisher_w via EMA em finalize_fisher().
+        """
         self.old_weights_w = self.weights[..., 3].clone()
         self.finalize_fisher()
+        # Reset dos accumuladores para a próxima tarefa
         self.fisher_accum.zero_()
         self.fisher_count.zero_()
+        # V6.6 — Track consolidation count for EMA logic
+        if not hasattr(self, 'fisher_consolidation_count'):
+            self.fisher_consolidation_count = 0
+        self.fisher_consolidation_count += 1
 
     # ------------------------------------------------------------------
     # Métricas para monitoramento (V6.4)