Delete README.md with huggingface_hub

README.md

@@ -1,276 +0,0 @@
-# CNN-BiGRU — Modelo Multimodal Cooperativo Autoaprendível (v2.0)
-
-Implementação completa de um LLM multimodal com arquitetura **CNN-BiGRU cooperativa**,
-inspirada nos projetos de referência:
-
-- `PowerMachine/gru-ring-v13-9-2/xavante_work/`
-- `PowerMachine/BiGRU_T_version/src/bigru_t/`
-- `dados.txt` (pseudocódigo matemático completo)
-
-O projeto é **diferente** dos anteriores: agrupa todos os componentes multimodais
-(texto + imagem + áudio) num único pipeline cooperativo, com divisão por competências.
-
----
-
-## Novidades v2.0
-
-Esta versão adiciona os **módulos faltantes** identificados na análise matemática
-(`docs/MATH_ANALYSIS.md`):
-
-### Novos Módulos
-
-| Módulo | Função | Arquivo |
-|--------|--------|---------|
-| **EWC** (Elastic Weight Consolidation) | Aprendizado contínuo sem catastrophic forgetting via matriz de Fisher | `utils/ewc.py` |
-| **Context Window** | Janela deslizante com cache KV para sequências longas (Sink+Sliding / StreamingLLM) | `models/context_window.py` |
-| **RoPE** (Rotary Position Embeddings) | Codificação posicional rotacional (atenção relativa) | `models/rope.py` |
-| **TransformerBlock** | CausalSelfAttention + FFN com Pre-LN (decoder-only, estilo GPT) | `models/transformer_block.py` |
-
-### Bug Fixes Críticos
-
-- **`cooperative_bigru.py`**: `SelfAttentionSummary` agora é uma self-attention TRUE
-  (CLS-token + multi-head + learned Q/K/V), não mais mean-pool.
-- **`hypothesis_controller.py`**: gate logic corrigido — `x_proj` agora é uma projeção
-  LINEAR REAL do input (não mais `combined`, o que tornava o gate inefetivo).
-- **`generator_verifier.py`**: `enc_out` agora usa a sequência temporal REAL do encoder
-  (não mais `fused.unsqueeze(1).expand(...)` que repetia o mesmo vetor).
-- **`trainer.py`**: verificador REALMENTE chamado (não proxy); saída da hipótese
-  REALMENTE usada (não só flag); EWC integrado à perda total.
-- **`losses.py`**: todos os `torch.tensor(0.0)` agora usam `device=` correto.
-- **`auto_learner.py`**: `_spec_u` registrado como buffer (migra com `.to(device)`);
-  `l2_reg` adicionado ao `AutoLearnConfig`; `estimate_curvature` agora usa `try/finally`.
-- **`inference.py`**: geração autoregressiva REAL via GeneratorCNNBiGRU (não single-step).
-- **`streaming_dataset.py`**: synthetic fallback agora é ALCANÇÁVEL quando HF falha
-  silenciosamente; token HF é limpo após uso.
-- **`multimodal_model.py`**: `attn_mask_a`/`attn_mask_b` agora são usados; weight tying opcional.
-
----
-
-## Características Principais
-
-### 1. Arquitetura Cooperativa de 3 Níveis (do `dados.txt`)
-
-| Nível | Mecanismo | Descrição |
-|-------|-----------|-----------|
-| 1 | Cross-Attention Global | Ponte de cooperação pós-CNN entre redes A e B, com máscaras de padding |
-| 2 | Célula GRU Cooperativa Passo-a-Passo | `CellStepCooperativaComAtenuacao` com porta Gated (alfa ∈ [0,1]) |
-| 3 | Self-Attention Final + Fusão | Self-attention TRUE (CLS-token) + concatenação (128+128=256) |
-
-### 2. Multimodal (Texto + Imagem + Áudio)
-
-- **Texto**: Dual-stream CNN-BiGRU cooperativo (streams A e B)
-- **Imagem**: `ImageEncoder` (CNN 2D → flatten → projeção)
-- **Áudio**: `AudioEncoder` (CNN 1D sobre espectrograma)
-- **Fusão**: `MultimodalFusion` com gated fusion por modalidade
-
-### 3. Autoaprendizado (parâmetros matematicamente ajustados)
-
-Conforme `dados.txt` seções 9-10:
-
-- **Ajuste Dinâmico de LR**:
-  - `fator_G = exp(-κ * ||grad_G||) * (1 + v_media) / 2`
-  - `fator_V = exp(-κ * ||grad_V||) / (1 + L_V_media)`
-- **Controle de Gradiente**: clipping L2 + spectral normalization (power iteration, buffer registrado)
-- **Inicialização Ortogonal**: matrizes recorrentes e convolucionais (com log de fallback)
-- **Estimativa de Curvatura**: aproximação por diferenças finas (com try/finally)
-
-### 4. EWC (Elastic Weight Consolidation) — NOVO v2.0
-
-- **Cálculo da diagonal da Matriz de Fisher** (empirical Fisher)
-- **Online EWC**: $F^{\text{agg}} = \gamma F^{\text{prev}} + (1-\gamma) F^{\text{new}}$
-- **Penalidade diferenciável**: $L_{\text{EWC}} = \sum_i \frac{\lambda}{2} F_i (\theta_i - \theta_i^*)^2$
-- **Integração à perda total**: $L_{\text{total}} = \alpha L_G + \beta L_V + \gamma L_{AH} + \delta L_{\text{reg}} + L_{\text{EWC}}$
-
-### 5. Context Window — NOVO v2.0
-
-- **Cache KV** para CausalSelfAttention (speedup ~T× em inferência)
-- **Sliding Window + Sink** (StreamingLLM): mantém $k$ tokens iniciais + últimos $L_{\max}-k$
-- **Estratégias**: `sliding`, `sink_sliding` (default), `recompute`
-- **Integração com inferência**: `generate_with_sampling(context_window=cw)`
-
-### 6. RoPE (Rotary Position Embeddings) — NOVO v2.0
-
-- Codificação posicional rotacional: $\theta_i = 10000^{-2i/d}$
-- Propriedade relacional: $\langle \text{RoPE}(q, m), \text{RoPE}(k, n) \rangle = \langle \text{RoPE}(q, m-n), k \rangle$
-- Cache de frequências como buffer (migra com `.to(device)`)
-- Extensão dinâmica para sequências longas
-
-### 7. TransformerBlock (Decoder-Only) — NOVO v2.0
-
-- `CausalSelfAttention`: multi-head, máscara triangular inferior, QKV unificada
-- `TransformerBlock`: Pre-LN + residual + FFN (Linear → GELU → Linear)
-- `TransformerDecoderStack`: N camadas + LayerNorm final + LM head
-- **Weight tying** opcional (compartilha embedding ↔ lm_head)
-- Suporte a cache KV multicamada para geração autoregressiva
-
-### 8. Mecanismo de Hipóteses (ativado em punições)
-
-Quando o verificador pune um passo (v < threshold), ativa:
-
-- **N hipóteses paralelas** com transforms lineares diferentes
-- **Seleção via Gumbel-Softmax** (diferenciável)
-- **Porta de ativação** baseada em v — CORRIGIDA v2.0: agora a saída das hipóteses é
-  REALMENTE usada (interpolação `gate * combined + (1-gate) * x_proj`)
-
-### 9. Synergy Search (N tentativas de acerto)
-
-No início de cada época, busca N combinações de hiperparâmetros (pesos das perdas)
-e seleciona a configuração de menor perda.
-
-### 10. Múltiplas Funções de Perda
-
-Conforme `dados.txt` seção 8:
-
-```
-L_total = α * L_G_total + β * L_V + γ * L_AH + δ * L_reg + L_EWC
-L_G_total = L_G + λ * L_penal_linear + μ * L_penal_exp
-L_penal_linear = Σ (1 - v_t)                              (todos os passos)
-L_penal_exp = Σ_{v_t < threshold} exp(γ * (1 - v_t))      (apenas graves)
-L_V = BCE(v_t, rotulo_real)
-L_AH = Σ (1 - τ_t)                    (anti-alucinação fuzzy)
-L_reg = L2 + curvatura
-L_EWC = Σ (λ/2) * F * (θ - θ*)²       [NOVO v2.0]
-```
-
-### 11. Camada Anti-Alucinação (Lógica Fuzzy de Łukasiewicz)
-
-```python
-NOT(x)  = 1 - sigmoid(x)
-AND(x,y) = relu(sigmoid(x) + sigmoid(y) - 1)
-OR(x,y)  = min(1, sigmoid(x) + sigmoid(y))
-IMP(x,y) = min(1, 1 - sigmoid(x) + sigmoid(y))
-```
-
-### 12. Inferência Avançada
-
-- Temperatura, Top-K, Top-P (Nucleus Sampling)
-- Presence Penalty, Frequency Penalty
-- **Geração autoregressiva REAL via GeneratorCNNBiGRU** (v2.0)
-- **Cache KV opcional** via ContextWindowManager (v2.0)
-- Avaliação de Perplexidade (PPL) com generator real
-
----
-
-## Estrutura por Competências
-
-```
-cnn_bigru/
-├── tokenizer/              # Competência: tokenização
-│   └── bbpe_tokenizer.py   # BBPE byte-level tokenizer
-├── utils/                  # Competência: utilitários
-│   ├── xeon_runtime.py     # Ativação Intel Xeon (AVX512+AMX+IPEX)
-│   ├── memory_optimizer.py # Otimização de memória (AMP, GC, offload)
-│   ├── semantic_embeddings.py  # Embeddings semânticos (Sinkhorn OT + IB)
-│   └── ewc.py              # NOVO v2.0: Elastic Weight Consolidation
-├── data/                   # Competência: carregamento de dados
-│   └── streaming_dataset.py # Dataset streaming multimodal (com fallback)
-├── models/                 # Competência: modelos neurais
-│   ├── cooperative_bigru.py    # Núcleo CNN-BiGRU cooperativo (self-attn TRUE)
-│   ├── multimodal_encoders.py  # Encoders de imagem/áudio + fusão
-│   ├── multimodal_model.py     # Modelo multimodal completo (weight tying opc.)
-│   ├── generator_verifier.py   # Gerador + Verificador + Anti-alucinação
-│   ├── rope.py                 # NOVO v2.0: Rotary Position Embeddings
-│   ├── transformer_block.py    # NOVO v2.0: CausalSelfAttention + TransformerBlock
-│   └── context_window.py       # NOVO v2.0: Sliding window + KV cache
-├── losses/                 # Competência: funções de perda
-│   └── losses.py           # Multi-loss + EWC penalty (device-safe)
-├── training/               # Competência: treinamento
-│   ├── auto_learner.py         # Ajuste dinâmico LR + spectral norm (buffer)
-│   ├── hypothesis_controller.py # Hipóteses + synergy search (gate fix)
-│   └── trainer.py              # Loop cooperativo + EWC + verificador real
-├── inference/              # Competência: inferência
-│   └── inference.py        # Sampling + PPL + generator real + context window
-├── tests/                  # Competência: testes
-│   └── test_50_samples.py  # Teste de 50 amostras (com novos módulos v2.0)
-├── scripts/                # Competência: scripts auxiliares
-│   └── push_to_hf.py       # Upload ao HF (upload_folder + retry)
-├── docs/                   # Competência: documentação
-│   └── MATH_ANALYSIS.md    # NOVO v2.0: análise matemática de EWC + Context Window
-└── requirements.txt
-```
-
----
-
-## Como Executar
-
-### Requisitos
-
-```bash
-pip install torch tokenizers huggingface_hub datasets psutil tqdm numpy
-```
-
-### Teste de 50 Amostras (com novos módulos v2.0)
-
-```bash
-python -m cnn_bigru.tests.test_50_samples
-```
-
-O teste executa:
-1. Ativação do runtime Xeon
-2. Treino do BBPE tokenizer
-3. Criação do dataset streaming (50 amostras)
-4. Instanciação dos modelos
-5. **Teste isolado dos novos módulos v2.0**:
-   - EWC (Fisher, consolidate, penalty)
-   - Context Window (cache KV, eviction)
-   - RoPE (preservação de norma)
-   - TransformerBlock (forward, cache, weight tying)
-5'. Treinamento cooperativo com EWC + synergy + hipóteses + auto-learn
-6. Inferência com generator + context window
-7. Avaliação de perplexidade com generator
-8. Relatório de erros lógicos ou falhas
-
-### Resultado Esperado
-
-```
-✓ NENHUM ERRO CRÍTICO encontrado
-Amostras processadas: 50
-Synergy attempts: 3
-Hypothesis activations: variável
-EWC active: True
-Context Window active: True
-Used generator for inference: True
-STATUS: SUCESSO
-```
-
----
-
-## Análise Matemática
-
-A inclusão de EWC e Context Window foi analisada matematicamente em
-[`docs/MATH_ANALYSIS.md`](docs/MATH_ANALYSIS.md), cobrendo:
-
-1. **EWC**: formulação da Fisher Information, integração na perda, garantia de Laplace
-2. **Context Window**: complexidade computacional, políticas de evicção (sliding, sink+sliding, recompute)
-3. **Demais elementos faltantes**: RoPE, CausalSelfAttention, Self-Attention final, etc.
-
----
-
-## Referências
-
-- `dados.txt` (arquivo de entrada com pseudocódigo completo)
-- `huggingface.co/PowerMachine/gru-ring-v13-9-2/tree/main/xavante_work/`
-- `huggingface.co/PowerMachine/BiGRU_T_version/blob/main/src/bigru_t/tokenizer/bbpe_tokenizer.py`
-- `huggingface.co/PowerMachine/gru-ring-v13-9-2/blob/main/xavante_work/xavante/utils/semantic_embeddings.py`
-- `huggingface.co/PowerMachine/gru-ring-v13-9-2/blob/main/xavante_work/xavante/utils/memory_optimizer.py`
-- `huggingface.co/PowerMachine/gru-ring-v13-9-2/tree/main/xavante_work/xavante/training`
-- `huggingface.co/PowerMachine/BiGRU_T_version/blob/main/src/bigru_t/utils/xeon_runtime.py`
-- `huggingface.co/PowerMachine/gru-ring-v13-9-2/blob/main/xavante_work/flexnet/streaming_datasets_v13_9.py`
-
----
-
-## Notas de Segurança
-
-- **HF_TOKEN**: usado apenas para push inicial ao repositório. Após o push, o token
-  é removido do ambiente e dos scripts. Os scripts publicados não contêm nenhum
-  token embutido.
-- **Exceções**: todos os módulos usam `try/except` com logging adequado para
-  garantir robustez. O treinamento continua mesmo se alguns batches falharem.
-- **Curvatura**: `estimate_curvature` agora usa `try/finally` para garantir
-  restauração dos parâmetros mesmo em caso de exceção.
-
----
-
-## Licença
-
-MIT