Upload folder using huggingface_hub

modelos/qwen3_tts.py

@@ -1,19 +1,22 @@
 # -*- coding: utf-8 -*-
 """
-NARRAÇÃO — Qwen3-TTS (variantes 0.6B / 1.7B), rodando na GPU do worker.
+NARRAÇÃO — Qwen3-TTS 12Hz (CustomVoice), pelo pacote oficial `qwen-tts`.
 
 O contrato de fora é o de sempre: texto entra, WAV sai. `voice` escolhe um
 timbre nomeado; `voice_reference` (um WAV curto em base64) liga o VOICE
-CLONING quando o modelo o suporta — o campo já existe no contrato para a
-tela não precisar de rota nova no dia em que for oferecido.
-
-HONESTIDADE DE CARGA: a chamada exata de geração (nomes de método e de
-parâmetro) tem de ser conferida contra o model card da versão baixada — o
-projeto Qwen troca detalhes entre releases, e este ambiente de desenvolvimento
-não alcança os pesos para provar a chamada. O que está aqui segue a API
-publicada do projeto; o MODELS.md marca este arquivo como "validar no primeiro
-deploy com GPU". Errar isso quebra ALTO (exceção no primeiro uso), não baixo —
-que é o jeito certo de errar.
+CLONING quando o checkpoint o suporta (é o Base que clona; o CustomVoice tem
+os 9 timbres prontos) — o campo já existe no contrato para a tela não
+precisar de rota nova no dia em que for oferecido.
+
+DUAS COISAS MEDIDAS NA PRIMEIRA VALIDAÇÃO REAL, e que não se desfazem:
+
+- `Qwen/Qwen3-TTS-1.7B` NÃO EXISTE no Hub (404 na primeira geração real).
+  Os pesos publicados são os `Qwen3-TTS-12Hz-*`; o padrão daqui é o
+  `12Hz-1.7B-CustomVoice`, que é o que dá timbres nomeados ao Estúdio.
+- A chamada NÃO é AutoProcessor/AutoModel + trust_remote_code: o projeto
+  publica o pacote `qwen-tts` (PyPI) com `Qwen3TTSModel.from_pretrained` e
+  `generate_custom_voice(text, language, speaker, instruct)`. O card do
+  modelo é explícito; adivinhar a forma via AutoModel quebraria alto.
 """
 from __future__ import annotations
 
@@ -32,20 +35,39 @@ VRAM_MINIMA_GB = 4
 _modelo_obj = None
 _modelo_carregado = ""
 
+# O decodificador de áudio dos 12Hz — baixado junto, porque o qwen-tts o
+# busca por nome na primeira geração e o download tem de acontecer FORA da
+# chamada de GPU (ver base.baixar_repo).
+_TOKENIZER_12HZ = "Qwen/Qwen3-TTS-Tokenizer-12Hz"
+
 # Timbres nomeados → os "speakers" do modelo. A tela mostra nomes nossos
 # (regra da casa: nome de provedor não chega à tela); a tradução mora aqui.
-_VOZES = {"default": "Vivian", "feminina": "Vivian", "masculina": "Ethan"}
+# Os 9 do CustomVoice: Vivian, Serena, Uncle_Fu, Dylan, Eric, Ryan, Aiden,
+# Ono_Anna, Sohee — nenhum é nativo de português, mas todos falam as 10
+# línguas do modelo (o card diz; Serena é a voz quente feminina, Ryan a
+# masculina clara).
+_VOZES = {"default": "Serena", "feminina": "Serena", "masculina": "Ryan"}
+
+# O idioma do pedido chega como código BCP-47; o generate_custom_voice quer
+# o NOME em inglês ("Portuguese"), ou "Auto" para adaptativo.
+_IDIOMAS = {"pt": "Portuguese", "pt-br": "Portuguese", "pt-pt": "Portuguese",
+            "en": "English", "en-us": "English", "es": "Spanish",
+            "fr": "French", "de": "German", "it": "Italian",
+            "ja": "Japanese", "ko": "Korean", "ru": "Russian",
+            "zh": "Chinese", "zh-cn": "Chinese"}
 
 
 def _modelo() -> str:
-    return os.getenv("TTS_MODEL", "Qwen/Qwen3-TTS-1.7B").strip()
+    return os.getenv("TTS_MODEL", "Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice").strip()
 
 
 def baixar(progresso: base.Progresso) -> None:
     # A mesma revisão do carregar: baixar uma e carregar outra seria baixar
-    # à toa e baixar DE NOVO dentro da GPU.
+    # à toa e baixar DE NOVO dentro da GPU. O tokenizer 12Hz vai junto —
+    # sem ele aquecido, a primeira geração o baixaria DENTRO da GPU.
     base.baixar_repo(_modelo(), progresso,
                      revision=os.getenv("TTS_MODEL_REV") or None)
+    base.baixar_repo(_TOKENIZER_12HZ, progresso)
 
 
 def carregar(progresso: base.Progresso) -> None:
@@ -57,22 +79,12 @@ def carregar(progresso: base.Progresso) -> None:
         return
     progresso(None, "Carregando o modelo de voz…")
     import torch
-    from transformers import AutoModel, AutoProcessor
-    # trust_remote_code: o Qwen3-TTS traz o código de inferência junto dos
-    # pesos. É código de terceiro rodando NO WORKER — que não tem segredo
-    # nenhum do app (ver GPU_WORKER.md); ainda assim, fixe a revisão em
-    # produção (TTS_MODEL_REV) para o código não trocar sob os seus pés.
-    rev = os.getenv("TTS_MODEL_REV") or None
-    _modelo_obj = {
-        "proc": AutoProcessor.from_pretrained(_modelo(), revision=rev,
-                                              trust_remote_code=True,
-                                              token=os.getenv("HF_TOKEN") or None),
-        "model": AutoModel.from_pretrained(_modelo(), revision=rev,
-                                           torch_dtype=torch.bfloat16,
-                                           trust_remote_code=True,
-                                           token=os.getenv("HF_TOKEN") or None
-                                           ).to(base.dispositivo()).eval(),
-    }
+    from qwen_tts import Qwen3TTSModel
+    # Sem attn_implementation="flash_attention_2": o flash-attn não está na
+    # imagem (compilar ele num build de Space leva mais que o build inteiro)
+    # e o padrão do transformers funciona — mais lento, mas existe.
+    _modelo_obj = Qwen3TTSModel.from_pretrained(
+        _modelo(), device_map=base.dispositivo(), dtype=torch.bfloat16)
     _modelo_carregado = _modelo()
 
 
@@ -84,31 +96,24 @@ def gerar(params: Dict, progresso: base.Progresso) -> base.Saida:
     if not texto:
         raise ValueError("nada para narrar")
     voz = _VOZES.get((params.get("voice") or "default").lower(),
-                     params.get("voice") or "Vivian")
-    idioma = params.get("language") or "pt-BR"
+                     params.get("voice") or "Serena")
+    idioma = _IDIOMAS.get((params.get("language") or "pt-BR").lower(), "Auto")
 
     progresso(None, "Gerando a narração…")
-    modelo, proc = _modelo_obj["model"], _modelo_obj["proc"]
 
-    referencia = None
-    if params.get("voice_reference"):
-        # Voice cloning: o WAV de referência chega em base64 pelo backend.
+    if params.get("voice_reference") and hasattr(_modelo_obj,
+                                                 "generate_voice_clone"):
+        # Voice cloning (checkpoint Base): o WAV de referência chega em
+        # base64 pelo backend.
         referencia = io.BytesIO(b64.b64decode(
             params["voice_reference"].split(",")[-1]))
+        ondas, taxa = _modelo_obj.generate_voice_clone(
+            text=texto, language=idioma, reference_audio=referencia)
+    else:
+        ondas, taxa = _modelo_obj.generate_custom_voice(
+            text=texto, language=idioma, speaker=voz)
 
-    import torch
-    with torch.no_grad():
-        if referencia is not None and hasattr(modelo, "clone"):
-            onda, taxa = modelo.clone(text=texto, reference=referencia,
-                                      language=idioma)
-        else:
-            entradas = proc(text=texto, speaker=voz, language=idioma,
-                            return_tensors="pt").to(base.dispositivo())
-            saida = modelo.generate(**entradas)
-            onda = saida.audio if hasattr(saida, "audio") else saida[0]
-            taxa = getattr(saida, "sampling_rate", 24000)
-
-    return _wav_de(onda, taxa), "audio/wav"
+    return _wav_de(ondas[0], taxa), "audio/wav"
 
 
 def descarregar() -> None:

requirements.txt

@@ -16,6 +16,11 @@ diffusers>=0.34
 transformers>=4.51
 accelerate>=1.2
 safetensors>=0.5
+# A voz vem pelo pacote OFICIAL do projeto (Qwen3TTSModel + os checkpoints
+# 12Hz) — a primeira validação real provou que AutoModel não serve: o id
+# antigo nem existia no Hub. Ele pina transformers==4.57.3, que satisfaz o
+# >=4.51 do Z-Image — os dois convivem.
+qwen-tts>=0.1.1
 Pillow==11.1.0
 imageio==2.36.1
 imageio-ffmpeg==0.6.0