--- title: Rotoscopia Lab emoji: ✂️ colorFrom: indigo colorTo: pink sdk: static app_file: index.html pinned: false license: apache-2.0 short_description: Segmenta por clic/caja y sigue objetos en vídeo (SAM 3) custom_headers: cross-origin-embedder-policy: credentialless cross-origin-opener-policy: same-origin models: - onnx-community/sam3-tracker-ONNX - facebook/sam3 tags: - mask-generation - image-segmentation - interactive-segmentation - video-object-segmentation - sam3 - transformers.js - onnx - webgpu - wasm - spanish - español --- # Rotoscopia Lab Space **estático** (HTML/JS, sin servidor de inferencia) de **segmentación interactiva**: haces clic sobre un objeto (puntos «incluir» / «excluir») o dibujas una caja y obtienes su **máscara a nivel de píxel**; puedes descargarla como PNG, como imagen superpuesta o como **recorte con fondo transparente**. Con un **vídeo corto**, marcas el objeto en el primer fotograma y la app lo **sigue** en los siguientes (rotoscopia asistida) y exporta un WebM con la máscara. La inferencia es **real** y corre **en tu navegador** (Web Worker; WebGPU si está disponible, si no WASM/CPU). Proyecto comunitario independiente. **No** es un producto oficial de Meta ni de Hugging Face. ## Qué hace (y qué no) | Función | Cómo funciona | |---|---| | Clic / caja → máscara | Codificador de imagen de SAM 3 **una vez por imagen** (lento) + decodificador de prompts **por cada clic** (rápido, ~0,1–0,3 s en CPU). El modelo propone 3 máscaras candidatas con una puntuación de calidad (IoU predicho); se muestra la mejor y las 3 puntuaciones. | | Puntos negativos | Mayús+clic o herramienta «excluir» para quitar zonas. | | Seguimiento en vídeo | **Heurística de esta app**, no el rastreador con memoria de SAM 3: cada fotograma muestreado se codifica de nuevo y se re-pregunta al decodificador con la caja de la máscara anterior ampliada un 10 % + un punto interior de esa máscara. Si el modelo dice «objeto ausente» (logit < 0) o el área salta ×4, el fotograma se marca **perdido** (rojo) y se reutiliza el último prompt bueno. | | Exportar | PNG superpuesto, máscara binaria PNG, recorte PNG con transparencia; WebM del seguimiento (MediaRecorder). | | No hace | Segmentación por **texto** (la parte «concept/detector» de SAM 3 no está en esta conversión ONNX); identificación de personas; nada se sube a ningún servidor. | ## Modelo, versiones fijadas y licencias | Elemento | Valor | |---|---| | Modelo base | [`facebook/sam3`](https://huggingface.co/facebook/sam3) — SAM 3 «Segment Anything with Concepts», Meta, **noviembre de 2025** (no es un lanzamiento de esta semana; es un modelo reciente y estable). Aquí sólo se usa la parte *tracker* (segmentación por puntos/cajas). | | Conversión ONNX | [`onnx-community/sam3-tracker-ONNX`](https://huggingface.co/onnx-community/sam3-tracker-ONNX) revisión **`429305c8a5b3de597243d919a07e4e6bdcd00ef7`** (2025-11-19) | | Licencia de modelo y pesos | **SAM License** (Meta, «Last Updated: November 19, 2025»). Copia íntegra en [`SAM_LICENSE.txt`](./SAM_LICENSE.txt). Concede licencia no exclusiva, mundial y gratuita para usar, reproducir, distribuir y modificar (1.a); exige distribuir con copia del acuerdo (1.b.i), cumplir leyes de privacidad y controles de exportación y **prohíbe usos militares, nucleares, de espionaje o armas** (1.b.iii–v). Una demo pública no comercial como ésta es compatible. La tarjeta de la conversión ONNX no declara licencia propia: al ser derivado de los SAM Materials, aplica la SAM License. Los pesos **no** se redistribuyen en este Space: tu navegador los descarga del Hub. | | Runtime | `@huggingface/transformers` **4.3.2** (Apache-2.0), que incluye `onnxruntime-web` **1.31.0-dev.20260914-8d85527a0** (MIT); los binarios WASM se sirven desde este mismo Space (`wasm/`), no desde un CDN de terceros. | | Código de esta app | Apache-2.0 (`LICENSE`, `NOTICE`). Copia del código fuente en `source/`. | ### Descarga inicial (bytes reales en la revisión fijada, sha256 LFS verificado) | Variante (selector «Pesos») | Archivos | Total | |---|---|---| | **q4f16** (por defecto; ideal con WebGPU) | `vision_encoder_q4f16.onnx` (1 307 816 B) + `.onnx_data` (295 622 656 B) + `prompt_encoder_mask_decoder_q4f16.onnx` (243 598 B) + `.onnx_data` (5 121 024 B) | **302 295 094 B ≈ 302,3 MB** | | **int8** (`*_quantized`) | encoder 1 560 787 + 527 113 216 B; decoder 290 416 + 9 776 128 B | **538 740 547 B ≈ 538,7 MB** | Más ~6 kB de configuración y el runtime WASM del propio Space: `ort-wasm-simd-threaded.wasm` (14,3 MB) en modo WASM o `…asyncify.wasm` (26,9 MB) en modo WebGPU. Después todo queda en la caché del navegador. En CPU el codificador int8 fue ~1,9× más rápido que q4f16 en nuestra prueba (ver abajo), a cambio de +236 MB de descarga. ## Privacidad: tus imágenes no salen del navegador - Las imágenes/vídeos se leen con `createImageBitmap` / `