README.md

metadata

title: Object Removal VLM Diffusion
emoji: 🖼️
colorFrom: pink
colorTo: purple
sdk: gradio
sdk_version: 5.50.0
app_file: src/service/app.py
pinned: false
short_description: Zero-shot object removal via Florence-2, SAM2 and diffusion
preload_from_hub:
  - microsoft/Florence-2-base
  - openai/clip-vit-base-patch32
  - facebook/sam2.1-hiera-base-plus
  - philschmid/stable-diffusion-2-inpainting-endpoint

Suppression d'objet assistee par VLM et diffusion

Pipeline zero-shot : decrire un objet en langage naturel -> il disparait de l'image, remplace par un contenu genere coherent.

Architecture : Florence-2 (grounding texte->boite) -> CLIP (reclassement/desambiguisation) -> SAM2 (masque precis) -> dilatation du masque -> Stable Diffusion Inpainting (generation), servi par un microservice FastAPI + WebSocket avec une UI Gradio montee dans le meme process.

Optimisations : cache d'embeddings texte (negative_prompt fixe). torch.compile (UNet, -88% de latence mesure) est desactive automatiquement sous ZeroGPU (incompatible - cache de compilation non persistant entre les process ephemeres), actif sur un GPU dedie.

Detail complet du developpement (blocages rencontres, methodes testees, benchmarks qualite en 4 cas, decisions d'architecture) : voir le depot source du projet.