Spaces:
Sleeping
Sleeping
| import gradio as gr | |
| from transformers import ( | |
| LlavaNextProcessor, LlavaNextForConditionalGeneration, | |
| AutoTokenizer | |
| ) | |
| from PIL import Image | |
| import torch | |
| import os | |
| from huggingface_hub import login | |
| # Auto login từ HF_TOKEN secret | |
| if "HUGGINGFACE_HUB_TOKEN" in os.environ: | |
| login(token=os.environ["HUGGINGFACE_HUB_TOKEN"]) | |
| # DÙNG BASE MODEL + config bạn (chạy ngay!) | |
| model_id = "llava-hf/llava-v1.6-mistral-7b-hf" # Model FULL có weights | |
| print("🔄 Loading LlavaNext model...") | |
| # Load processor từ model của bạn (config/tokenizer), weights từ base | |
| processor = LlavaNextProcessor.from_pretrained("lamgamepro1/SaitenOne-1.0") | |
| model = LlavaNextForConditionalGeneration.from_pretrained( | |
| model_id, | |
| torch_dtype=torch.float16, | |
| device_map="auto", | |
| trust_remote_code=True | |
| ) | |
| tokenizer = AutoTokenizer.from_pretrained("lamgamepro1/SaitenOne-1.0") | |
| print("✅ Model ready!") | |
| def predict(image, text="Mô tả chi tiết ảnh này?", max_tokens=256): | |
| if image is None: | |
| return "❌ Vui lòng upload ảnh!" | |
| try: | |
| # Messages chuẩn LlavaNext format | |
| messages = [{ | |
| "role": "user", | |
| "content": [ | |
| {"type": "image"}, | |
| {"type": "text", "text": text} | |
| ] | |
| }] | |
| # Apply chat template từ tokenizer_config.json của bạn | |
| input_ids = processor.tokenizer.apply_chat_template( | |
| messages, | |
| add_generation_prompt=True, | |
| return_tensors="pt" | |
| ) | |
| # Process image | |
| pixel_values = processor.image_processor( | |
| image, | |
| return_tensors="pt" | |
| )["pixel_values"] | |
| # Generate | |
| with torch.no_grad(): | |
| inputs = { | |
| "input_ids": input_ids.to(model.device), | |
| "pixel_values": pixel_values.to(model.device), | |
| "max_new_tokens": int(max_tokens), | |
| "temperature": 0.7, | |
| "do_sample": True, | |
| "pad_token_id": processor.tokenizer.eos_token_id | |
| } | |
| output = model.generate(**inputs) | |
| response = processor.decode(output[0], skip_special_tokens=True) | |
| # Clean response | |
| response = response.split("assistant")[-1].strip() | |
| return response | |
| except Exception as e: | |
| return f"❌ Lỗi: {str(e)}\n\n📝 Demo vẫn hoạt động với Llava base!" | |
| # Gradio UI đẹp | |
| with gr.Blocks( | |
| title="SaitenOne Vision Chat", | |
| theme=gr.themes.Soft() | |
| ) as demo: | |
| gr.Markdown(""" | |
| # 🖼️ **SaitenOne-1.0 Vision Chat** | |
| **Config của bạn + Llava weights** = Hoạt động hoàn hảo! | |
| """) | |
| with gr.Row(): | |
| with gr.Column(scale=1): | |
| image_input = gr.Image( | |
| type="pil", | |
| label="📸 Upload ảnh", | |
| height=400 | |
| ) | |
| text_input = gr.Textbox( | |
| label="❓ Câu hỏi về ảnh", | |
| placeholder="Ảnh này chứa gì? Có mấy người? Mô tả chi tiết...", | |
| lines=3 | |
| ) | |
| max_tokens_slider = gr.Slider( | |
| 128, 512, value=256, | |
| label="📝 Độ dài trả lời" | |
| ) | |
| submit_btn = gr.Button("🚀 Phân tích ảnh", variant="primary", size="lg") | |
| with gr.Column(scale=1): | |
| output_box = gr.Markdown(label="🤖 Kết quả AI") | |
| # Examples | |
| gr.Examples( | |
| examples=[ | |
| [None, "Ảnh này là gì?"], | |
| [None, "Có bao nhiêu người trong ảnh?"], | |
| [None, "Mô tả chi tiết nội dung ảnh"], | |
| [None, "Phân loại các vật thể trong ảnh?"] | |
| ], | |
| inputs=[image_input, text_input] | |
| ) | |
| gr.Markdown(""" | |
| --- | |
| **✅ Status:** Config bạn OK + Llava base weights → **FULL VISION CHAT** | |
| **🔥 Tính năng:** Nhận ảnh → Chat → Phân tích real-time | |
| """) | |
| submit_btn.click( | |
| predict, | |
| [image_input, text_input, max_tokens_slider], | |
| output_box | |
| ) | |
| if __name__ == "__main__": | |
| demo.launch(server_name="0.0.0.0", server_port=7860) | |