Replace InferenceClientModel with local TransformersModel

- Remove dependency on Hugging Face Inference API keys
- Use local DialoGPT-medium model through transformers
- Add proper tokenizer configuration for DialoGPT
- Add necessary dependencies: transformers, torch, accelerate
- App now works without external API keys while preserving MCP functionality

app.py

@@ -1,13 +1,12 @@
 import gradio as gr
 import os
 
-from smolagents import InferenceClientModel, CodeAgent, MCPClient
+from smolagents import CodeAgent, MCPClient
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from smolagents import TransformersModel
 
 mcp_client = None
-tools = []
-
 try:
-    print("Попытка подключения к MCP серверу...")
     mcp_client = MCPClient(
         {
             "url": "https://Eremenko-mcp-sentiment.hf.space/gradio_api/mcp/"
@@ -15,53 +14,42 @@ try:
         }
     )
     tools = mcp_client.get_tools()
-    print(f"Успешно получено {len(tools)} инструментов от MCP сервера")
-except Exception as e:
-    print(f"Ошибка при подключении к MCP серверу: {e}")
-    print("Продолжаем без MCP инструментов...")
-    tools = []
 
-# Попробуем несколько моделей в порядке приоритета
-models_to_try = [
-    "HuggingFaceH4/zephyr-7b-beta",
-    "microsoft/DialoGPT-medium", 
-    "gpt2"
-]
+    # Используем локальную модель через transformers
+    print("Загружаем локальную модель...")
+    model_id = "microsoft/DialoGPT-medium"
 
-model = None
-for model_id in models_to_try:
-    try:
-        print(f"Попытка загрузить модель: {model_id}")
-        model = InferenceClientModel(
-            token=os.getenv("HUGGINGFACE_API_TOKEN"),
-            model_id=model_id
-        )
-        print(f"Модель {model_id} успешно загружена")
-        break
-    except Exception as e:
-        print(f"Ошибка при загрузке модели {model_id}: {e}")
-        continue
+    tokenizer = AutoTokenizer.from_pretrained(model_id)
+    # Устанавливаем pad_token для DialoGPT
+    if tokenizer.pad_token is None:
+        tokenizer.pad_token = tokenizer.eos_token
 
-if model is None:
-    raise Exception("Не удалось загрузить ни одну из доступных моделей")
+    model = AutoModelForCausalLM.from_pretrained(model_id)
 
-agent = CodeAgent(tools=[*tools], model=model, additional_authorized_imports=["json", "ast", "urllib", "base64"])
-
-demo = gr.ChatInterface(
-    fn=lambda message, history: str(agent.run(message)),
-    type="messages",
-    examples=["Analyze the sentiment of the following text 'This is awesome'"],
-    title="Agent with MCP Tools",
-    description="This is a simple agent that uses MCP tools to answer questions.",
-)
+    # Создаем TransformersModel для smolagents
+    transformers_model = TransformersModel(
+        model=model,
+        tokenizer=tokenizer,
+        device="cpu"  # Используем CPU для простоты
+    )
+    agent = CodeAgent(tools=[*tools], model=transformers_model, additional_authorized_imports=["json", "ast", "urllib", "base64"])
+
+    demo = gr.ChatInterface(
+        fn=lambda message, history: str(agent.run(message)),
+        type="messages",
+        examples=["Analyze the sentiment of the following text 'This is awesome'"],
+        title="Agent with MCP Tools",
+        description="This is a simple agent that uses MCP tools to answer questions.",
+    )
 
-try:
     demo.launch()
+
 except KeyboardInterrupt:
     # Обработка Ctrl+C
     print('Сервер остановлен пользователем')
 except Exception as e:
-    print(f"Ошибка при запуске приложения: {e}")
+    print(f"Ошибка при подключении к MCP серверу: {e}")
+    print("Попробуйте другой MCP сервер или проверьте URL")
 finally:
     if mcp_client:
         mcp_client.disconnect()

requirements.txt

@@ -1,2 +1,5 @@
 gradio[mcp]
-smolagents[mcp]
+smolagents[mcp]
+transformers
+torch
+accelerate