Download common/models.py from solarianofc/gaia-agent: direct link, hf CLI and curl.
- Browser
- Download file 7.37 kB
-
https://huggingface.co/solarianofc/gaia-agent/resolve/main/common/models.py
- Command line
-
hf download hf://solarianofc/gaia-agent/common/models.py
-
curl -L -o models.py https://huggingface.co/solarianofc/gaia-agent/resolve/main/common/models.py
7.37 kB
| """Фабрики «настоящих» моделей для live-режима. Готовый код, менять не нужно. | |
| Локальные модели — через Ollama, облачные — через OpenRouter (smolagents, LangGraph/LangChain, LlamaIndex). | |
| Настройка через переменные окружения: | |
| OLLAMA_BASE_URL (по умолчанию http://127.0.0.1:11434) | |
| AGENTS_MODEL (по умолчанию qwen3.5:9b) | |
| AGENTS_EMBED_MODEL (по умолчанию nomic-embed-text, нужен только в задачах про LlamaIndex) | |
| AGENTS_PROVIDER "ollama" (по умолчанию) или "openrouter": что вернёт agent_model() | |
| OPENROUTER_API_KEY ключ с https://openrouter.ai/keys | |
| OPENROUTER_MODEL (по умолчанию minimax/minimax-m3.1-flash:free) | |
| Переменные можно положить в .env в корне проекта — он загружается автоматически (python-dotenv); | |
| уже выставленные в окружении значения важнее .env. Не коммить .env: он в .gitignore. | |
| Пример в PowerShell: | |
| $env:AGENTS_MODEL = "qwen3.5:9b" | |
| $env:AGENTS_PROVIDER = "openrouter"; $env:OPENROUTER_API_KEY = "sk-or-..." | |
| """ | |
| from __future__ import annotations | |
| import os | |
| from pathlib import Path | |
| import httpx | |
| from dotenv import load_dotenv | |
| load_dotenv(Path(__file__).resolve().parent.parent / ".env", override=False) | |
| OLLAMA_BASE_URL = os.environ.get("OLLAMA_BASE_URL", "http://127.0.0.1:11434") | |
| MODEL_ID = os.environ.get("AGENTS_MODEL", "qwen3.5:9b") | |
| EMBED_MODEL_ID = os.environ.get("AGENTS_EMBED_MODEL", "nomic-embed-text") | |
| PROVIDER = os.environ.get("AGENTS_PROVIDER", "ollama").lower() | |
| # Бесплатные модели (":free") — 50 запросов в день, после разового пополнения на $10 — 1000. | |
| # Набор бесплатных моделей на OpenRouter часто меняется; если эта пропала, выбери другую с поддержкой tools: | |
| # https://openrouter.ai/models?supported_parameters=tools . Недорогие платные варианты (октябрь 2026): | |
| # "deepseek/deepseek-v4-flash", "qwen/qwen3.6-35b-a3b", "openai/gpt-oss-120b". | |
| OPENROUTER_MODEL_ID = os.environ.get("OPENROUTER_MODEL", "nvidia/nemotron-3-ultra-550b-a55b:free") | |
| OPENROUTER_BASE_URL = "https://openrouter.ai/api/v1" | |
| def ollama_available(model_id: str = MODEL_ID) -> bool: | |
| """True, если Ollama запущена и нужная модель скачана (`ollama pull <model>`).""" | |
| try: | |
| tags = httpx.get(f"{OLLAMA_BASE_URL}/api/tags", timeout=3).json() | |
| except (httpx.HTTPError, ValueError): | |
| return False | |
| names = {m["name"] for m in tags.get("models", [])} | |
| return model_id in names or f"{model_id}:latest" in names | |
| def smolagents_model(model_id: str = MODEL_ID, num_ctx: int = 8192 * 2): | |
| """Модель для smolagents (как в твоём main.py).""" | |
| from smolagents import LiteLLMModel | |
| return LiteLLMModel( | |
| model_id=f"ollama_chat/{model_id}", | |
| api_base=OLLAMA_BASE_URL, | |
| num_ctx=num_ctx, | |
| temperature=0, | |
| flatten_messages_as_text=False, | |
| ) | |
| def _openrouter_key(api_key: str | None) -> str: | |
| api_key = api_key or os.environ.get("OPENROUTER_API_KEY") | |
| if not api_key: | |
| raise RuntimeError( | |
| "Нет ключа OpenRouter: создай его на https://openrouter.ai/keys и выполни " | |
| '$env:OPENROUTER_API_KEY = "sk-or-..." (или передай api_key=...)') | |
| return api_key | |
| def openrouter_model(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None, temperature: float = 0): | |
| """Облачная модель для smolagents через OpenRouter (LiteLLM). | |
| Ключ берётся из аргумента или из переменной OPENROUTER_API_KEY. Не храни его в коде и не коммить. | |
| """ | |
| from smolagents import LiteLLMModel | |
| return LiteLLMModel(model_id=f"openrouter/{model_id}", api_key=_openrouter_key(api_key), temperature=temperature) | |
| def openrouter_langchain_model(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None, | |
| temperature: float = 0): | |
| """Облачная chat-модель для LangChain/LangGraph: OpenRouter совместим с API OpenAI, поэтому ChatOpenAI. | |
| Поддерживает bind_tools, то есть подходит и для ToolNode из задачи 14.""" | |
| from langchain_openai import ChatOpenAI | |
| return ChatOpenAI(model=model_id, base_url=OPENROUTER_BASE_URL, api_key=_openrouter_key(api_key), | |
| temperature=temperature) | |
| def openrouter_llamaindex_llm(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None, | |
| temperature: float = 0, max_tokens: int = 4096, context_window: int = 32768): | |
| """Облачная LLM для LlamaIndex. У интеграции max_tokens по умолчанию всего 256 — ответы агента обрезались бы, | |
| поэтому он увеличен. is_function_calling_model=True нужен, чтобы модель принимал FunctionAgent (задача 12).""" | |
| from llama_index.llms.openrouter import OpenRouter | |
| return OpenRouter(model=model_id, api_key=_openrouter_key(api_key), temperature=temperature, | |
| max_tokens=max_tokens, context_window=context_window, is_function_calling_model=True) | |
| def agent_model(num_ctx: int = 8192 * 2): | |
| """Модель для smolagents по AGENTS_PROVIDER: локальная Ollama (по умолчанию) или OpenRouter. | |
| Используется в запускаемых скриптах (Альфред, eval-набор, прогон GAIA), чтобы переключать провайдера | |
| без правки кода. Live-тесты выбирают провайдера так же — через фикстуру live_model.""" | |
| if PROVIDER == "openrouter": | |
| return openrouter_model() | |
| if PROVIDER != "ollama": | |
| raise ValueError(f"неизвестный AGENTS_PROVIDER={PROVIDER!r}: ожидается ollama или openrouter") | |
| return smolagents_model(num_ctx=num_ctx) | |
| def langchain_model(model_id: str = MODEL_ID): | |
| """Chat-модель для LangChain/LangGraph.""" | |
| from langchain_ollama import ChatOllama | |
| return ChatOllama(model=model_id, base_url=OLLAMA_BASE_URL, temperature=0, reasoning=False) | |
| def llamaindex_llm(model_id: str = MODEL_ID): | |
| """LLM для LlamaIndex.""" | |
| from llama_index.llms.ollama import Ollama | |
| return Ollama(model=model_id, base_url=OLLAMA_BASE_URL, temperature=0, | |
| request_timeout=300, thinking=False, context_window=8192) | |
| def llamaindex_embedding(model_id: str = EMBED_MODEL_ID): | |
| """Модель эмбеддингов для LlamaIndex (`ollama pull nomic-embed-text`).""" | |
| from llama_index.embeddings.ollama import OllamaEmbedding | |
| return OllamaEmbedding(model_name=model_id, base_url=OLLAMA_BASE_URL) | |