gaia-agent / common /models.py
solarianofc's picture
GAIA agent for the HF Agents Course final assignment
da6c735 verified
Raw History Blame Contribute Delete
7.37 kB
"""Фабрики «настоящих» моделей для live-режима. Готовый код, менять не нужно.
Локальные модели — через Ollama, облачные — через OpenRouter (smolagents, LangGraph/LangChain, LlamaIndex).
Настройка через переменные окружения:
OLLAMA_BASE_URL (по умолчанию http://127.0.0.1:11434)
AGENTS_MODEL (по умолчанию qwen3.5:9b)
AGENTS_EMBED_MODEL (по умолчанию nomic-embed-text, нужен только в задачах про LlamaIndex)
AGENTS_PROVIDER "ollama" (по умолчанию) или "openrouter": что вернёт agent_model()
OPENROUTER_API_KEY ключ с https://openrouter.ai/keys
OPENROUTER_MODEL (по умолчанию minimax/minimax-m3.1-flash:free)
Переменные можно положить в .env в корне проекта — он загружается автоматически (python-dotenv);
уже выставленные в окружении значения важнее .env. Не коммить .env: он в .gitignore.
Пример в PowerShell:
$env:AGENTS_MODEL = "qwen3.5:9b"
$env:AGENTS_PROVIDER = "openrouter"; $env:OPENROUTER_API_KEY = "sk-or-..."
"""
from __future__ import annotations
import os
from pathlib import Path
import httpx
from dotenv import load_dotenv
load_dotenv(Path(__file__).resolve().parent.parent / ".env", override=False)
OLLAMA_BASE_URL = os.environ.get("OLLAMA_BASE_URL", "http://127.0.0.1:11434")
MODEL_ID = os.environ.get("AGENTS_MODEL", "qwen3.5:9b")
EMBED_MODEL_ID = os.environ.get("AGENTS_EMBED_MODEL", "nomic-embed-text")
PROVIDER = os.environ.get("AGENTS_PROVIDER", "ollama").lower()
# Бесплатные модели (":free") — 50 запросов в день, после разового пополнения на $10 — 1000.
# Набор бесплатных моделей на OpenRouter часто меняется; если эта пропала, выбери другую с поддержкой tools:
# https://openrouter.ai/models?supported_parameters=tools . Недорогие платные варианты (октябрь 2026):
# "deepseek/deepseek-v4-flash", "qwen/qwen3.6-35b-a3b", "openai/gpt-oss-120b".
OPENROUTER_MODEL_ID = os.environ.get("OPENROUTER_MODEL", "nvidia/nemotron-3-ultra-550b-a55b:free")
OPENROUTER_BASE_URL = "https://openrouter.ai/api/v1"
def ollama_available(model_id: str = MODEL_ID) -> bool:
"""True, если Ollama запущена и нужная модель скачана (`ollama pull <model>`)."""
try:
tags = httpx.get(f"{OLLAMA_BASE_URL}/api/tags", timeout=3).json()
except (httpx.HTTPError, ValueError):
return False
names = {m["name"] for m in tags.get("models", [])}
return model_id in names or f"{model_id}:latest" in names
def smolagents_model(model_id: str = MODEL_ID, num_ctx: int = 8192 * 2):
"""Модель для smolagents (как в твоём main.py)."""
from smolagents import LiteLLMModel
return LiteLLMModel(
model_id=f"ollama_chat/{model_id}",
api_base=OLLAMA_BASE_URL,
num_ctx=num_ctx,
temperature=0,
flatten_messages_as_text=False,
)
def _openrouter_key(api_key: str | None) -> str:
api_key = api_key or os.environ.get("OPENROUTER_API_KEY")
if not api_key:
raise RuntimeError(
"Нет ключа OpenRouter: создай его на https://openrouter.ai/keys и выполни "
'$env:OPENROUTER_API_KEY = "sk-or-..." (или передай api_key=...)')
return api_key
def openrouter_model(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None, temperature: float = 0):
"""Облачная модель для smolagents через OpenRouter (LiteLLM).
Ключ берётся из аргумента или из переменной OPENROUTER_API_KEY. Не храни его в коде и не коммить.
"""
from smolagents import LiteLLMModel
return LiteLLMModel(model_id=f"openrouter/{model_id}", api_key=_openrouter_key(api_key), temperature=temperature)
def openrouter_langchain_model(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None,
temperature: float = 0):
"""Облачная chat-модель для LangChain/LangGraph: OpenRouter совместим с API OpenAI, поэтому ChatOpenAI.
Поддерживает bind_tools, то есть подходит и для ToolNode из задачи 14."""
from langchain_openai import ChatOpenAI
return ChatOpenAI(model=model_id, base_url=OPENROUTER_BASE_URL, api_key=_openrouter_key(api_key),
temperature=temperature)
def openrouter_llamaindex_llm(model_id: str = OPENROUTER_MODEL_ID, api_key: str | None = None,
temperature: float = 0, max_tokens: int = 4096, context_window: int = 32768):
"""Облачная LLM для LlamaIndex. У интеграции max_tokens по умолчанию всего 256 — ответы агента обрезались бы,
поэтому он увеличен. is_function_calling_model=True нужен, чтобы модель принимал FunctionAgent (задача 12)."""
from llama_index.llms.openrouter import OpenRouter
return OpenRouter(model=model_id, api_key=_openrouter_key(api_key), temperature=temperature,
max_tokens=max_tokens, context_window=context_window, is_function_calling_model=True)
def agent_model(num_ctx: int = 8192 * 2):
"""Модель для smolagents по AGENTS_PROVIDER: локальная Ollama (по умолчанию) или OpenRouter.
Используется в запускаемых скриптах (Альфред, eval-набор, прогон GAIA), чтобы переключать провайдера
без правки кода. Live-тесты выбирают провайдера так же — через фикстуру live_model."""
if PROVIDER == "openrouter":
return openrouter_model()
if PROVIDER != "ollama":
raise ValueError(f"неизвестный AGENTS_PROVIDER={PROVIDER!r}: ожидается ollama или openrouter")
return smolagents_model(num_ctx=num_ctx)
def langchain_model(model_id: str = MODEL_ID):
"""Chat-модель для LangChain/LangGraph."""
from langchain_ollama import ChatOllama
return ChatOllama(model=model_id, base_url=OLLAMA_BASE_URL, temperature=0, reasoning=False)
def llamaindex_llm(model_id: str = MODEL_ID):
"""LLM для LlamaIndex."""
from llama_index.llms.ollama import Ollama
return Ollama(model=model_id, base_url=OLLAMA_BASE_URL, temperature=0,
request_timeout=300, thinking=False, context_window=8192)
def llamaindex_embedding(model_id: str = EMBED_MODEL_ID):
"""Модель эмбеддингов для LlamaIndex (`ollama pull nomic-embed-text`)."""
from llama_index.embeddings.ollama import OllamaEmbedding
return OllamaEmbedding(model_name=model_id, base_url=OLLAMA_BASE_URL)