Fix ttf EMA pollution, quota log, explicit url_context, dynamic freshness years, transcribe cap (A2-4, A2-10..A2-13)

lumen_model_speed.py

@@ -42,14 +42,17 @@ def expected_total_sec(key: str) -> float:
 
 
 def record_response(key: str, *, total_sec: float, ttf_sec: float | None = None) -> None:
-    """Учесть один УСПЕШНЫЙ ответ. Без ttf_sec подставляется total_sec, неположительные замеры игнорируются."""
+    """Учесть один УСПЕШНЫЙ ответ. Без ttf_sec (нестриминговый ответ первого куска
+    не видел) ttf-EMA не трогаем: подстановка total завышала first_chunk_limit,
+    и зависшая голова держалась дольше. Неположительные замеры игнорируются."""
     if total_sec <= 0:
         return
+    prev = _latency_ema.get(key)
     if ttf_sec is None or ttf_sec <= 0:
-        ttf_sec = total_sec
-    obs_ttf = max(_MIN_TTF_SEC, min(_MAX_TTF_SEC, ttf_sec))
+        obs_ttf = prev[0] if prev is not None else _DEFAULT_TTF_SEC
+    else:
+        obs_ttf = max(_MIN_TTF_SEC, min(_MAX_TTF_SEC, ttf_sec))
     obs_total = max(_MIN_TOTAL_SEC, min(_MAX_TOTAL_SEC, total_sec))
-    prev = _latency_ema.get(key)
     if prev is None:
         _latency_ema[key] = (obs_ttf, obs_total)
     else:

lumen_router_config.py

@@ -53,30 +53,30 @@ GEMINI_MODELS: dict[str, dict[str, Any]] = {
     # Быстрая и экономичная (21.07.2026, до 350 токенов/сек).
     "gemini-3.5-flash-lite": {
         "stream": True,
-        "search_grounding": False, "map_grounding": True,
+        "search_grounding": False, "map_grounding": True, "url_context": True,
     },
     # Резерв после 3.5 Flash-Lite.
     "gemini-3.1-flash-lite": {
         "stream": True,
-        "search_grounding": False, "map_grounding": True,
+        "search_grounding": False, "map_grounding": True, "url_context": True,
     },
     # Баланс скорости и качества. Единственное поколение с квотой search grounding (21/1500).
     "gemini-2.5-flash": {
         "stream": True,
-        "search_grounding": True, "map_grounding": True,
+        "search_grounding": True, "map_grounding": True, "url_context": True,
     },
     # Экономичная: скорость важнее глубины рассуждений.
     "gemini-2.5-flash-lite": {
         "stream": True,
-        "search_grounding": True, "map_grounding": True,
+        "search_grounding": True, "map_grounding": True, "url_context": True,
     },
     "gemma-4-31b-it": {
-        "no_system": True, "no_search": True, "stream": True,
+        "no_system": True, "no_search": True, "stream": True, "url_context": True,
     },
     "gemma-4-26b-a4b-it": {
         "no_system": True,
         # 24.07.2026: без no_search Gemma получала бы инструменты, которых не поддерживает.
-        "no_search": True, "stream": True,
+        "no_search": True, "stream": True, "url_context": True,
     },
 }
 DEFAULT_GEMINI_MODEL = "gemini-3.8-flash"
@@ -259,7 +259,10 @@ def _is_quota_exhausted(provider: str, model_id: str) -> bool:
             return True
         cooldown_until = entry.get("cooldown_until")
         return bool(cooldown_until and cooldown_until > time.time())
-    except Exception:
+    except Exception as exc:
+        # Битое состояние квоты чиним видимой ошибкой в логе, а не молчаливыми
+        # лишними попытками: fail-open здесь — пропуск фильтра.
+        log.warning("[router] Quota state unreadable, treating %s/%s as available: %s", provider, model_id, exc)
         return False
 
 def _skip_exhausted(provider: str, models: list[str]) -> list[str]:
@@ -395,6 +398,8 @@ def _looks_like_heavy_query(text: str) -> bool:
 
 # ── Эвристика свежести без LLM.
 # Ложные срабатывания дёшевы: модель сама решает, вызывать ли поиск.
+# Годы свежести — окном от текущей даты, а не зашитым диапазоном (иначе протухает).
+_FRESHNESS_YEAR_ALTS = "|".join(str(date.today().year + i) for i in range(4))
 _FRESHNESS_QUERY_RE = re.compile(
     r"сейчас|сегодня|текущ\w*|последн\w*|актуальн\w*|свеж\w*|недавно|на\s+данный\s+момент"
     r"|новост\w*|курс\s+(валют|доллара|евро|рубл\w*)|погод\w*|прогноз\w*"
@@ -406,7 +411,7 @@ _FRESHNESS_QUERY_RE = re.compile(
     r"|кто\s+(сейчас|является|президент|премьер|глава|ceo|мэр)"
     r"|результат\w*\s+(матч\w*|игр\w*|выбор\w*)"
     r"|в\s+эт(ом|ой)\s+(году|месяце|неделе)"
-    r"|\b202[6-9]\b"
+    rf"|\b(?:{_FRESHNESS_YEAR_ALTS})\b"
     # EN-набор: детект был только русским при 25 языках (внешний аудит). Границы слов обязательны: now ловил know/snow.
     r"|\bnow\b|\btoday\b|current\w*|latest|recent\w*|\bbreaking\b"
     r"|\bnews\b|weather|forecast|price\w*|\bcost\w*|how\s+much|exchange|\bscore\w*|schedule"

lumen_routes.py

@@ -39,6 +39,9 @@ from lumen_security import _scrub_identity_leak
 
 # Транскрипт длинного войса режем сверху — иначе маршрут ниже упрётся в лимиты моделей.
 _TRANSCRIPT_MAX_CHARS = 4000
+# Транскрибация не должна съедать весь бюджет маршрута: войсы короткие (до
+# VOICE_TRANSCRIBE_MAX_BYTES), turbo-модель отвечает секундами — остаток оставляем модели.
+_TRANSCRIBE_TIMEOUT_SEC = 15.0
 
 log = logging.getLogger("bot")
 
@@ -351,7 +354,7 @@ async def _transcribe_audio(audio_bytes: bytes, mime: str, chat_id: int, deadlin
             f"{bot.GROQ_BASE_URL}/audio/transcriptions",
             headers={"Authorization": f"Bearer {bot.GROQ_API_KEY}"},
             data=form,
-            timeout=aiohttp.ClientTimeout(total=_attempt_timeout(bot, deadline), connect=10.0),
+            timeout=aiohttp.ClientTimeout(total=min(_attempt_timeout(bot, deadline), _TRANSCRIBE_TIMEOUT_SEC), connect=10.0),
         ) as resp:
             if resp.status >= 400:
                 body = await resp.read()

tests/test_bot_routes.py

@@ -1485,6 +1485,43 @@ def test_transcribe_audio_uses_remaining_budget_not_full_timeout(monkeypatch):
     assert captured["timeout"].total < bot.ROUTE_MODEL_TIMEOUT_SEC
 
 
+def test_transcribe_audio_capped_by_own_limit(monkeypatch):
+    # Аудит A2-12: транскрибация ждала остаток всего бюджета и морила модель —
+    # теперь отдельный меньший лимит поверх остатка.
+    import lumen_routes
+    captured = {}
+
+    class _FakeResp:
+        status = 200
+
+        async def __aenter__(self):
+            return self
+
+        async def __aexit__(self, *args):
+            return False
+
+        async def read(self):
+            return b"{}"
+
+        async def json(self, content_type=None):
+            return {"text": "привет"}
+
+    class _FakeSession:
+        def post(self, *args, **kwargs):
+            captured["timeout"] = kwargs.get("timeout")
+            return _FakeResp()
+
+    async def fake_get_http_session():
+        return _FakeSession()
+
+    monkeypatch.setattr(bot, "_get_http_session", fake_get_http_session)
+    monkeypatch.setattr(bot, "GROQ_API_KEY", "fake-key")
+    text = asyncio.run(bot._transcribe_audio(b"ogg-bytes", "audio/ogg", 123, deadline=time.monotonic() + 1000.0))
+    assert text == "привет"
+    assert captured["timeout"].total <= lumen_routes._TRANSCRIBE_TIMEOUT_SEC
+    assert captured["timeout"].total < bot.ROUTE_MODEL_TIMEOUT_SEC
+
+
 def test_ask_openrouter_text_trims_history_with_summary_not_silent_cut(monkeypatch):
     # Аудит A4-05: история резалась молчаливым срезом вместо _trim_history с саммари.
     import lumen_chat_state

tests/test_lumen_model_speed.py

@@ -47,11 +47,16 @@ def test_record_response_clamps_outliers_and_ignores_garbage():
     assert lumen_model_speed.expected_ttf_sec(key) == lumen_model_speed._MAX_TTF_SEC
 
 
-def test_record_response_defaults_ttf_to_total():
+def test_record_response_without_ttf_keeps_ttf_ema():
+    # Аудит A2-4: нестриминговый ответ первого куска не видел — подстановка total
+    # в ttf-EMA завышала first_chunk_limit, зависшая голова держалась дольше.
     _reset()
     key = lumen_model_speed.speed_key("openrouter", "m:free")
     lumen_model_speed.record_response(key, total_sec=30.0)
-    assert lumen_model_speed.expected_ttf_sec(key) == 30.0
+    assert lumen_model_speed.expected_ttf_sec(key) == lumen_model_speed._DEFAULT_TTF_SEC
+    lumen_model_speed.record_response(key, total_sec=6.0, ttf_sec=2.0)
+    lumen_model_speed.record_response(key, total_sec=80.0)
+    assert lumen_model_speed.expected_ttf_sec(key) < 10.0
 
 
 def test_first_chunk_limit_respects_floor_and_adapts():

tests/test_lumen_router_config.py

@@ -20,6 +20,7 @@ logger="bot") ниже продолжает работать так же, как
     pytest test_lumen_router_config.py -v
 """
 import lumen_router_config
+from datetime import date
 
 
 
@@ -695,3 +696,30 @@ def test_successful_usage_clears_exhausted_mark():
         assert [m for _, m in lumen_router_config._or_route(["probe/recover:free"])] == ["probe/recover:free"]
     finally:
         bot.GLOBAL_QUOTA["openrouter"].pop("probe/recover:free", None)
+
+
+def test_all_gemini_models_declare_url_context_explicitly():
+    # Аудит A2-11: дефолт True в conf.get давал инструмент молча — теперь ключ
+    # прописан явно у каждой модели (поведение то же, намерение видно).
+    missing = [m for m, c in lumen_router_config.GEMINI_MODELS.items() if "url_context" not in c]
+    assert missing == []
+
+
+def test_freshness_year_window_tracks_current_year():
+    # Аудит A2-13: зашитый 202[6-9] протухал в 2030 — окно строится от текущей даты.
+    assert str(date.today().year) in lumen_router_config._FRESHNESS_QUERY_RE.pattern
+    assert lumen_router_config._looks_like_freshness_query("вспомним 2039 год") is False
+
+
+def test_quota_exhausted_logs_broken_state_loudly(monkeypatch, caplog):
+    # Аудит A2-10: битое состояние квоты раньше давало молчаливый fail-open.
+    import bot
+
+    class _BrokenQuota(dict):
+        def get(self, *args, **kwargs):
+            raise RuntimeError("boom")
+
+    monkeypatch.setattr(bot, "GLOBAL_QUOTA", _BrokenQuota())
+    with caplog.at_level("WARNING", logger="bot"):
+        assert lumen_router_config._is_quota_exhausted("openrouter", "m") is False
+    assert "Quota state unreadable" in caplog.text