Add files via upload

bot.py

@@ -4643,6 +4643,7 @@ async def _webhook_startup() -> None:
 
     commands = [
         BotCommand(command="start", description="О боте и список команд"),
+        BotCommand(command="reset", description="Очистить историю диалога"),
         BotCommand(command="draw", description="Нарисовать изображение по описанию"),
         BotCommand(command="tts", description="Озвучить текст"),
         BotCommand(command="imgmodel", description="Выбрать модель для генерации изображений"),

lumen_formatting.py

@@ -159,6 +159,38 @@ _BULLET_MARKER_RE = re.compile(r"^([ \t]*)[-*][ \t]+", re.MULTILINE)
 def _normalize_bullet_markers(text: str) -> str:
     return _BULLET_MARKER_RE.sub(lambda m: m.group(1) + "• ", text)
 
+# ── Markdown-заголовки "#"/"##"/"###" → **жирный текст** ────────────────────
+# РЕГРЕССИЯ, найденная при живом тестировании (18 августа 2026, реальные скриншоты
+# из Telegram): system_prompt.py прямо запрещает markdown-заголовки ("Также никогда
+# не используй markdown-заголовки (#, ##, ### и т.п.)... Для выделения структуры
+# используй жирный текст (**...**) вместо заголовков"), но модели (особенно
+# бесплатные модели OpenRouter) регулярно их всё равно пишут — то же самое
+# несоблюдение инструкции моделью, которое уже потребовало защитных сеток для
+# таблиц (_convert_markdown_tables_to_lists) и маркеров списков
+# (_normalize_bullet_markers) выше. Без скрубера здесь "### Как она выводится?"
+# уходит в Telegram буквально с "###" в начале строки — реальный найденный баг,
+# видимый на скриншотах. ATX-заголовок распознаётся по стандартному правилу
+# CommonMark: 1-6 "#" в начале строки, затем обязательно пробел/таб — это
+# исключает "C#"/"#tag" и подобные легитимные "#" не в начале строки (те тут
+# не попадают под шаблон вообще, т.к. якорь "^" требует начала строки).
+_HEADER_MARKER_RE = re.compile(r"^[ \t]*#{1,6}[ \t]+(.*)$", re.MULTILINE)
+
+def _normalize_headers(text: str) -> str:
+    def _repl(m: re.Match) -> str:
+        content = m.group(1).rstrip()
+        if not content:
+            # Голая строка из одних "#" без текста — нечего выделять жирным,
+            # просто убираем маркер целиком, а не оставляем пустую "****".
+            return ""
+        if content.startswith("**") and content.endswith("**") and len(content) > 4:
+            # Модель сама уже обернула текст заголовка в **bold** (нередкий
+            # случай — "### **Важно**") — оборачивать ЕЩЁ раз дало бы "****Важно****"
+            # и сломало бы парность звёздочек в Phase 3 ниже. Раз обёртка уже
+            # есть, только снимаем сам маркер "#", остальное не трогаем.
+            return content
+        return f"**{content}**"
+    return _HEADER_MARKER_RE.sub(_repl, text)
+
 # ── Markdown-цитаты "> текст" → Telegram <blockquote> ───────────────────────
 # Тот же принцип, что и у _normalize_bullet_markers выше: "> " — обычный
 # GFM-синтаксис цитаты, модели он известен без единого слова в system_prompt.py
@@ -229,6 +261,10 @@ def _md_to_html(text: str) -> str:
       1.4. Маркеры списков "-"/"* " → "•" (_normalize_bullet_markers) — ДО таблиц,
            чтобы строка-разделитель таблицы ("|---|---|") успела обработаться первой
            и не была принята за маркер списка.
+      1.41. Markdown-заголовки "#"/"##"/"###" → **жирный текст** (_normalize_headers) —
+            после списков (не пересекаются по синтаксису), до Phase 3, чтобы
+            получившиеся "**...**" были обработаны обычным bold-регэкспом ниже
+            на общих основаниях, а не отдельной веткой.
       1.45. Markdown-цитаты "> " → сентинелы \x00BQS\x00/\x00BQE\x00 (_convert_
             blockquotes) — сентинелы, не сразу <blockquote>, т.к. Phase 2 экранировал
             бы буквальный тег; настоящий тег подставляется после Phase 3 (см. ниже).
@@ -306,6 +342,12 @@ def _md_to_html(text: str) -> str:
     # чтобы строка-разделитель таблицы ("|---|---|") успела обработаться первой.
     text = _normalize_bullet_markers(text)
 
+    # ── Phase 1.41: markdown-заголовки "#"/"##"/"###" → **жирный текст** (см.
+    # _normalize_headers выше) — после списков, до HTML-экранирования и до Phase 3
+    # (получившийся "**...**" обрабатывается обычным bold-регэкспом на общих
+    # основаниях, отдельная ветка не нужна).
+    text = _normalize_headers(text)
+
     # ── Phase 1.45: markdown-цитаты "> " → сентинелы blockquote (см.
     # _convert_blockquotes выше) — ДО HTML-экранирования, т.к. решение "это
     # строка цитаты" принимается по буквальному "> " в начале строки; сама

lumen_router_config.py

@@ -333,6 +333,30 @@ _OR_MODEL_HEALTH: dict[str, _ModelHealthNote] = {
                "уверенность и в оставшихся двух (вторая — dolphin-mistral, уже была исключена по "
                "другой причине выше)."
     ),
+    # ── Найдено при калибровочном прогоне против Claude Sonnet 5 (18 августа 2026,
+    # реальные продакшен-логи + скриншоты Telegram) ──
+    "nvidia/nemotron-nano-9b-v2:free": _ModelHealthNote(
+        reason="ПОДТВЕРЖДЕНО ПО РЕАЛЬНЫМ ЛОГАМ ПРОДА И СКРИНШОТАМ (18 августа 2026): стояла первой в "
+               "_OR_LIGHT_ORDER и реально ответила на 37 из 45 (82%) успешных лёгких текстовых запросов "
+               "за сессию — но КАЖДЫЙ развёрнутый ответ (2+ предложения) содержал грубую порчу текста: "
+               "случайные фрагменты слов из десятка не относящихся к разговору языков, вклиненные "
+               "прямо ВНУТРЬ русских слов и предложений (подтверждённые примеры из одной сессии: "
+               "испанское 'modelo' вместо 'модель', португальское 'mesmo'/'ambiental', французское "
+               "'sommet'/'fermer'/'pente'/'Série', арабское 'زراعة' и 'دان', корейское '택' и '종료', "
+               "китайское '欧洲' и '諜', японская катакана 'キュ', деванагари 'कंपनी', вьетнамское "
+               "'tiền', итальянское 'militarizzazione', полностью вымышленное имя сооснователя "
+               "Anthropic 'lagoo Isaacs' вместо реальных Дарио/Дэниэлы Амодей, и медицинский термин "
+               "'carcinogenesis', случайно подставленный вместо слова 'убийство' в разборе причин "
+               "Первой мировой войны). Модель НЕ мертва технически (не 404, отвечает и тратит "
+               "заметную часть бесплатного дневного лимита), но выдаёт продакшен-трафику постоянно "
+               "испорченный на нечитаемость текст — тот самый класс проблемы, ради которого этот "
+               "реестр уже исключает uncensored/некачественные модели (см. dolphin-mistral выше), а "
+               "не только официально снятые с тарифа. Дополнительно (не решающий, но подтверждающий "
+               "аргумент): вопреки размеру 'nano'/9B и позиции головы 'лёгкой' цепочки, реальные "
+               "длительности стриминга по логам — от 12 до 92 секунд на ответ, то есть заметно "
+               "медленнее, чем у более крупных моделей дальше по списку — таблоид-эффект 'самая "
+               "быстрая и лёгкая' на практике не подтвердился ни разу за сессию."
+    ),
 }
 
 # Вычисляется ИЗ _OR_MODEL_HEALTH выше — единственное место, где решается, какие
@@ -387,11 +411,13 @@ def _gemini_route(models: list[str]) -> list[tuple[str, str]]:
 #   мелкие модели ниже в цепочке дадут похожие инциденты, тогда стоит
 #   рассмотреть полное исключение, а не просто понижение приоритета.
 #
-# Модели, убранные из списка целиком (провайдер снял с бесплатного тира или
-# слаг подтверждённо не обслуживается — полные причины и даты см. в
-# _OR_MODEL_HEALTH выше): meta-llama/llama-3.3-70b-instruct, qwen/qwen3-next-
-# 80b-a3b-instruct, z-ai/glm-4.5-air, meta-llama/llama-3.2-3b-instruct,
-# liquid/lfm-2.5-1.2b-instruct.
+# Модели, убранные из списка целиком (провайдер снял с бесплатного тира, слаг
+# подтверждённо не обслуживается, или подтверждена грубая порча текста — полные
+# причины и даты см. в _OR_MODEL_HEALTH выше): meta-llama/llama-3.3-70b-instruct,
+# qwen/qwen3-next-80b-a3b-instruct, z-ai/glm-4.5-air, meta-llama/llama-3.2-3b-
+# instruct, liquid/lfm-2.5-1.2b-instruct, nvidia/nemotron-nano-9b-v2 (стояла
+# первой здесь — см. подробный разбор порчи текста на реальном трафике в записи
+# реестра выше, калибровка 18 августа 2026).
 #
 # nemotron-3.5-lightning ДОБАВЛЕНА (аудит моделей, 17 августа 2026, по
 # актуальному "Top Weekly free" каталогу OpenRouter): 30B MoE (3B активных),
@@ -400,8 +426,14 @@ def _gemini_route(models: list[str]) -> list[tuple[str, str]]:
 # Вышла всего неделю назад (11 августа 2026) — калибровочного сравнения с
 # Claude Sonnet ещё не было ни разу, поэтому поставлена последней перед
 # generic-резервом, а не выше уже проверенных калибровкой моделей.
+#
+# ПОСЛЕ ИСКЛЮЧЕНИЯ nemotron-nano-9b-v2 (см. выше) ling-3.0-flash становится
+# НОВОЙ головой списка — ни разу не поймана в порче текста в той же сессии
+# логов, но и калибровочного сравнения с Claude Sonnet у неё тоже пока не было
+# (см. её же комментарий в докстринге секции ниже про 1.49T токенов/неделю).
+# Стоит присмотреться к первым реальным ответам именно в этой новой роли головы
+# списка — если порча обнаружится и там, кандидат на аналогичное исключение.
 _OR_LIGHT_ORDER: list[str] = [
-    "nvidia/nemotron-nano-9b-v2:free",
     "inclusionai/ling-3.0-flash:free",
     "nvidia/nemotron-3-nano-30b-a3b:free",
     "openai/gpt-oss-20b:free",

test_lumen_formatting.py

@@ -256,6 +256,59 @@ def test_md_to_html_full_pipeline_converts_bullet_list_with_bold():
     assert "*" not in result.replace("</b>", "").replace("<b>", "")
 
 
+# ─────────────── markdown-заголовки "#"/"##"/"###" → **жирный текст** ───────────────
+# РЕГРЕССИЯ, найденная на реальных скриншотах Telegram (18 августа 2026):
+# system_prompt.py запрещает markdown-заголовки, но модели (особенно бесплатные
+# модели OpenRouter) регулярно их всё равно пишут — раньше "###" уходило в
+# Telegram буквально, без единой защитной сетки (в отличие от таблиц/списков).
+
+def test_normalize_headers_converts_h3_to_bold():
+    assert lumen_formatting._normalize_headers("### Как она выводится?") == "**Как она выводится?**"
+
+
+def test_normalize_headers_converts_h1_and_h2():
+    assert lumen_formatting._normalize_headers("# Заголовок") == "**Заголовок**"
+    assert lumen_formatting._normalize_headers("## Подзаголовок") == "**Подзаголовок**"
+
+
+def test_normalize_headers_does_not_touch_hash_mid_line():
+    # "C#" / "#tag" не в начале строки — ATX-заголовок ТОЛЬКО в начале строки.
+    text = "Язык C# отличается от C++.\nПодробнее: #tag"
+    assert lumen_formatting._normalize_headers(text) == text
+
+
+def test_normalize_headers_requires_space_after_hashes():
+    # "#без_пробела" — не заголовок по правилам CommonMark ATX, не трогаем.
+    assert lumen_formatting._normalize_headers("#без_пробела текст") == "#без_пробела текст"
+
+
+def test_normalize_headers_bare_hashes_with_no_text_removed():
+    assert lumen_formatting._normalize_headers("### \nследующая строка") == "\nследующая строка"
+
+
+def test_normalize_headers_does_not_double_wrap_already_bold_content():
+    # "### **Важно**" — модель сама уже обернула текст в bold; повторная обёртка
+    # дала бы "****Важно****" и сломала бы парность "**" в Phase 3.
+    assert lumen_formatting._normalize_headers("### **Важно**") == "**Важно**"
+
+
+def test_md_to_html_full_pipeline_strips_stray_header_markers():
+    # Регрессия на реальный найденный баг: пользователь видел буквальные "###" в
+    # сообщении бота вместо жирного текста — полный конвейер должен это исправлять.
+    result = lumen_formatting._md_to_html("### Как она выводится?\nобычный текст")
+    assert "###" not in result
+    assert result.startswith("<b>Как она выводится?</b>")
+
+
+def test_md_to_html_header_hash_inside_code_block_untouched():
+    # "#" внутри блока кода (например, комментарий Python) не должен считаться
+    # заголовком — код уже вынесен плейсхолдером до этой фазы.
+    text = "```python\n# обычный комментарий\nprint(1)\n```"
+    result = lumen_formatting._md_to_html(text)
+    assert "# обычный комментарий" in result
+    assert "<b>" not in result
+
+
 # ─────────────────── spoiler-тег: защитная сетка (тот же принцип, что <u>) ───────────────────
 
 def test_md_to_html_strips_literal_spoiler_tag():

test_lumen_router_config.py

@@ -232,6 +232,19 @@ def test_or_light_order_no_longer_starts_with_dead_or_worst_offender_models():
     assert lumen_router_config._OR_LIGHT_ORDER[0] not in {"openai/gpt-oss-20b:free", "nvidia/nemotron-3-nano-30b-a3b:free"}
 
 
+def test_nemotron_nano_9b_v2_excluded_after_calibration_run():
+    # РЕГРЕССИЯ (калибровочный прогон против Claude Sonnet 5, 18 августа 2026):
+    # раньше стояла ПЕРВОЙ в _OR_LIGHT_ORDER и реально отвечала на 82% лёгких
+    # текстовых запросов сессии — каждый развёрнутый ответ содержал грубую порчу
+    # текста (случайные фрагменты слов на десятке не относящихся к разговору
+    # языков внутри русских предложений, см. полный разбор в _OR_MODEL_HEALTH).
+    assert "nvidia/nemotron-nano-9b-v2:free" in lumen_router_config._ROUTER_EXCLUDED_OR_MODELS
+    assert "nvidia/nemotron-nano-9b-v2:free" not in lumen_router_config._OR_LIGHT_ORDER
+    assert lumen_router_config._OR_MODEL_HEALTH["nvidia/nemotron-nano-9b-v2:free"].reason
+    route = lumen_router_config._or_route(["nvidia/nemotron-nano-9b-v2:free", "inclusionai/ling-3.0-flash:free"])
+    assert [m for _, m in route] == ["inclusionai/ling-3.0-flash:free"]
+
+
 # ─────────────────── единый реестр "нездоровых" моделей OpenRouter (аудит техдолга) ───────────────────
 # Раньше "эта модель сейчас плохая" отслеживалось тремя независимыми механизмами
 # (_TEMPORARY_FREE_MODELS/_ROUTER_EXCLUDED_OR_MODELS/точечные вычёркивания из