hermes-hub/agents/inbox/2026-08-31-A52-local-model-supervisor.md

Задание A52: локальные модели — замена, надзиратель, пара кодеров с облачным судьёй

Дата поступления

2026-08-31 (переработано в тот же день: добавлены части 1 и 3)

База

origin/main (17b368a).

git fetch origin --prune
git checkout -b antigravity/a52-local-models origin/main

В main напрямую не пушить.

Порядок исполнения

Два прохода: Flash исполняет, Pro проводит аудит. Пункт P0-10 написан для аудитора.

Задание из трёх частей, и они идут строго по порядку:

Часть 1  замена моделей и замеры      сдаётся отдельно, дальше по её числам
Часть 2  надзиратель локальных моделей
Часть 3  пара кодеров и облачный судья

Часть 3 планировать по измеренным числам части 1, а не заранее: без замера видеопамяти схема не проверяема.

Связано с A49 (расстановка субагентов и память) и A51 (аккаунт реально используется). Выполнять после них: надзирателю нужны и место в графе, и работающее назначение.

---

Что проверено ревьюером — заново не выяснять

Видеопамять занята почти полностью

Qwen3.8-27B кодер   @196K   25 488 МиБ
qwen3-4b компрессор @32K     5 368 МиБ
                            ──────────
                            30 856 из 32 768   свободно 1 912

Измерено у кандидатов (A45, файлы и контрольные суммы сверены по диску)

Qwen3-Coder-30B-A3B  @64K  21 368 МиБ  109,6 ток/с  83,3%  MoE 30B/3B
Qwen3-Coder-30B-A3B  @32K  19 640 МиБ  110,2 ток/с
Qwen2.5-Coder-32B    @64K  27 938 МиБ   29,3 ток/с  83,3%  плотная

Расход контекста у Qwen3-Coder — около 54 КиБ на токен.

Качество на стенде из 12 задач (A40, признано)

Phi-4-14B          83,3%   файл 8,28 ГиБ
Qwen2.5-Coder-14B  75,0%   файл 8,37 ГиБ
Qwen3-4B-2507      83,3%   файл 2,33 ГиБ
Granite-4.2-8B     66,7%   файл 5,16 ГиБ

Расход видеопамяти у 14B при 64К не измерен ни разу. В A45 их не было, столбец VRAM из A40 непригоден: он собрал занятость всей карты, а не процесса.

Процессор годится для служебных ролей

Замер ревьюера, 32 потока из 72, AVX2:

LFM2.5-2.6B   промпт 1150,8 ток/с   генерация 13,4 ток/с
Qwen3-4B      промпт  854,2 ток/с   генерация  8,7 ток/с

Обработка промпта на процессоре быстрая, генерация медленная: она упирается в память и идёт последовательно.

Сервер отдаёт всё нужное для честной работы

Проверено на живом 127.0.0.1:8081:

GET  /props     → default_generation_settings.n_ctx = 196608, total_slots = 1
POST /tokenize  → точное число токенов («def add(a, b): return a + b» = 10)

Предел контекста и размер задания измеряются, а не прикидываются.

Чего в коде нет

разбиения задачи на части — нет
подсчёта токенов для планирования — нет; format_token_count только для показа
model_registry.context_window = 128000 — статическое умолчание,
  а у модели владельца 196608
llama-swap — только ttl, групп нет: держать две модели резидентно не станет

Поправка к постановке владельца

Оркестратор не переставал давать задачи локальной модели:

local_adapter.classify_error: "timeout", "timed out", "502", "503", "504"
  → ErrorCategory.TRANSIENT, retry_delay_seconds=2

Профиль не помечается исчерпанным и из цепочки не выбывает. Происходит другое: на каждом запросе локальная модель забирает отведённые Hermes 180 секунд, не успевает, и работу доделывает следующий в цепочке — платный. Чинить надо подачу работы, а не возврат в цепочку.

Физика, которую нельзя обойти

Две модели на одной V100 не работают вдвое быстрее. Генерация упирается в пропускную способность памяти; две модели делят одну полосу. Вместе они выдадут примерно столько же, сколько одна.

Значит «параллельно» здесь означает два независимых решения, а не выигрыш во времени. Ускорение в интерфейсе обещать нельзя.

Оговорка: у MoE активны три миллиарда из тридцати, полосу они едят иначе. Два MoE могут ужиться лучше — это гипотеза, её измеряют, а не закладывают.

---

Часть 1. Замена моделей и замеры

P0-1. Заменить кодер

Поставить Qwen3-Coder-30B-A3B-Instruct-Q4_K_M вместо Qwen3.8-27B.

Основание измерено: 109,6 против 30,3 ток/с, то же качество 83,3%, и на 4 ГиБ меньше.

1. Контекст не ниже 65536 — порог отбора у Hermes.
2. Условия запуска взять у нынешнего юнита: --flash-attn on, --cache-type-k/v q8_0, --reasoning off, --parallel 1.
3. Прежний юнит сохранить; откат одной командой описать и проверить.
4. Скорость и видеопамять замерить на живой службе, а не переносить из A45.

P0-2. Заменить компрессор

Поставить LFM2.5-2.6B вместо Qwen3-4B на порт 8082.

1. Сначала замерить качество сжатия на том же наборе, что у нынешнего. Быстрее — не значит лучше; сожмёт хуже, замену не делать и так и написать.
2. Рассмотреть запуск на процессоре (-ngl 0): освобождает видеопамять, а сжатие — чтение многого и запись малого, где процессор силён. Замерить оба варианта и дать владельцу числа для решения.

P0-3. Измерить кандидатов в пару

Замерить расход видеопамяти по процессу при 64К для Phi-4-14B, Qwen2.5-Coder-14B, Qwen3-4B-2507, Granite-4.2-8B — через nvidia-smi --query-compute-apps=pid,used_memory, а не по занятости карты.

Затем проверить запуском, какие пары помещаются вместе с компрессором в 32 768 МиБ. Не расчётом.

Отдельно замерить, что происходит со скоростью при одновременной работе двух моделей: суммарная выработка против одиночной. Это проверка утверждения о полосе памяти, и её результат решает, имеет ли смысл держать пару резидентно.

Часть 1 сдаётся отдельно.

---

Часть 2. Надзиратель локальных моделей

Владелец: «если выбирается локальная модель, должен появляться субагент, который мониторит подачу работы. Если у модели не хватает контекста, он разбивает задачу на куски и подаёт, пока не заработает. Потом формирует память, какой объём давать модели».

P0-4. Роль надзирателя

1. Новая каноническая роль local-supervisor в реестре.
2. Включается автоматически, когда выбранный профиль локальный (local, llama.cpp, ollama, vllm). Вручную назначать не нужно.
3. Не встаёт между ролью и платным провайдером.
4. Надзиратель — не модель, а распорядитель. Считает, режет, подаёт, наблюдает; работу делает локальная модель. Тратить на него платный вызов нельзя.

Основная его работа — счёт и разбор, а не рассуждение: токены считает /tokenize, предел даёт /props, границы кусков определяются разбором кода. Ставить сюда слабую модель значит сделать надзирателя менее надёжным.

P0-5. Замер перед подачей, а не догадка

1. Предел контекста брать у живого сервера через /props. Умолчание model_registry = 128000 к модели владельца отношения не имеет.
2. Размер задания считать через /tokenize — точно. Оценка по символам допустима только запасным путём и должна быть помечена как оценка.
3. Учитывать место под ответ: в контекст входят задание, история и ожидаемый ответ. Запас обосновать.
4. Не выдумывать пределы. Сервер не ответил — так и записать.

P0-6. Разбиение и подача

1. Помещается — подавать целиком. Резать без нужды вредно: теряется связность.
2. Не помещается — резать по смысловым границам: файл, функция, класс, раздел. Посреди выражения — нельзя.
3. Подавать последовательно, передавая накопленный результат, и собирать ответ.
4. Неделимая задача — честный отказ, а не разрез наугад.
5. Число попыток ограничено и настраивается. Бесконечный цикл на единственной видеокарте недопустим.
6. После исчерпания попыток — отказ с причиной, дальше обычная отказоустойчивость. Надзиратель не прячет неудачу, удерживая работу на локальной модели любой ценой.

P0-7. Наблюдение за ходом

1. Видеть, что модель работает, а не висит: поток ответа или тайминги сервера.
2. Различать три исхода: успел, не успел, ответил ошибкой. Сейчас всё сваливается в «таймаут».
3. Показывать ход на «Обзоре»: какой кусок из скольких, сколько токенов подано.
4. Отдельно ловить случай A39: весь лимит ушёл на рассуждения, ответа нет. Измерено: 1500 токенов за 111 секунд и ноль символов ответа; с enable_thinking: false — ответ за 11 секунд. Признак — пустой ответ при полном расходе лимита; лечится request_options, механизм есть после A39.

P0-8. Память: какой объём модель тянет

1. Записывать по каждой модели: при каком размере получался ответ, при каком нет, сколько занимало, какой кусок оказался рабочим.
2. Хранить в общей памяти (/srv/projects/AI-Memory, структура после A47). Запись подписывается: модель, когда, по какому заданию.
3. Использовать при следующей подаче: начинать с размера, который уже работал.
4. Привязывать к имени сборки из метаданных GGUF, а не к порту или имени профиля. Урок Tiel-Coder: в файле оказалась Ornith-1.5-35B.
5. Показывать во вкладке «Память» надзирателя, что он усвоил.

---

Часть 3. Пара кодеров и облачный судья

Планировать по числам части 1.

P0-9. Схема и её цена

задание → Кодер A (локальный)  ┐
        → Кодер B (локальный)  ┘→ судья (облачная модель)
                                    ├ принято → дальше по конвейеру
                                    └ не принято → обоим на доработку

1. Кодеры не видят работу друг друга до суда. Иначе второе решение не независимо и смысл теряется.
2. Судья облачный, видеопамяти не занимает. Это роль developer-2 существующего конвейера; модель задаёт владелец в интерфейсе — зашивать имя модели или провайдера в код нельзя.
3. Судья получает задание и оба решения, возвращает: какое принято либо что доработать каждому.
4. Ревьюер остаётся на своём месте после судьи; конвейер не переделывать.
5. Пара включается настройкой; возврат к одному кодеру возможен.

Предел итераций обязателен. Круг «пока не сделают правильно» тратит платную квоту судьи на каждом обороте.

6. Предел кругов настраивается, умолчание обосновать. Механизм ограничения итераций в конвейере уже есть — использовать его.
7. Показывать номер круга.
8. Круги исчерпаны — честный отказ с последним состоянием обеих работ и мнением судьи. Частичный результат за готовый не выдавать.
9. Считать расход: сколько вызовов судьи ушло на задачу.
10. Круг без изменений — застревание. Оба вернули то же, что и в прошлый раз — прекратить и сказать.

---

P0-10. Аудит вторым проходом

1. Числа части 1 сняты на живой службе, а не перенесены из A45.
2. Откат к прежнему кодеру выполнен и проверен.
3. Пара проверена запуском, а не расчётом: обе модели подняты, памяти хватило, обе отвечают.
4. Утверждение о полосе памяти проверено: суммарная выработка двух моделей против одиночной. Результат записать, каким бы он ни был.
5. Заведомо большая задача разбита, подана и собрана; неделимая дала честный отказ.
6. Предел попыток и предел кругов проверены задачей, которая не выполнится никогда.
7. Предел контекста взят у сервера, счёт токенов сверен с /tokenize независимо.
8. Независимость кодеров: решение одного не попадает в контекст другого.
9. Модель судьи задаётся из интерфейса, а не зашита.
10. Для платных провайдеров путь не изменился, надзиратель туда не лезет.
11. Службы владельца вернуть в рабочее состояние.
12. Побочные изменения объяснить.
13. Пропущенный пункт назвать пропущенным.

---

Ограничения

• Видеокарта одна, сервер рабочий: окна для замеров согласовать, службы возвращать в строй.
• Прежние юниты сохранять, откат описывать и проверять.
• Учётные данные и ~/.hermes/agy_profiles/ не трогать.
• Имена моделей и провайдеров в код не зашивать.
• Конфигурацию Hermes не править.
• Версию 0.1.1 не поднимать.
• Правило честности без исключений: ни одного числа без замера; ускорение не обещать без подтверждения.

Критерии приёмки

Часть 1

1. Кодер заменён на Qwen3-Coder-30B-A3B, контекст не ниже 65536; скорость и видеопамять замерены на живой службе; откат проверен.
2. Компрессор замерен в обоих вариантах; замена сделана либо обоснованно отклонена.
3. Видеопамять четырёх кандидатов при 64К измерена по процессу.
4. Проверено запуском, какие пары помещаются; измерено, что со скоростью при одновременной работе.

Часть 2

5. Роль local-supervisor включается автоматически для локальных профилей; для остальных путь не изменился.
6. Предел контекста берётся через /props; размер задания считается через /tokenize; проверено.
7. Большая задача разбивается по смысловым границам и собирается; неделимая даёт отказ.
8. Число попыток ограничено; бесконечного цикла нет.
9. Ход виден владельцу; случай «весь лимит на рассуждения» распознаётся отдельно от таймаута.
10. Рабочий объём записан в общую память с привязкой к имени сборки GGUF и используется при следующей подаче.

Часть 3

11. Пара работает независимо; облачный судья сравнивает и возвращает на доработку.
12. Модель судьи задаётся из интерфейса.
13. Предел кругов работает; застревание распознаётся; расход вызовов судьи показан.
14. Пара включается и отключается настройкой.

Общее

15. Неизмеренное показано как Н/Д с причиной; неудачи не скрываются.
16. ruff check . чисто; релизный гейт 10/10; тестов не меньше 517.
17. Службы владельца работают.
18. Память проекта в AI-Memory обновлена.
19. Отчёт: START_HEAD, FINAL_HEAD, origin/main, git status, X passed / Y skipped / Z failed.

Главное

Сейчас локальная модель получает задачу целиком, не успевает за отведённое время и отдаёт работу платному провайдеру. Так на каждом запросе: она не выбывает из цепочки, она просто всякий раз проигрывает.

Замена кодера окупается сама по себе — вчетверо быстрее при том же качестве и на четыре гигабайта меньше. Надзиратель делает подачу работы соразмерной модели: измеряет, а не предполагает, режет по смыслу и запоминает рабочий объём. Пара кодеров с облачным судьёй добавляет вторую независимую попытку — но её ценность в разных ошибках, а не в скорости, и каждый круг доработки стоит платного вызова.

Порядок сдачи

Передать точный FINAL_COMMIT_SHA.