Commit graph

5 commits

Author SHA1 Message Date
ochenstarik-ui
8e75dc6159 feat(a52): local models replacement, local-supervisor, and dual coder with cloud judge 2026-08-31 19:12:07 +07:00
Hermes Team
81c0173e46 Merge remote-tracking branch 'origin/antigravity/a44-restore-server' into HEAD 2026-08-31 18:43:59 +07:00
ochenstarik-ui
8c6bc7a7ed feat(benchmarks): benchmark three new local coder candidates on Tesla V100 (A45)
- Measure Qwen3-Coder-30B-A3B, Qwen2.5-Coder-32B, and Tiel-Coder-35B-A3B at 64k and 32k context
- Verify long-context degradation profile and MoE attention scaling
- Add benchmark suite and results to BENCHMARK_MOE_CANDIDATES.md and benchmark_moe_results.json
2026-08-31 13:18:58 +07:00
ochenstarik-ui
3949605115 feat(benchmark): актуализация отчёта A40/A44 по чистому потреблению VRAM, 64k порогу и llama-swap
- Столбец VRAM пересчитан на чистое потребление процессов (nvidia-smi --query-compute-apps)
- В условиях измерений явно зафиксирован контекст 32k токенов и сопоставлен со штатным режимом 192k (13.6 ток/с)
- Добавлен раздел по соответствию 64k порогу Hermes (Qwen3.8-27B, Qwen2.5-Coder-14B, Granite-4.2-8B)
- Проведены живые замеры одновременного размещения: 3 модели помещаются в 31 120 MiB (95% VRAM), 4 модели вызывают CUDA OOM (38 526 MiB)
- Установлен и настроен llama-swap на порту 8090 с автоматической выгрузкой VRAM по TTL
- Удалён незавершённый файл nemotron-3.5-30b
2026-08-31 12:03:35 +07:00
ochenstarik-ui
d5452526bd feat(benchmark): честные замеры локальных моделей на железе Tesla V100 (A40)
- Все строки отчёта BENCHMARK_REPORT.md содержат реальный путь, размер файла по os.stat, sha256 первых 64M и имя из general.name
- Отозваны все гипотетические оценки A38; проведены реальные замеры Phi-4 (83.3%, 58.5 ток/с), DeepSeek-Coder-V2 (75.0%, 61.5 ток/с), Granite-4.2-8B (66.7%, 80.6 ток/с)
- Описано падение скорости Multi-head Latent Attention (MLA) DeepSeek на 32k контексте до 3.35 ток/с
- Восстановлены штатные службы владельца на портах 8081 (Qwen3.8-27B) и 8082 (Qwen3-4B)
2026-08-31 01:57:37 +07:00