Skip to content

feat: add repeat request generation and qualification runner - #326

Closed
ashikov wants to merge 4 commits into
feat/319-repeat-corefrom
feat/320-repeat-provider
Closed

ashikov wants to merge 4 commits into
feat/319-repeat-corefrom
feat/320-repeat-provider

Conversation

@ashikov

@ashikov ashikov commented Nov 4, 2026 •

Copy link
Copy Markdown
Owner

Добавляет отключённый от HTTP путь повторного обращения одним вызовом LLM и профиль repeat существующего benchmark. Строгий parser различает готовый документ, несвязанные проблемы и недостаточную историю. Реквизиты и требования формирует core. Общий transport сохраняет primary request и безопасную диагностику.

Refs #320, #195. Зависит от PR #324 и спецификации #322.

Draft: два кандидата получили NO-GO. Первый (9b2ca9a) потерял конкретного участника в repeat-new-facts на седьмой попытке. После одного адресного уточнения prompt второй (71fe510) повторил тот же critical на первом слоте новой полной квалификации. «Мне стало труднее пройти с коляской» снова превратилось в безличное состояние прохода. Оба результата независимо оценены по всему документу. Критерии не ослаблялись, ответы первого кандидата не переносились во второй. Оставшиеся слоты остановлены, третьего кандидата нет.

Подробные frozen hashes, результаты и расходы: docs/REPEAT_REQUEST_QUALIFICATION.md. Все 8 attempts прошли hard checks 5/5, что не подтверждает semantic correctness. HTTP/UI не подключены, Task #320 остаётся открытой.

Проверки:

  • make lint-md, pnpm check, git diff --check — PASS, 1135 тестов, lint/typecheck/build
  • TDD новой логики и transport regressions, 84 варианта primary request JSON побайтно совпали с прежними
  • Независимое code review: замечания по диагностике исправлены, открытых findings нет
  • Однострочное уточнение prompt прошло отдельное review атрибуции, его эффективность проверена live и не подтверждена
  • Отчёт независимо сверен с полными результатами и ledger, findings нет

Выполнено 8 платных provider attempts, расчёт по usage — 7,7728 ₽. Это весь расход марафона из 500 ₽, остаток 492,2272 ₽. Сверка отдельного биллингового счёта не заявляется. Тарифы AI Studio проверены 04.11.2026: 800 ₽/миллион входящих и исходящих токенов, НДС включён. Модель и production-конфигурация не менялись.

Нормативный и privacy gates также открыты. NO-GO #307/#313 не пересматривались. При будущей интеграции нужно сохранить отказ от provider redirects из независимого PR #327. Merge/deployment не выполнялись.

Приостановлено и архивировано 05.11.2026 — closed without merge. Повторное обращение не прошло semantic qualification: оба кандидата в #320 получили NO-GO. Профиль не был подключён к HTTP/UI. Это исследовательская реализация, а не готовая функциональность. После решения #330 продолжение текущей v0.3 не согласовано. Код/спецификация сохраняются по точному HEAD этой ветки и могут быть пересмотрены только после нового продуктового решения. Никакого rollout или изменения production.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant