Skip to content

test: evaluate isolated semantic repair and record no-go - #329

Closed
ashikov wants to merge 2 commits into
mainfrom
research/328-semantic-repair
Closed

ashikov wants to merge 2 commits into
mainfrom
research/328-semantic-repair

Conversation

@ashikov

@ashikov ashikov commented Nov 5, 2026 •

Copy link
Copy Markdown
Owner

Эксперимент проверяет минимальное исправление смысловых ошибок одним дополнительным вызовом YandexGPT 5.1 Pro. Добавлены изолированный primary-прототип, строгие unchanged/corrected/rejected, четыре заранее заданных diagnostic cases и односрочный runner с резервированием расходов. Production не меняется.

Refs #328 — результат исследовательской Task отрицательный, успешная реализация не обещалась. Refs #234, #307, #313, #320. Не закрывает старые semantic/normative/privacy gates.

NO-GO кандидата 78442d2. Первая live-проба восстановила один anchor, пропустила две исходные ошибки участников и внесла новый факт об использовании неработающего лифта. JSON/Zod прошли, независимое whole-document semantic review в отдельном контексте — Critical / REGRESSION. Остальные 3 слота остановлены. Controls, repeat replay и полная qualification не выполнялись. Нет retry, fix-pass без конкретной причины или implementation Tasks.

Полные синтетические input/draft/response/document, frozen hashes и расходы: docs/experiments/328/attempt-01.json; решение и ограничения: docs/experiments/328/RESULT.md.

Проверки актуального d3b87e6: make lint-md, pnpm check (1101 тест), git diff --check — PASS в чистом worktree. TDD прототипа 12/12, независимое code review и отдельная сверка отчёта — без blocking findings. Исходный workspace содержал старые format failures в игнорируемом .tmp, исторические файлы не менялись. Browser tests не нужны для изолированного manual experiment.

Новых attempts 1, usage 325+97, стоимость 0,3376 ₽, длительность 2318 мс. Общий марафон: 9 attempts / 8,1104 ₽, остаток 491,8896 ₽ из 500 ₽. Billing отдельно не сверялся. Отрицательное evidence сохранено в зафиксированном коммите. Исследовательский PR закрыт без merge, runtime не интегрирован.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant