Эволюция и качество

Как агенты предлагают изменения своей конфигурации, как оценочный гейт проверяет их эффект, как откатить версию — и откуда берутся оценочные кейсы.

Агенты наблюдают собственное трение и предлагают изменения своей конфигурации (правила, чек-листы завершения) через agent_propose. Предложение меняет ничего само — человек читает его и решает. Вокруг этого решения построен измеримый контур: оценочный гейт проверяет, что изменение не ломает поведение, версии позволяют откатить любое решение, а регрессии по трудоёмкости показывают, стало ли дешевле.

#Предложения и гейт

Применение предложения агента допускается только поверх свежего зелёного оценочного прогона на его базовой версии. Оценочный прогон — это сьют кейсов: модели дают типовые задачи и проверяют ответы (точные подстроки или LLM-судья с калибровкой).

У гейта три честных исхода:

• Зелёный — свежий зелёный прогон: предложение применяется, версия инкрементируется, снапшот сохраняется.
• Красный / сьют не готов — применяется с оверрайдом: вы пишете обоснование, оно фиксируется в журнале аудита вместе с применением. Человек, прочитавший предложение, решает; система лишь требует оставить след.
• База устарела — предложение нужно перебазировать (агент сделает это по запросу).

#Откат версий

Каждое изменение определения — новый неизменяемый снапшот с полным скомпилированным промптом. Любую предыдущую версию можно вернуть одной кнопкой: снапшот возвращается как новая версия — история только растёт, а сам откат откатывается тем же способом.

#Откуда берутся кейсы

Руками писать кейсы не нужно:

1. Харвест из продакшна. Завершённые задачи автоматически становятся кандидатами в оценочные кейсы (вопрос = задача, эталон = ответ или исправление человека). Кандидаты проходят ревью: принять по одному или пакетом кнопкой «Accept all».
2. Warm-start от супервайзера. Если у агента кейсов меньше минимума гейта, супервайзер сам составит три представительных кейса из назначения агента и свежих успешных задач — можно принять, отредактировать или удалить.
3. От предложения к кейсу. Эволюционное предложение агента сопровождается черновиком регрессионного кейса — если предложение применят, гейт уже проверяет именно тот сбой, из-за которого оно появилось.

#Трудоёмкость как сигнал качества

Ответ может стать лучше, а работа — дороже. По каждой версии считаются средние ходы и токены завершённых задач; заметный рост помечается тегом «дороже по ходам/токенам против vN». Эволюция должна оправдывать не только качество, но и цену.

#Overrides честны

Обход гейта и оверрайды — не лазейка, а задокументированное решение: каждое применение без зелёного прогона записано в аудит с автором и обоснованием, и доля таких обходов видна в отчёте качества. Контур спроектирован fail-closed: обход без следа невозможен технически.

#Регрессии по трудоёмкости

Сравнение версий считает не только точность ответов, но и цену: средние ходы и токены на завершённую задачу. Заметный рост помечается как регрессия трудоёмкости — эволюция должна оправдывать не только качество, но и стоимость.