Безопасная модель AI-управления держится на трёх слоях: агент по умолчанию только читает, изменяющие действия требуют явного подтверждения, и всё выполненное пишется в журнал. Слои не заменяют друг друга — каждый ловит то, что пропускают остальные.
Read-only как нормальная отправная точка
Это не временный режим для осторожных, а рабочее состояние для большей части задач. Сбор контекста, чтение журналов, поиск аномалий, формулировка гипотезы — всё это не требует прав на изменение.
Выгода не только в безопасности. В режиме чтения ошибка агента стоит секунды вашего внимания, поэтому его можно спокойно применять к любой машине, включая боевые. Как только появляется запись, каждая машина требует отдельного решения.
Где именно проходит граница между чтением и записью и какие задачи попадают в каждую половину, разобрано в статье об AI в IT-поддержке.
Подтверждение изменяющих действий
Подтверждение осмысленно только тогда, когда человек понимает, что подтверждает. Список из двадцати команд, который проматывают и жмут «одобрить», — это не контроль, а его имитация.
- План должен быть читаемым: что именно выполнится и на каких машинах.
- Действия на группе устройств подтверждаются отдельно, даже если одиночные уже разрешены. Ошибка на группе тиражируется мгновенно.
- Необратимые операции — удаление, перезапись, изменение прав — стоит держать в отдельной категории с более строгим порядком.
- Если подтверждений стало так много, что их перестали читать, проблема не в человеке: значит, агенту дали задачу не того класса.
Что даёт журнал?
Журнал — единственный слой, который работает задним числом. Он отвечает на вопросы, которые возникают через неделю: что было выполнено, кем одобрено, что именно изменилось на машине.
Без него разбор инцидента превращается в реконструкцию по памяти, а разговор с клиентом — в спор без аргументов. При этом сам по себе журнал ничего не предотвращает, поэтому подменять им ограничение прав нельзя.
Какие поля должны быть в записи и что в неё не должно попадать, разобрано отдельно в статье о журнале AI-действий. Как эти три слоя реализованы, описано на странице GoDesk AI — по умолчанию агент работает в режиме просмотра, изменения требуют подтверждения, и каждое фиксируется.
Почему нельзя просто доверять агенту после нескольких успешных запусков?
Потому что успешные запуски ничего не говорят о поведении в незнакомой ситуации, а именно она и опасна. Подтверждение изменяющих действий стоит секунду и не зависит от того, насколько хорошо всё шло раньше, — а отключается оно ровно перед тем случаем, ради которого существовало.
Что должно попадать в журнал, чтобы он был полезен?
Три вещи: что было запрошено, что было подтверждено человеком и что в итоге выполнилось. Журнал, где записан только результат, отвечает на вопрос «что произошло», но не на вопрос «кто это разрешил» — а разбирают обычно именно второй.