ARIA — агент, который разбирает аварии

Ночью сработал алерт. Дежурный просыпается, лезет на сервер, смотрит место на дисках, читает журналы, вспоминает, что делали в прошлый раз. Двадцать минут уходит на то, чтобы понять: снова разросся кэш.

ARIA делает эту работу сама и присылает готовый разбор.

Инженер проверяет подготовленный ARIA разбор инцидента

Как устроено

Приём. Сервис принимает алерты от систем мониторинга одним webhook с ключом доступа. Каждый нормализуется: имя алерта, хост, severity, метки, время.

Группировка. Алерты копятся в окне в минуту и склеиваются по паре «хост плюс тип» — вместо десяти сообщений о падении одного сервера получается одно дело. Повторы отсекаются по уникальному ключу в базе.

Диагностика. На группу запускается сессия ИИ-агента. У него есть инструменты: ходить по SSH на нужную машину, смотреть состояние кластера, искать похожие случаи в базе знаний, читать метрики и логи. Работает по runbook для своего типа аварии: закончилось место на диске, сработал OOM killer, служба не отвечает, под крутится в CrashLoopBackOff.

Отчёт. Результат уходит в мессенджеры одним сообщением. Когда алерт закрывается, сообщение убирается — старые разборы не висят в чате мусором.

Диалог. На отчёт можно ответить прямо в чате — агент продолжит разбор с учётом сказанного. Отдельной командой он собирает сводку текущих проблем.

Границы полномочий

Уровень автономности задаётся настройкой. Сейчас в бою — только диагностика: агент смотрит и рассказывает, но не чинит. Следующие уровни (перезапустить службу, почистить временные каталоги) включаются осознанно, а не по умолчанию.

Часть действий запрещена на любом уровне: удаление данных, снос пространств имён, разрушающие команды инфраструктуры, изменение правил межсетевого экрана и записей службы имён. Это не настройка, а вшитый запрет.

Опыт прошлых разборов

Каждая завершённая сессия попадает в отдельную базу опыта — и перед новой диагностикой агент сначала ищет там похожие случаи. Оценка человека решает, останется ли запись: палец вверх — сессия доступна для будущих поисков, палец вниз — удаляется. Так база не зарастает разборами, которые никуда не привели.

Что это даёт

Утром вместо строки «CRITICAL: disk space» лежит разбор: что произошло, из-за чего, что уже проверено и что предлагается сделать. Дежурный начинает не с нуля, а с готовой гипотезы.