Перейти к содержимому

Разобрать инцидент на стенде

На общем стенде что-то сломалось, и нужна доказанная причина, а не первое правдоподобное объяснение.

Ставлю бандл bug-lifecycle
Запускаю /dex-incident-investigator:investigate
Нужно доступ к стенду; для улик - те CLI, которыми вы пользуетесь (kubectl, glab, TeamCity)
Окно терминала
./install-bundle/install-bundle.sh bug-lifecycle
/dex-incident-investigator:investigate "заказы не доходят до склада с 14:20, в очереди растёт backlog"

Аргумент - описание инцидента: симптом, сообщение об ошибке, что и как заметили. Необязательно - ветка стенда, время начала, доступы. Без описания симптома работа не начинается.

  • Команда составляет спецификацию «есть / нет» (IS и IS-NOT): что сломано и что при этом работает, с моментом начала.
  • Улики со стенда собирают профильные плагины: логи, поды, события, пайплайны. Бандл ставит для этого команды kubectl, glab и TeamCity.
  • Из улик строится причинно-следственная цепочка до структурной причины. Каждую гипотезу команда пытается опровергнуть. Если уверенность в причине ниже 80, это остаётся гипотезой под вопросом.
  • Результат: проблемы и план исправления на источнике, а не на месте проявления.
  • По команде фиксируй исправления вносятся по одной проблеме за раз с проверкой «красный, затем зелёный», до локальных коммитов.