Проєктування чергувань — що ми зрозуміли, поки робили своє

Цей текст написано як лист — комусь, хто щойно став керівником інженерії в невеликій компанії й уперше в житті муситиме спроєктувати чергування для своєї команди. Якщо це ви — читайте далі. Якщо ви вже мали справу з цим разів пʼять і вважаєте, що знаєте, як це працює, краще закрийте вкладку: тут будуть речі, які ви чули десятки разів, тільки сформульовані інакше.

Перше, що варто сказати, — більшість порад про чергування, які ви знайдете в інтернеті, написана для команд значно більших за вашу. У сорока осібних відділах платформи у банку є проблеми, яких ваші семеро інженерів не мають. І навпаки — ваші семеро мають проблеми, про які тривають довгі статті у книзі Site Reliability Engineering від Google, але ці статті відповіді не дають. Спробую дати їх тут, на конкретних випадках, які я бачив у трьох-чотирьох українських командах за останні кілька років.

Про довжину зміни

Перше рішення, яке ви прийматимете, — на скільки днів складати ротацію. Природний інстинкт — тиждень, бо «так у всіх». Це майже завжди неправильно.

Робоче правило: одна важка нічна подія за цикл. Якщо у вас два інциденти на тиждень, ротація має бути дводенною. Якщо один інцидент на квартал — двотижнева ротація нормальна. Якщо у вас щоденний шум дрібних випадків, але серйозне щось трапляється раз на пів року, працюйте на 24-годинних змінах з обовʼязковою ранковою передачею.

Перевірте власну статистику за останні шість місяців. Не за останні три роки — інфраструктура змінюється, важкі події тоді й зараз — різні події.

Про самотніх чергових

У команді з чотирьох осіб виникає спокуса: один черговий, ротація по черзі, у кожного три тижні спокою. На папері це чудово.

На практиці один черговий означає одне — будь-який пропущений виклик одразу йде на ескалацію. Я бачив це багато разів. Черговий у душі, телефон у сусідній кімнаті. Дві хвилини без реакції — виклик передається керівнику й половині команди. Усі прокидаються. Керівник нервує. Черговий до кінця тижня виправдовується.

Не робіть так. Навіть у чотирьох осібній команді спроєктуйте резервного чергового з затримкою пʼять-десять хвилин. Резервний не мусить чергувати. Він має знати, що сьогодні він — друга лінія. Психологічно це знімає 80% стресу з основного. Спокійний черговий реагує точніше.

Про вихідні

Субота й неділя — не два сьомих тижні. Це майже половина. Кожні вихідні, проведені на чергуванні, важать більше, ніж вівторок-четвер разом узяті. Тому рівний тижневий графік, у якому комусь регулярно випадає «той самий» вихідний, ламає мотивацію швидше за всі інші недосконалості разом.

Три моделі компенсації працюють. Перша — окремий графік на вихідні, з оплатою півтори ставки. Друга — чотириденна ротація, яка «дрейфує» через календар, тож вихідні розкладаються рівномірно між усіма. Третя — поділ на блоки: понеділок-четвер і пʼятниця-неділя як окремі ротації. Виберіть будь-яку з трьох. Не обирайте «тижнева ротація, вихідні десь усередині».

Про цілодобове чергування за поясами

Колись хтось вам розповість про «follow the sun» — як це красиво. Європейська команда чергує вдень, азійська вночі, американська ввечері. Ніхто не страждає.

Це працює тільки на масштабі. До 15 інженерів цілодобовий розподіл за поясами — катастрофа. З одним черговим на пояс хтось завжди страждає. Європеєць чергує вночі. Американець починає о пʼятій ранку. Контекст втрачається при кожній передачі.

Якщо ви менше ніж 15 — лишайте одного основного чергового на всі пояси, із фіксованою нічною доплатою. Якщо ви більше ніж 30 у двох-трьох регіонах — переходьте на повноцінний цілодобовий розподіл. Проміжна зона 15-30 — найгірша. Не намагайтеся вдавати, що ви доросли до Netflix, поки ви ще не дорослі.

Про передачу зміни

Передача чергування — не формальність. Бачив якось результат, де новий черговий перейняв зміну за документацією в Confluence, не встиг прочитати, і першим ділом вимкнув сигнал тривоги, що мав попередити про незавершене перемикання бази даних. Наслідки розгрібали два дні. Один день нашого корпоративного спокою.

Передача має займати пʼять хвилин. Усний обмін у дзвінку Slack або письмовий потік у каналі команди. Шаблон, який у нас завжди той самий:

Передача чергування — [дата, час]

- Що зараз горить: …
- Що щойно погасло (останні 24 години): …
- Заплановані технічні роботи й релізи в найближчі години: …
- Сповіщення, які ми тимчасово ігноруємо (і чому): …
- Відкриті ескалації та звернення до постачальників: …
- Стан чергового: чи виспався, чи повечеряв, чи доступний наступні години
- Посилання: панель моніторингу, інструкції, шлях ескалації

Останній пункт — не жарт. Передавати зміну людині, яка щойно повернулася з відрядження і за пів години сяде керувати інцидентом найвищого рівня — погана ідея. Цей рядок упіймав ситуацію тричі за два роки.

Про оплату

Ось пункт, у якому ви, напевно, не маєте повноважень. Це питання до керівництва компанії, не до інженерної команди. Але якщо ви маєте можливість вплинути на рішення — впливайте.

Чергування без окремої оплати деформується тихо і передбачувано. Люди уникають «поганих» змін. Замінюють вихідні під приводом сімейних обставин. Найдосвідченіший інженер опиняється на найгірших змінах, бо «він витягне». Через пів року в нього готова заява про звільнення.

Робоче рішення: фіксована доплата за кожну зміну плюс оплачуваний відгул після нічного виклику. Сума не має значення — навіть символічна сума спрацьовує. Що важливе — сам факт визнання компанії: чергування це окрема робота, не невидимий доважок. Я знаю одну українську SaaS-команду, де доплата становить 500 гривень за зміну. За пів року після введення цієї норми обертовість у SRE-відділі впала до нуля — раніше люди йшли по двоє на рік.

Останнє

Не пробуйте все шість одразу. Виберіть найбільшу больову точку у власній команді й розвʼяжіть її першою. Якщо ваша команда стогне про вихідні — спочатку модель з окремим графіком на вихідні. Якщо люди пропускають виклики — спочатку резервний черговий. Якщо найдосвідченіший планує іти — спочатку оплата.

Решта догодить пізніше. Чергування не виправляється за один раз. Воно поступово стає менш болючим, коли команда відчуває, що про нього хтось думає.