Projektowanie dyżurów — wnioski z budowy własnego

Większość problemów z dyżurami w małych zespołach nie wynika z trudności organizacyjnej. Wynika z sześciu fałszywych założeń, które trafiają do harmonogramu wprost z cudzych blogów, prezentacji konferencyjnych i artykułów w stylu «tak to robi Netflix». Netflix dyżuruje inaczej niż ośmioosobowa firma, której rachunek za chmurę mieści się w trzech cyfrach. Większość przepisów «najlepszych praktyk» pasuje tylko do skali, dla której zostały napisane.

Poniżej je rozkładam jedno po drugim, każde z tym, co zwykle działa w jego miejscu.

Czemu tygodniowa rotacja prawie nigdy nie pasuje

Ta zasada wzięła się z PagerDuty i z większości książek o zarządzaniu incydentami. Tygodniowa rotacja ma sens, jeśli statystycznie wpada w nią mniej więcej jedna ciężka zmiana — taka, która faktycznie budzi dyżurnego w nocy.

W zespole z dwoma incydentami tygodniowo tygodniowa rotacja oznacza wypalenie w trzy cykle. W zespole z jednym incydentem na kwartał tygodniowa rotacja oznacza, że po dwóch miesiącach dyżurny nie pamięta, jak się otwiera dziennik audytu.

Lepszy układ jest prosty: długość zmiany ma być proporcjonalna do statystycznej częstotliwości poważnych awarii w waszej infrastrukturze. Mierzcie ostatnie sześć miesięcy, nie ostatnie trzy lata. Zespół na dwóch incydentach tygodniowo żyje dłużej na rotacji dwu- lub trzydniowej. Zespół z jednym incydentem na kwartał wytrzymuje dwutygodniową — bo i tak alarm pojawi się dopiero w czwartym cyklu, więc dyżurny ma czas przypomnieć sobie reguły.

Pojedynczy dyżurny w czteroosobowym zespole, czyli oszczędność, która kosztuje zespół ludzi

Logika tego mitu jest pociągająca — mamy cztery osoby, pojedynczy dyżurny daje każdej z nich trzy spokojne tygodnie w miesiącu. Wszyscy się zgadzamy, że to dobre.

Statystyka tej konfiguracji jest paskudna. Jeden dyżurny oznacza, że pierwsze przegapienie wezwania powoduje natychmiastową eskalację do kierownika albo do całego zespołu. W praktyce widzieliśmy to dziesiątki razy: dyżurny pod prysznicem, telefon w sąsiednim pokoju, dwie minuty bez reakcji, i wezwanie idzie do każdego, kto ma telefon. Cały zespół budzi się, kierownik się stresuje, dyżurny tłumaczy się przez tydzień.

Robocza zasada: nawet w czteroosobowym zespole zaplanujcie zapasowego dyżurnego z opóźnieniem pięciu do dziesięciu minut. Zapasowy nie musi czuwać. Wystarczy, że ma telefon przy łóżku i wie, że dziś jest «drugą linią». Psychologicznie ta wiedza zmienia stosunek głównego dyżurnego do całej zmiany — z czujnego strażnika w spokojnego pracownika.

Weekend nie jest dwoma siódmymi tygodnia

Sobota i niedziela w harmonogramie są dwoma siódmymi tygodnia tylko w arkuszu. W praktyce każdy weekend zniszczony alarmem o 11:47 boli psychicznie trzy razy bardziej niż taki sam alarm o 14:00 we wtorek. Rodzina się denerwuje. Zaplanowany obiad odpada. Niedzielne popołudnie zamienia się w polowanie na pojedynczą linijkę w logu.

Weekend ma swój własny harmonogram, niewtopiony w tygodniowy. Trzy modele działają. Pierwszy — osobna kolejka tylko na sobotę-niedzielę, z premią pieniężną. Drugi — cztery dni rotacji, która dryfuje przez kalendarz, więc nikomu nie wpada «zawsze ten sam» weekend. Trzeci — podział tygodnia: pierwsza osoba pracuje od poniedziałku do czwartku, druga od piątku do niedzieli. Wybór modelu zależy od liczebności zespołu, ale żadna z opcji nie wygląda jak «tygodniowa rotacja z weekendem wpadającym przypadkowo».

Pułapka «follow the sun» w zespole poniżej piętnastu osób

Każdy, kto pierwszy raz usłyszał o tej konfiguracji, jest przekonany, że to święty Graal dyżurów. Europejski zespół pracuje w dzień, azjatycki w nocy, amerykański w wieczór. Nikt nie cierpi.

W zespole poniżej piętnastu osób «follow-the-sun» nie działa. Z jednym dyżurnym na strefę czasową zawsze ktoś cierpi — albo Europejczyk zmuszony jest pracować w nocy, albo Amerykanin musi zaczynać o piątej rano, żeby zdążyć na przekazanie zmiany. Dochodzi do tego nieuniknione gubienie kontekstu przy każdym przejściu między strefami.

Lepsza zasada zależy od skali. Do piętnastu inżynierów: jedna globalna rotacja, ktoś zawsze ma trochę gorzej, ale za to dyżurny zna pełen kontekst incydentu od początku do końca. Od trzydziestu w trzech regionach: «follow-the-sun» zaczyna mieć sens, bo każda strefa ma na tyle dużo ludzi, że można zbudować pełnoprawną rotację bez zmuszania kogokolwiek do pracy w nocy. Strefa pośrednia, piętnaście do trzydziestu, to najgorsza zona — kuszące, ale za mało buforu, żeby naprawdę działało.

Pięć minut rozmowy, których nie zastąpi żaden dokument

To nie jest mit, to dosłowny cytat z kierownika technicznego, którego nazywać nie będę. Wynikiem tego cytatu była katastrofa, której nie chciałbym opisywać w tym tekście — wystarczy powiedzieć, że nowy dyżurny przejął zmianę z pisemną dokumentacją w Confluence, której nie zdążył przeczytać, i pierwsze co zrobił, to wyłączył alarm, który miał ostrzec o trwającym przełączaniu bazy danych.

Pięć minut bezpośredniej rozmowy lub jeden wątek w Slacku z konkretnymi punktami załatwia to lepiej niż dokumentacja. Dokumentacja jest dodatkiem, nie zastępstwem. Wzorzec, który sprawdza się u wszystkich znanych mi zespołów:

Przekazanie dyżuru — [data, godzina]

- Co się teraz pali? (otwarte incydenty, status)
- Co właśnie zgasło? (ostatnie 24 godziny, co może wrócić)
- Planowane prace serwisowe i wdrożenia w trakcie zmiany
- Powiadomienia, które celowo ignorujemy (i dlaczego)
- Otwarte eskalacje i zgłoszenia do dostawców
- Dyżurny zjadł kolację? Ma naładowany telefon?
- Linki: panel monitoringu, instrukcje, ścieżka eskalacji

Ostatni punkt nie jest żartem. Sytuacja «główny nie odbiera, bo padł mu telefon w trakcie obiadu» zdarzała się w trzech znanych mi zespołach.

Niewidzialny dodatek do stanowiska, który kosztuje zespół ludzi

To najbardziej kosztowny mit w całym zestawie. Kosztowny dosłownie — w pieniądzach, których nie wydaje się na premię, ale wydaje się na rotację kadrową.

Bez osobnego wynagrodzenia za dyżur harmonogram deformuje się powolnie i niepostrzeżenie. Ludzie zaczynają unikać «poganianych» zmian. Wymieniają się weekendami z kolegami pod pretekstem rodzinnych okazji. Najbardziej doświadczony inżynier, ten, którego nigdy nie odmawia, dostaje proporcjonalnie więcej najgorszych zmian — bo «on i tak nie śpi». Po sześciu miesiącach jego wypowiedzenie ląduje na biurku kierownika.

Co działa w praktyce: stała stawka za każdą zmianę plus dzień wolny po każdym wezwaniu nocnym. Kwota nie musi być wielka. W jednym z polskich zespołów, z którymi pracowałem, stawka była symboliczna — 100 złotych za zmianę. Co działa to nie kwota, tylko sam fakt, że firma uznaje dyżur za osobną pracę, a nie za niewidzialny dodatek do stanowiska. Po wprowadzeniu tej zasady rotacja kadrowa w SRE spadła z trzech osób rocznie do zera w ciągu osiemnastu miesięcy.

To jedyna zmiana w sześciu zasadach, która nie wymaga konfiguracji narzędzia ani konsultacji z dostawcą. Wymaga tylko decyzji, że dyżur jest pracą. Większość problemów z dyżurem zaczyna się od tego pojedynczego niedopowiedzenia.