Krzysztof Kaletka

System

Obie połowy to osobne repozytoria i jest to decyzja, nie przypadek. Zmiana w firewallu potrafi odciąć od sieci cały dom; podbicie wersji obrazu kontenera nie. Inny zasięg awarii, inny sposób testowania, inne tempo wydań — więc nie dzielą repozytorium ani jednego przebiegu.

Siedem rzeczy, które się zepsuły

Każda z nich została zdiagnozowana od objawu, nie wyszukana w internecie. Tam, gdzie awaria zmieniła sposób działania kodu, obok znajduje się zapis decyzji.

1. Warstwa sieciowa

   Czysty test, który niczego nie dowiódł

   W momencie włączenia vlan-filtering na RB5009 wszystkie porty dostępowe zachowały link i straciły całą łączność warstwy trzeciej. Mostek z filtrowaniem VLAN traktuje sam siebie jako port — port CPU — a adres bramy siedzi bezpośrednio na mostku, nietagowany. Wpisanie mostka jako tagged dla tego VLAN-u mówi mu, żeby oczekiwał ramek 802.1Q, które nigdy nie przychodzą. Reguła, którą z tego wyciągnąłem: przynależność mostka wynika z tego, skąd osiągany jest adres danego VLAN-u, a nie z założenia, że CPU potrzebuje każdego VLAN-u.

   Warta zapamiętania jest przyczyna, dla której próba tego nie złapała. Ścieżka zarządzania maszyny testowej leży poza mostkiem celowo — to właśnie czyni zawieszoną maszynę odzyskiwalną. Uczynienie testu zdolnym do wykrycia tego błędu kosztowałoby próbę jej siatkę bezpieczeństwa. Kontrola przeniosła się więc na przegląd tablicy na sprzęcie względem trzech jawnych przypadków, zamiast udawania, że zielony przebieg coś znaczył.

   ADR-0010 routeros_interfaces

2. Warstwa sieciowa

   Zmiana trasy stworzyła drugą trasę

   Zmiana bramy domyślnej switcha dodała trasę zamiast zmodyfikować istniejącą, zostawiając dwie. RouterOS wystawia ip route i ip firewall mangle bez klucza głównego, więc moduł nie ma po czym dopasować istniejącego wpisu. Oczywiste rozwiązanie — pozwolić Ansible przejąć całą ścieżkę i kasować wszystko, czego nie ma na liście — usunęłoby wpisy, do których rola nie ma prawa. Zamiast tego każdy zarządzany wpis nosi komentarz ansible:<cel>, a parowany task sprzątający usuwa nieaktualny dopiero po tym, jak zastępczy jest już na miejscu.

   ADR-0009 routeros_switch

3. Warstwa sieciowa

   Switch nieosiągalny przez własny trunk

   CRS310 nie dawał się osiągnąć z routera przy pierwszym przebiegu konfiguracji. VLAN 1 jest tagowany na trunku między urządzeniami, a switch w ustawieniach fabrycznych mówi wyłącznie ramkami nietagowanymi — więc link był podniesiony, a urządzenie milczało. Trzeba go zbootstrapować kablem prosto do laptopa i dopiero potem wstawić na miejsce. Zapisane w dokumentacji bootstrapu, a nie w pamięci, bo świeże wdrożenie natrafi na to ponownie.

   Dokumentacja bootstrapu routeros_switch

4. Warstwa usług

   Metryki, które kłamały z pełnym przekonaniem

   Panel sieciowy w Grafanie pokazywał wiarygodne liczby, które nie zgadzały się z rzeczywistością. node_exporter uruchomiony bez network_mode: host widzi wyłącznie interfejsy własnego namespace'u kontenera, a zamontowanie /proc hosta tego nie naprawia — /proc/net jest per-namespace, nie per-mount. Zdiagnozowane przez porównanie eksportowanych metryk z zawartością /proc/net/dev bezpośrednio na hoście. Zamiast zostawić panel, który wyglądał poprawnie i taki nie był, panel został usunięty; metryki CPU, pamięci i dysku są dokładne i zostały.

   
   rola monitoringu

5. Warstwa usług

   Dwa sposoby, na jakie kontener czyta przeszłość

   Przebudowa obrazu pod niezmienionym tagiem zostawia działający kontener wskazujący na sumę kontrolną, która już nie istnieje, a Compose przy najbliższym odświeżeniu wywala się błędem No such image. Osobno: pojedynczy plik zamontowany do kontenera wiąże się z jednym inode'em w chwili startu — a edytory zapisujące przez utworzenie zamiennika, w tym nano i sed, tworzą nowy inode, więc kontener dalej czyta osierocony oryginał, mimo że na dysku widać już nową treść.

   Oba objawiają się jak problemy z konfiguracją i żaden nim nie jest. Oba wymagają odtworzenia kontenera, nie restartu — różnica niewidoczna, dopóki nie kosztuje godziny.

   rola cloudflared rola caddy

6. Warstwa usług

   Kontener monitorujący, który nic nie monitorował

   cAdvisor startował czysto, raportował, że jest zdrowy, i nie widział ani jednego kontenera. Wersje poniżej v0.54.0 nie rozumieją, jak containerd-snapshotter przechowuje warstwy kontenerów. Aktualizacja miała własną pułapkę: rejestr obrazu przeniósł się z gcr.io na ghcr.io przy v0.53.0, więc podbicie samego tagu bez zmiany rejestru kończy się błędem pobierania. Wersja i rejestr są dziś przypięte razem, z komentarzem w roli tłumaczącym, dlaczego żadnego nie wolno zmieniać osobno.

   rola monitoringu

7. Ta strona

   Rekord DNS utworzony o jeden krok za wcześnie

   Przegląd tej strony ujawnił, że www.kaletkadev.com nie miało rekordu DNS w ogóle. Utworzyłem go, zanim tunel dostał pasującą regułę ingress — w złej kolejności. Negatywne cache'owanie ukrywało błąd przez trzydzieści minut, po czym nazwa zaczęła się rozwiązywać i zwracać 404, aż do wdrożenia konfiguracji. Samodzielnie stworzone okno awarii, niewielkie i całkowicie do uniknięcia: najpierw backend przyjmuje ruch, potem kierujesz na niego ruch.

   ADR-0009 rola cloudflared

Decyzje i to, ile każda kosztowała

Dwadzieścia zapisów decyzji w obu repozytoriach. Każdy nazywa opcję wybraną, opcje odrzucone i konsekwencje — łącznie z tymi niewygodnymi. Sześć ciekawszych poniżej.

Jak powstaje ta praca