Un script de update a șters directorul aplicației: post-mortem dintr-un container

19/11/2026 Scris de 0 comentarii

Pe 2 noiembrie, o comandă pe care o aveam deja în shell m-a costat serviciul de reverse proxy. Nu era nimic nou și nimic exotic. În istoricul shell-ului apare de cinci ori. Era un one-liner lipit acolo fără wrapper, fără confirmare și fără să mă uit ce descarcă. Scriptul venea de la un proiect public de helper-scripts pentru Proxmox, folosit de multă lume, și avea o treabă simplă: să actualizeze Nginx Proxy Manager dintr-un container. A făcut altceva.

Ce s-a întâmplat

Când am descărcat scriptul ca să înțeleg ce s-a întâmplat, avea 195 de linii. Ordinea lui e clară. Oprește serviciile openresty și npm. Apoi rulează un rm -rf pe directorul aplicației și pe mai multe directoare ale nginx: configurație, loguri, starea și cache-ul. Abia la final descarcă sursa ultimului release și încearcă să editeze două fișiere, unul de traduceri și unul de subsol, care există doar în layout-ul vechi al proiectului.

Layout-ul ăla a dispărut din versiunea 2.13. Sed-ul nu găsește fișierele, scriptul moare pe set -e, iar eu rămân cu servicii oprite și directoare șterse. Partea distructivă s-a executat integral. Partea de instalare nu a început deloc.

Ce m-a enervat cel mai tare nu e că un script are un bug. Asta se întâmplă. M-a enervat că nu exista nicio fază de verificare înainte de ștergere. Nu scrie nimic în jurnal, nu am găsit nicio copie de siguranță în el, iar ordinea pașilor lasă distrugerea pe primul loc. Ștergi întâi și descoperi după ce nu mai poți continua.

De ce a fost posibil

Răspunsul scurt: am rulat un script de vendor pe un serviciu pe care nu-l puteam reconstrui dintr-un artefact simplu, fără să mă gândesc la ce face. Răspunsul lung e mai neplăcut. Containerul nu avea snapshot. Discul e raw pe NFS, deci „revenire” nu înseamnă un click. Ce ne-a salvat a fost altceva: datele aplicației și certificatele Let’s Encrypt stau în afara zonei pe care o șterge scriptul. Nu asta fusese planul. A fost o consecință a felului în care era organizată instalarea, și asta e o diferență pe care vreau s-o țin minte.

Cum l-am readus

Am repornit containerul ca să văd dacă revine, ceea ce a fost prima greșeală: o eroare de script s-a transformat în două servicii moarte. Când am deschis jurnalul, ce spunea clar era că unitatea npm nu pornea deloc, pentru că directorul ei de lucru nu mai există. Lucru pe care jurnalul îl spune clar, dar pe care îl ratezi dacă te uiți doar la „failed”.

Apoi nginx: mkdir() failed pe directorul de cache. Mesajul ăsta părea o problemă a nginx-ului. Cauza era aceeași ștergere. Primul mesaj de eroare era al doilea vinovat, iar asta costă o oră dacă o iei de bună.

Înainte de orice modificare am făcut backup la datele aplicației: un tar de 36 MB pentru 134 MB de date. Apoi am verificat baza. Integritatea e ok, 71 de host-uri sunt vii, există 82 de rânduri în total, din care 11 șterse soft, și 19 migrări aplicate. Datele erau întregi, deci problema era doar aplicația.

Am reconstruit aplicația din sursa tag-ului 2.15.1. Arhiva de release nu conține frontend-ul construit, deci l-am compilat din sursă și l-am copiat acolo unde îl așteaptă configurația nginx. Fără asta, dashboard-ul dă 500 cu o eroare de rewrite care nu spune nimic despre build. Asta e lecția pe care o țin minte cel mai bine: eroarea nu arată cauza.

Versiunea am verificat-o prin hash, nu prin câmpul version. Upstream lasă 2.0.0 în package.json și în răspunsul API, indiferent de release. Hash-ul fișierului principal al backend-ului a coincis cu cel din tarball-ul 2.15.1. Un câmp de metadate nu e o dovadă.

Dashboard-ul a revenit la aproximativ 22 de minute după boot. Cifra e reală, dar trebuie citită corect. Jurnalul începe la boot, nu la ștergere, deci nu știu exact când a început căderea și cât a durat cu adevărat.

Verificarea a fost o listă de curl-uri. Dashboard-ul răspunde, API-ul răspunde, câteva vhost-uri răspund pe numele lor, iar nginx -t dă ok. Două dintre vhost-uri au primit 403, și asta e răspunsul corect: au access list, iar cererea venea din loopback. Reînnoirea certificatelor a continuat în tot acest timp, pentru că stă în afara zonei șterse. Un certificat de aplicație a fost reînnoit pe 14 noiembrie, fără ca eu să ating ceva.

Ce am schimbat

Fixul nu e spectaculos. Am creat directoarele de cache și am setat permisiunile corecte pe cel privat. Am adăugat un fișier tmpfiles, dar e doar parțial: creează directorul temporar al nginx, nu și cache-ul, deci dacă directorul de cache dispare din nou, un reboot nu îl readuce. Corect ar fi un pas de pornire care face mkdir -p pe cache înainte de nginx. Încă nu l-am scris.

Am schimbat în schimb regulile de lucru. Înainte de orice script de vendor care conține rm -rf pe un serviciu, fac backup la date. Citesc jurnalul înainte de reboot. Verific întâi că directorul de lucru al unității există, abia apoi bănuiesc runtime-ul. Și nu mai iau versiunea din câmpuri de metadate.

Ce nu am rezolvat

Cauza e încă acolo. /usr/bin/update din container e neschimbat, iar scriptul se redescarcă la fiecare rulare, deci nu-l pot corecta local. O nouă rulare a comenzii ar repeta exact același lucru. Wrapper-ul pe care vreau să-l scriu încă nu există, și asta e cea mai proastă limitare dintre toate.

Versiunea a rămas 2.15.1, iar upstream e deja la 2.17.1. Upgrade-ul e amânat intenționat. Rulează migrări pe care nu le-am testat pe instalarea noastră, așa că îl fac doar după un backup verificat.

Durata exactă a căderii nu o pot măsura. Momentul ștergerii nu e logat nicăieri, deci cifra de 22 de minute e „de la boot la serviciu”, nu „de la prima secundă de indisponibilitate”.

Reconstrucția a fost manuală. Nu e un script idempotent, deci a doua oară costă la fel de mult, cu aceeași atenție. Și /etc/nginx a rămas un symlink către directorul openresty. Funcționează, dar layout-ul e diferit de cel de dinainte, iar cine se așteaptă la un director real se va încurca.

Ce rămâne pe hârtie

Un post-mortem bun nu se termină cu „am reparat repede”. Se termină cu ce faci diferit data viitoare. Pentru mine, lista e scurtă: backup înainte de orice comandă de update, jurnal citit înainte de reboot, verificare a directoarelor de lucru înainte de a bănui aplicația și o versiune confirmată prin conținut, nu prin etichetă.

Dacă rulezi un reverse proxy într-un container, uită-te azi în shell și caută comenzile de update pe care le ai acolo. Nu e vorba de paranoia. E vorba să știi exact ce șterge fiecare dintre ele.