Amb els anys administrant servidors i infraestructures hem après una cosa que sembla òbvia, però que moltes vegades només s'interioritza després d'algun ensurt:
Hi ha feines que, tot i que tècnicament es puguin fer en horari laboral, simplement no val la pena fer-les mentre els usuaris estan treballant.
Actualitzar un servidor, modificar una configuració de xarxa, reiniciar un firewall, ampliar recursos d'una màquina virtual o tocar una infraestructura de còpies pot semblar una intervenció senzilla.
I moltes vegades ho és.
El problema és que en informàtica el risc no sempre està en el que esperes que passi, sinó en el que passa després.
El clàssic “això són cinc minuts”
Probablement és una de les frases més perilloses quan treballes amb sistemes en producció.
“Això són cinc minuts.”
Instal·les una actualització.
Reinicies.
I el servidor triga més de l'esperat a arrencar.
Un servei decideix no iniciar-se.
Una aplicació empresarial deixa de connectar amb SQL.
Una actualització canvia alguna configuració.
El firewall torna, però una VPN no.
O simplement Windows decideix que aquell reinici que havia de durar cinc minuts durarà bastant més.
No vol dir que s'hagi fet res malament.
Vol dir que quan treballes sobre sistemes complexos sempre existeix una variable que no controles completament.
Per això hem anat canviant la nostra manera de treballar.
Si una intervenció pot afectar la producció, preferim realitzar-la quan l'empresa ja no depèn d'aquests sistemes per treballar.
El manteniment no acaba quan s'acaba l'actualització
Aquest és probablement un dels errors més habituals.
Actualitzar un servidor i comprovar que torna a aparèixer l'escriptori no vol dir que la feina hagi acabat.
Després d'una intervenció cal revisar.
- Ha arrencat correctament?
- Funcionen els serveis?
- Respon SQL?
- Funcionen els accessos remots?
- Es comunica amb la resta de servidors?
- Funcionen les còpies de seguretat?
- Els usuaris podran entrar demà?
Perquè una màquina pot estar encesa i, tanmateix, tenir part dels seus serveis aturats.
Per això una intervenció de manteniment té normalment tres parts:
Fer el canvi, comprovar l'entorn i disposar de temps per reaccionar si alguna cosa no ha sortit com estava previst.
I aquesta tercera part és precisament la que fa tan important treballar fora d'horari.
Hem vist prou per saber que Murphy també treballa en informàtica
Hi ha una certa ironia en això.
Pots actualitzar vint servidors sense cap problema.
I serà precisament el servidor que necessitaves tenir disponible a les nou del matí el que decidirà que aquell dia no vol arrencar correctament.
També passa amb el maquinari.
Un disc pot portar anys funcionant i fallar just després d'un reinici.
Un servei que portava mesos funcionant pot no tornar a arrencar.
Una aplicació pot comportar-se de manera diferent després d'instal·lar una actualització de Windows.
No és una cosa excepcional.
Forma part de la feina.
La diferència està en trobar-te aquest problema a les onze del matí amb vint persones esperant, o trobar-ho a les onze de la nit amb diverses hores per davant per solucionar-ho.
Les actualitzacions de seguretat no es poden posposar eternament
També hem trobat infraestructures on els servidors portaven mesos, i fins i tot anys, sense actualitzar-se.
Normalment l'explicació sol ser la mateixa:
“Com que funciona, millor no tocar-ho.”
És comprensible.
Però també és perillós.
Molts atacs aprofiten vulnerabilitats per a les quals ja existeix una actualització.
El fabricant ha detectat el problema.
Ha desenvolupat el pegat.
L'ha publicat.
I setmanes després hi ha servidors en producció que continuen exposats perquè ningú vol assumir el risc de reiniciar-los.
En realitat, simplement estem canviant un risc conegut i controlable —realitzar una actualització— per un altre de molt menys controlable: mantenir una vulnerabilitat oberta.
La solució no és deixar d'actualitzar.
La solució és crear finestres de manteniment on poder fer-ho amb seguretat.
Abans de tocar alguna cosa important volem saber com tornar enrere
Una altra lliçó que s'aprèn ràpidament administrant sistemes és que un backup no serveix de gaire si mai has pensat com recuperaràs realment aquest sistema.
Abans de determinats canvis comprovem les còpies.
En entorns virtualitzats podem disposar també de snapshots o mecanismes addicionals de recuperació.
En bases de dades podem realitzar còpies específiques.
En dispositius de xarxa podem exportar configuracions.
No perquè esperem que alguna cosa vagi a fallar.
Precisament perquè si alguna vegada falla, volem que el problema sigui reversible.
És una diferència important de mentalitat.
No es tracta únicament de saber fer el canvi.
Es tracta de saber què farem si el canvi no funciona.
De nit treballem nosaltres perquè al matí treballin els altres
Hi ha una cosa curiosa en el manteniment informàtic ben fet.
Normalment ningú ho veu.
Un servidor s'actualitza.
Una infraestructura es reinicia.
S'apliquen pegats de seguretat.
Es verifica una còpia.
S'actualitza un firewall.
Es revisen els serveis.
I l'endemà al matí els usuaris arriben, encenen els seus ordinadors i treballen exactament igual que el dia anterior.
Des del seu punt de vista no ha passat res.
I probablement aquesta sigui la millor senyal que el manteniment s'ha fet bé.
Perquè gran part de la nostra feina consisteix precisament en això:
Fer canvis importants sense que aquests canvis es converteixin en un problema per a qui utilitza la tecnologia.
No tot s'ha de fer fora d'horari
Tampoc tindria sentit portar aquesta filosofia a l'extrem.
Hi ha moltes tasques que es poden realitzar perfectament durant la jornada laboral:
Monitorització, petites modificacions, creació d'usuaris, revisió d'alertes, comprovacions o feines que no afecten el servei.
La clau està en valorar el risc.
Si existeix possibilitat de reinici, interrupció, pèrdua de connectivitat o afectació a diversos usuaris, preferim disposar d'una finestra de manteniment adequada.
No perquè pensem que alguna cosa anirà malament.
Sinó perquè sabem que algun dia alguna cosa anirà malament.
I quan aquest dia arribi, volem tenir temps per solucionar-ho.
L'experiència canvia la manera d'administrar sistemes
Al principi és fàcil pensar únicament a realitzar una tasca.
Amb el temps comences a pensar en tot el que envolta aquesta tasca.
- Què depèn d'aquest servidor.
- Qui està treballant.
- Quins serveis es podrien veure afectats.
- On són les còpies.
- Quant trigaríem a recuperar.
- Què passaria si la màquina no torna.
Aquest canvi de mentalitat probablement sigui una de les diferències més grans entre simplement mantenir sistemes i administrar infraestructura crítica.
La tecnologia mai és totalment predictible.
La nostra feina consisteix a intentar que, per als usuaris, ho sembli.