El sábado por la noche nos volvimos a ir a la mierda, y esta vez han sido unas cuantas horas (30 casi), por una serie de casualidades/catástrofes.
El sábado por la noche empezó a cascar el almacenamiento (cosa que pasa de vez en cuando)…
El log mostraba cosas como esta…
kernel: connection1:0: detected conn error (1011)
Jan 8 23:51:44 xx iscsid: Kernel reported iSCSI connection 1:0 error (1011) state (3)
Jan 8 23:52:07 xx iscsid: connect failed (110)
Jan 8 23:52:32 xx iscsid: connect failed (110)
Jan 8 23:52:36 xx iscsid: connection1:0 is operational after recovery (3 attempts)
Lo normal cuando pasa esto es esperar a que lo arreglen (el proveedor) y punto, esta vez (no se porque) el disco se puso en modo lectura (con lo cual empezó a fallar todo) asi que, cuando informaron de que se había solucionado el problema con el almacenamiento, reinicie…XD y se fue a la mierda aun mas.
Tras un par de reincios infructuosos, entre en el modo KVM (algo muy de agradecer por parte de ovh) para mirar que pasaba…
VFS: Cannot open root device «xxx» or unknown block (0,0) y un bonito kernel panic…
ufff, mala pinta…
Otro reinicio mas en modo rescue para intentar montar el disco, se monta bien… así que se descarta problema en almacenamiento.
Es una putada que no se pueda ejecutar un e2fsck (por problemas de la maquina de rescate), menos mal que los de ovh tienen un estático compilado para estas cosas (e2fsck.static), aunque no lo digan en ningún lado (o yo no haya sido capaz de leerlo), así que, lo pasas, arreglas los sectores defectuosos (que ya es puta casualidad que justo haya sido en el boot)… cambio de netboot a su kernel y todo listo de nuevo.
Una putada que el soporte tarde tanto en contestar, pero bueno, por lo que cuesta tampoco se le puede pedir peras al olmo…