Para un tío que se ha pasado media vida montando firewalls, estas cosas solo las había visto en libros … :). Y de repente me veo metido en medio de una de ellas. Los síntomas fueron … unos cuantos switches con la CPU hasta arriba.
Lo primero que pensamos fue en algún backup o movimiento a lo bestia de datos. Preguntamos y nadie sabia nada (como suele ser habitual). Abrimos un TAC a cisco y después de algunas pruebas (ver aquí) llegaron a la conclusión de que el problema venia por una tormenta de broadcast que dejaba a los switches pequeños fritos.
El problema con estas cosas es que tienes que pillarlas cuando están pasando …
Lo primero que hicimos fue configurar el storm-control en todos los puertos del switch de CORE que conectaban con los swithes de acceso y que se habían visto afectados.
Y configuramos el storm control en los portchannels (ojo con esto, si usas portchannels y lo pones en el interface lo tumbas)
conf t
interface port-channelx
storm-control broadcast level 40.00
storm-control multicast level 40.00
end
https://www.cisco.com/c/en/us/td/docs/routers/7600/ios/12-1E/configuration/guide/storm.html
Así por lo menos, cuando vuelva a pasar el switch bloqueara los paquetes broadcast (y los multicast) hasta que vuelvan a ser normales. Ahora solo nos falta averiguar quien es el que genera el trafico … así que dejamos un portátil conectado a uno de los switches con el sniffer puesto (y haciendo span del puerto que conecta contra el core).
Por cierto … para mitigar el problema todo esto esta muy bien … pero vete pensando en segmentar alguna red … o si la pasta te lo permite … poner un firewall en medio.