Terminando de configurar el nuevo servidor. Normalmente cada CMS se hace cargo de sus paginas de error, pero para todos los escaneos que se hacen por ip hay que modificar las paginas por defecto en apache.
Para hacerlo:
/…/apache2/conf-enabled
editamos localized-error-pages.conf
Y descomentamos la entrada ErrorDocument 404 /missing.html
Ahora editamos el contenido del fichero missing.html (que esta en /var/www o /var/www/html depende de las instalaciones) con lo que queremos mostrar.
Reinicio de apache y listo.