En CD que tenia perdido pude rescatar este bloqueador de robots y algunos programas que descargan una web completa
Fijense dentro del codigo se tiene que crear una carpeta llamada data y dentro de la misma un archvo banbot.txt , si no quieren que se guarde en la carpeta ponen otro nombre sin olvidarse tambien de cambiar dentro del codigo



Leer más...