Mapeo de aplicaciones web y análisis de archivos de interés

• El comando “wget -r nombredelsitioweb” descarga la estructura de la pagina web
• El archivo robots.txt indica a los buscadores que indexar y que no

ARCHIVO DE INTERÉS
robots.txt
Es para indicar a los buscadores que áreas del sitio web se desea indexar y cuales NO. Es un archivo colaborativo, solamente las organizaciones que colaboren cumplirán con lo que se le pida (Google,Bing, etc).

Soy nuevo en este mundo de ciberseguridad, inicie desde el curso introductorio, muy interesante, espero seguir aprendiendo, como digo, es totalmente nuevo para mi.

y faltan otros como:
Google hacking
Google dorks
etc

Recolección de inteligencia pasiva

1. Iniciamos la máquina virtual de kali Linux
2. Abrimos la consola y escribimos
   cd Desktop
   mkdir platzi
   cd platzi
   wget -r platzi . com
3. Dentro de la carpeta platzi que se descarga, se puede observar la estructura de la página de platzi.
4. el archivo robots.txt indica a los buscadores que indexar y que no.
   NOTA: Para mapear una aplicación web, utilizamos la herramienta wget -r y el archivo robots.txt indica a los buscadores que indexar.

Hola Compañeros,
siento que hay cierta contradicción en lo que dice en el min 4:06 y el ultimo ejemplo pues me pierdo un poco si solo se ponen las rutas con el Disallow para que no sean indexadas, creo que no especifica que en ese no aplica el ejemplo.
Gracias!