Controla qué aparece en Google con técnicas claras de indexación y desindexación. Aquí aprenderás a aplicar robots.txt, el meta robots noindex, nofollow y directorios con password para proteger el backend, gestionar páginas de campañas y decidir qué contenido es visible para buscadores y usuarios.
¿Por qué bloquear la indexación en ciertos directorios o páginas?
Elegir qué rastrea e indexa Google es clave para la privacidad y la estrategia de tráfico. Si tienes un subdirectorio con el backend o páginas destinadas solo a campañas, conviene restringir el acceso. Así evitas exposición de información privada y que páginas específicas capten tráfico orgánico no deseado.
- Proteger secciones privadas del backend con datos sensibles.
- Evitar tráfico orgánico en landing pages de campañas.
- Mantener el foco de contenidos que sí deben posicionar.
- Complementar una estructura de enlaces rastreables con reglas de desindexación.
¿Cómo usar robots.txt para controlar el rastreo?
El archivo robots.txt da instrucciones a los robots de búsqueda sobre qué no deben acceder o indexar. Debe alojarse en el root del dominio: dominio/robots.txt, y su extensión es siempre .txt.
¿Dónde se aloja y qué sintaxis usa?
La configuración combina dos líneas básicas:
- user agent: define a qué buscador se dirige la regla. Por ejemplo, Google bot, Bing bot o un asterisco para todos.
- disallow: indica el directorio o la URL a la que no se permite el acceso.
Puedes bloquear un subdirectorio completo o una página específica. Si la página tiene extensión, inclúyela: .html o .php.
¿Qué alcance tiene disallow y qué limitaciones?
- Usar una barra sola en disallow bloquea todo el dominio.
- Al listar una URL, solo se excluye esa página.
- Al apuntar a un subdirectorio, se excluye todo su contenido.
- Importante: robots.txt es una directiva de acceso. Si otras webs enlazan contenido bloqueado, Google podría indexarlo igualmente.
¿Cuándo aplicar meta tags noindex y directorios con password?
Cuando necesitas impedir la indexación de forma fiable, combina instrucciones dentro del HTML y barreras técnicas en el servidor.
¿Qué hace el meta robots noindex, nofollow?
El meta tag se coloca en el head del HTML con name igual a robots y content con noindex, nofollow. Indica que esa página no debe indexarse y que los enlaces internos no deben recorrerse. Es una de las formas más efectivas para evitar que el contenido aparezca en resultados.
¿Por qué proteger con password ciertos directorios?
Otra forma muy efectiva es bloquear el acceso técnico. Un directorio con password impide que Google entre, por lo que no puede rastrear ni indexar ese contenido.
¿Listo para aplicar estas prácticas? Comparte en comentarios qué secciones vas a proteger y qué técnica usarás: robots.txt, noindex o password.
