Que es el archivo robots.txt y para que sirve
El archivo robots.txt es un archivo de texto en la raiz de tu sitio que da instrucciones a los robots de los motores de busqueda sobre que partes del sitio pueden rastrear y cuales no. No es un mecanismo de seguridad (los robots maliciosos lo ignoran), pero si es una herramienta importante para guiar el rastreo de Google hacia el contenido que importa.
Como ver el robots.txt actual de tu sitio
Visita tudominio.com/robots.txt en el navegador. Cualquier sitio WordPress tiene uno por defecto.
El robots.txt por defecto de WordPress
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Esta configuracion basica bloquea el acceso al panel de administracion (correcto) y permite la ruta de ajax (necesaria para algunas funcionalidades del frontend).
Como editar el robots.txt en WordPress
Con Yoast SEO
- Yoast SEO > Herramientas > Editor de archivos.
- Edita el archivo robots.txt directamente desde el panel de WordPress.
- Guarda los cambios.
Directamente via cPanel
- Accede al Administrador de Archivos de cPanel en WebHosting MX.
- Navega a public_html y abre el archivo robots.txt.
- Edita el contenido y guarda.
Reglas utiles para el robots.txt de WordPress
| Regla | Para que |
|---|---|
| Disallow: /wp-admin/ | Bloquear el panel de admin del rastreo |
| Disallow: /wp-includes/ | Bloquear archivos del nucleo de WordPress |
| Disallow: /?s= | Bloquear los resultados de busqueda interna (contenido duplicado) |
| Disallow: /tag/ | Bloquear paginas de etiquetas si generan contenido delgado |
| Sitemap: tudominio.com/sitemap_index.xml | Indicar la ubicacion del sitemap directamente en robots.txt |
Error critico que debes verificar
Si tu sitio no aparece en Google, lo primero que debes revisar es que el robots.txt no contenga Disallow: /, que bloquea el rastreo de todo el sitio. Tambien verifica en WordPress > Ajustes > Lectura que la casilla "Desalentar a los motores de busqueda de indexar este sitio" este desmarcada.
