El sitemap XML y el archivo robots.txt son dos de los elementos técnicos más básicos del SEO y, paradójicamente, dos de los que más errores de configuración acumulan. No porque sean difíciles de implementar —cualquier CMS moderno los genera de forma automática— sino porque se instalan una vez y raramente se revisan, lo que hace que los errores pasen desapercibidos durante meses mientras afectan silenciosamente al rastreo y la indexación del sitio.
Son también dos elementos que se confunden con frecuencia porque ambos tienen relación con el control de lo que Google rastrea e indexa, pero su función es completamente distinta y su uso incorrecto puede tener consecuencias opuestas. El robots.txt le dice a Google a qué puede acceder. El sitemap le dice a qué debería prestar atención. Usarlos bien juntos es la base de una buena gestión del crawl budget, especialmente en sitios con muchas páginas.
En seopley los revisamos en todas las auditorías de SEO técnico porque los errores en estos dos archivos están detrás de muchos problemas de indexación que a primera vista parecen tener otra causa. Este artículo explica cómo funciona cada uno, cómo configurarlos correctamente y qué errores evitar.
El archivo robots.txt: qué es y qué controla exactamente
El robots.txt es un archivo de texto plano ubicado en la raíz del dominio —accesible en dominio.com/robots.txt— que contiene instrucciones para los bots de los motores de búsqueda sobre qué partes del sitio pueden rastrear y cuáles deben ignorar.
Su función es exclusivamente de control de rastreo, no de indexación. Este es el malentendido más frecuente y el que genera más errores de configuración: bloquear una URL en robots.txt no impide que esa URL aparezca en los resultados de búsqueda. Si otros sitios enlazan a esa URL, Google puede conocer su existencia y mostrarla en las SERPs aunque no haya podido leer su contenido. Para excluir una página del índice de Google, el mecanismo correcto es la etiqueta meta robots con valor noindex, no el robots.txt.
Lo que sí hace el robots.txt de forma efectiva es impedir que Googlebot acceda al contenido de ciertas URLs, lo que tiene dos aplicaciones legítimas principales: proteger secciones del sitio que no deben ser rastreadas por razones de seguridad o privacidad, y gestionar el crawl budget evitando que Googlebot consuma recursos de rastreo en páginas sin valor SEO.
Estructura del archivo robots.txt
La sintaxis del robots.txt es simple pero debe seguirse con precisión porque los errores de formato pueden invalidar las instrucciones o generar comportamientos no esperados.
Un archivo robots.txt básico tiene esta estructura:
User-agent: *
Disallow: /admin/
Disallow: /carrito/
Disallow: /checkout/
Allow: /
Sitemap: https://dominio.com/sitemap.xmlUser-agent: especifica a qué bot aplican las instrucciones que siguen. El asterisco (*) significa que aplican a todos los bots. Se puede especificar un bot concreto —User-agent: Googlebot— para dar instrucciones específicas solo a Google.
Disallow: indica las rutas que el bot no debe rastrear. Una barra diagonal sola (Disallow: /) bloquea el rastreo de todo el sitio, lo que es el error más grave posible y uno que vemos con más frecuencia de la que debería ocurrir, generalmente como herencia de una configuración de entorno de desarrollo.
Allow: indica excepciones dentro de una ruta bloqueada. Si se bloquea /admin/ pero se quiere permitir el acceso a /admin/guia-publica/, se añade una línea Allow: /admin/guia-publica/ después del Disallow.
Sitemap: la ubicación del sitemap XML del sitio. Incluirla en el robots.txt facilita que cualquier bot —no solo Googlebot— encuentre el sitemap sin necesidad de que esté enviado manualmente en ninguna plataforma de webmaster tools.
Qué bloquear y qué no en el robots.txt
La decisión de qué incluir en el robots.txt debe ser deliberada, no automática. Estas son las categorías de páginas que habitualmente tiene sentido bloquear y las que nunca deberían bloquearse.
Páginas que conviene bloquear:
- Páginas de administración del CMS (
/wp-admin/,/admin/) - Páginas de proceso de compra y carrito (
/carrito/,/checkout/) - Páginas de login y registro de usuarios
- Páginas de búsqueda interna del sitio
- URLs con parámetros de sesión o de seguimiento que generan duplicados
- Páginas de resultados de filtros sin valor SEO propio
Páginas que nunca deben bloquearse:
- Páginas de categorías y productos estratégicos en ecommerce
- Artículos del blog y páginas de contenido editorial
- Páginas de servicios y de landing pages estratégicas
- Archivos CSS y JavaScript que Google necesita para renderizar correctamente las páginas
- El propio sitemap XML
Este último punto merece especial atención. Bloquear los archivos CSS y JavaScript en robots.txt era una práctica habitual en versiones antiguas del SEO. Hoy es un error que puede impedir que Google renderice correctamente el contenido de las páginas, afectando tanto al rastreo como a la evaluación de los Core Web Vitals.
La guía oficial de Google sobre robots.txt detalla la sintaxis completa, los valores aceptados y las reglas de precedencia cuando hay instrucciones conflictivas en el mismo archivo.
El sitemap XML: qué es y para qué sirve realmente
El sitemap XML es un archivo estructurado en formato XML que lista las URLs del sitio que el propietario considera importantes para que Google las rastree e indexe. Es una forma de comunicación directa con Google sobre la arquitectura del sitio: no solo le dice qué páginas existen, sino que puede incluir metadatos adicionales como la fecha de última modificación y la frecuencia de cambio estimada de cada URL.
Es importante entender qué es el sitemap y qué no es. El sitemap es una sugerencia, no una instrucción. Google no está obligado a rastrear ni a indexar todas las URLs que aparecen en el sitemap, y puede rastrear e indexar URLs que no están en el sitemap si las descubre a través de enlaces. El sitemap acelera el descubrimiento de contenido y facilita el rastreo de sitios con muchas páginas, pero no garantiza la indexación de ninguna URL por sí solo.
Qué debe incluir el sitemap XML y qué no
El error más frecuente con el sitemap es incluir en él URLs que no deberían estar ahí. Un sitemap limpio y bien configurado incluye únicamente las URLs que se quieren indexar, lo que significa que deben cumplir todas estas condiciones simultáneamente:
- Retornan una respuesta HTTP 200 (no son páginas con error ni redirigidas)
- No tienen etiqueta
meta robotscon valornoindex - No están bloqueadas en robots.txt
- Son la versión canónica de su contenido (no tienen canonical hacia otra URL)
- Tienen contenido de valor para el usuario y para Google
Incluir en el sitemap URLs que no cumplen alguna de estas condiciones le envía señales contradictorias a Google. Si una URL aparece en el sitemap pero tiene noindex, Google interpreta que el sitio le está diciendo dos cosas opuestas al mismo tiempo: “esta página es importante” (sitemap) y “no la indexes” (noindex). Esa contradicción consume recursos de rastreo sin producir ningún resultado útil.
Las URLs que habitualmente no deben estar en el sitemap son: páginas de carrito y proceso de compra, páginas de login y registro, páginas de resultados de búsqueda interna, URLs con parámetros de seguimiento o de sesión, páginas de política de privacidad y términos legales (no siempre, depende del caso), y cualquier URL con etiqueta noindex.
Tipos de sitemap: cuándo usar más de uno
Para sitios con mucho contenido de tipos distintos, puede tener sentido usar múltiples sitemaps especializados y un sitemap índice que los agrupe. Google acepta sitemaps con un máximo de 50.000 URLs y un tamaño máximo de 50 MB sin comprimir. Si el sitio supera estos límites, es obligatorio dividir el sitemap en varios archivos.
Los tipos de sitemap más habituales son:
Sitemap de páginas: lista las URLs de las páginas principales del sitio: home, servicios, about, contacto y cualquier página estática relevante.
Sitemap de posts o artículos: lista los artículos del blog o la sección editorial del sitio. En sitios con mucho contenido publicado de forma frecuente, tener un sitemap específico para artículos facilita que Google detecte el contenido nuevo más rápidamente.
Sitemap de productos: específico para ecommerce, lista las fichas de producto activas del catálogo. Mantenerlo actualizado cuando los productos se añaden, se modifican o se descatalogan es importante para que Google no desperdicie recursos rastreando fichas inexistentes.
Sitemap de imágenes: lista las imágenes del sitio con sus metadatos. Mejora la presencia del sitio en Google Images, relevante especialmente para ecommerce, fotografía o sitios con mucho contenido visual.
Sitemap índice: cuando hay múltiples sitemaps, el sitemap índice los agrupa en un único archivo que referencia a cada uno. Es el que se envía a Search Console cuando el sitio tiene varios sitemaps.
Cómo enviar el sitemap a Google
Existen tres formas de hacer que Google conozca la ubicación del sitemap del sitio, y conviene usar más de una para maximizar la probabilidad de que se procese correctamente.
A través de Google Search Console: es la forma más directa y la que ofrece más visibilidad sobre el estado de procesamiento del sitemap. En la sección Indexación > Sitemaps de Search Console se puede añadir la URL del sitemap y ver cuándo fue procesado por última vez, cuántas URLs reconoció Google y si hay errores.
Incluyéndolo en el robots.txt: añadiendo la línea Sitemap: https://dominio.com/sitemap.xml al final del robots.txt, cualquier bot que visite el robots.txt conocerá la ubicación del sitemap automáticamente. Es una práctica recomendada que complementa el envío a Search Console.
Mediante ping directo a Google: se puede notificar a Google de la existencia o actualización del sitemap enviando una solicitud a https://www.google.com/ping?sitemap=URL_DEL_SITEMAP. Es útil para notificar actualizaciones importantes del sitemap, aunque Google normalmente lo detecta de forma automática dentro de un período razonable.
Cómo verificar que robots.txt y sitemap están correctamente configurados
La verificación no debe hacerse solo en el momento de la configuración inicial: conviene revisarlos periódicamente y siempre después de cambios importantes en el sitio, como migraciones, actualizaciones del CMS o cambios en la estructura de URLs.
Para el robots.txt: Google Search Console incluye una herramienta de prueba de robots.txt en la sección Configuración > Robots.txt. Permite introducir cualquier URL del sitio y ver si las reglas actuales del robots.txt la bloquearían para Googlebot. Es la forma más directa de verificar que las instrucciones están funcionando como se espera.
Para el sitemap: el informe de Sitemaps en Search Console muestra el estado de cada sitemap enviado: fecha de último procesamiento, número de URLs enviadas y número de URLs indexadas. Una discrepancia significativa entre URLs enviadas e URLs indexadas es una señal de que algunas de las URLs del sitemap tienen problemas que impiden su indexación.
Herramientas como Screaming Frog también permiten rastrear el sitio y cruzar las URLs del sitemap con el estado real de cada URL —código HTTP, etiqueta noindex, canonical— lo que facilita la detección de inconsistencias sin revisar cada URL manualmente.
Los errores más comunes que encontramos en auditorías
En las auditorías de SEO técnico que realizamos en seopley, estos son los problemas de robots.txt y sitemap que aparecen con más frecuencia.
Disallow: / en el robots.txt de producción. El error más grave y más frecuente de lo que debería. Bloquea el rastreo de todo el sitio. Suele ser una herencia de la configuración del entorno de desarrollo o de staging que no se eliminó al lanzar el sitio en producción. Su efecto es devastador sobre la indexación y puede pasar desapercibido durante semanas.
Sitemap con URLs que retornan 404. Páginas eliminadas o cuyas URLs cambiaron pero que siguen apareciendo en el sitemap. Conviene generar el sitemap de forma dinámica a partir del contenido activo del CMS para evitar este problema.
Sitemap con URLs redirigidas. Similar al anterior. El sitemap debe contener solo las URLs finales, no las que tienen redirección hacia otra URL. Incluir URLs redirigidas en el sitemap consume recursos de rastreo innecesariamente.
Sitemap no enviado a Search Console. El sitemap existe pero Google no sabe dónde está porque nunca se envió a Search Console y no está declarado en el robots.txt. En estos casos, Google puede no rastrearlo o hacerlo con mucho menos frecuencia.
URLs bloqueadas en robots.txt que también están en el sitemap. La contradicción más directa posible entre los dos archivos. Google lo detecta y genera advertencias en Search Console, pero el problema subyacente debe corregirse manualmente.
robots.txt que bloquea CSS o JavaScript. Impide que Google renderice correctamente las páginas, lo que puede afectar tanto a la comprensión del contenido como a la evaluación de los Core Web Vitals.
Robots.txt y sitemap XML son dos archivos que no generan ningún titular cuando están bien configurados. Su trabajo es silencioso y su valor se percibe en la ausencia de problemas: páginas indexadas correctamente, crawl budget bien distribuido y Google con acceso fluido al contenido que importa. Revisarlos con regularidad y después de cualquier cambio estructural en el sitio es una de las prácticas de mantenimiento técnico SEO con mejor relación entre esfuerzo e impacto.
