El crawl budget es uno de los conceptos del SEO técnico que más se menciona en auditorías avanzadas y que menos se entiende en la práctica. No porque sea complicado conceptualmente, sino porque sus efectos son silenciosos: un sitio con un crawl budget mal gestionado no muestra errores obvios en Search Console, no genera alertas automáticas y no produce caídas de tráfico inmediatas y dramáticas. Lo que produce es algo más difícil de detectar: páginas estratégicas que Google rastrea con menos frecuencia de la necesaria, contenido nuevo que tarda semanas en indexarse y oportunidades de posicionamiento que se pierden porque Google nunca llegó a procesar las URLs correctas.
Para sitios pequeños con pocas páginas, el crawl budget raramente es un problema. Para sitios medianos y grandes —ecommerce con miles de productos, medios de comunicación con mucho contenido histórico, sitios corporativos con arquitecturas complejas— es un factor que puede estar limitando el crecimiento orgánico de forma significativa sin que el equipo lo sepa.
Qué es el crawl budget exactamente
El crawl budget es el número de URLs que Googlebot está dispuesto a rastrear en un sitio durante un período de tiempo determinado. No es un número fijo ni público: es un límite implícito que Google calcula de forma dinámica para cada dominio en función de dos factores principales.
Crawl rate limit (límite de velocidad de rastreo): determina con qué intensidad puede rastrear Googlebot el sitio sin sobrecargar el servidor. Google ajusta este límite de forma automática basándose en la velocidad de respuesta del servidor: si el servidor responde rápido, Googlebot puede rastrear más agresivamente; si responde lento o con errores, Google reduce la frecuencia de rastreo para no degradar la experiencia de los usuarios reales del sitio.
Crawl demand (demanda de rastreo): determina cuánto interés tiene Google en rastrear el sitio. Este factor depende principalmente de dos cosas: la popularidad del sitio —cuántos enlaces externos apuntan a él y cuánto tráfico orgánico genera— y la frecuencia con la que cambia su contenido. Un sitio popular que actualiza contenido con frecuencia tiene más demanda de rastreo que uno con poco tráfico y contenido estático.
La combinación de ambos factores determina cuántas páginas rastrea Googlebot en el sitio dentro de un período de tiempo. Si el sitio tiene más URLs que el crawl budget disponible, Google tiene que priorizar cuáles rastrea y con qué frecuencia, lo que significa que algunas páginas pueden rastrearse con mucha menos frecuencia que otras o no rastrearse en absoluto en períodos razonables.
Google publicó en 2023 una actualización de su documentación oficial sobre crawl budget, aclarando que para la mayoría de los sitios con menos de mil páginas indexables el crawl budget no es una preocupación relevante. A partir de ese umbral, empieza a tener impacto real sobre la velocidad de indexación.
Por qué el crawl budget importa más de lo que parece
La razón más directa por la que el crawl budget importa es simple: si Google no rastrea una página, no puede indexarla. Y si no la indexa, no puede posicionarla. Esto conecta directamente con los fundamentos del crawleo e indexación que abordamos en profundidad en otro artículo del blog.
Hay tres situaciones concretas donde el crawl budget tiene un impacto real y medible.
Indexación lenta de contenido nuevo. Si el sitio publica contenido nuevo con frecuencia —artículos, productos, páginas de categoría— pero el crawl budget está siendo consumido por páginas de poco valor, ese contenido nuevo puede tardar días o semanas en ser rastreado e indexado, retrasando el momento en que empieza a generar tráfico orgánico.
Páginas estratégicas rastreadas con baja frecuencia. Si las páginas más importantes del sitio —las que generan más tráfico y conversiones— se rastrean con menos frecuencia que las páginas de menor valor, las actualizaciones de contenido en esas páginas tardan más en ser procesadas por Google, lo que retrasa el impacto de las optimizaciones SEO realizadas sobre ellas.
Páginas sin valor que consumen el presupuesto disponible. Este es el problema más frecuente. Sitios con miles de URLs generadas automáticamente por parámetros de URL, páginas de resultados de filtros, páginas de búsqueda interna o versiones duplicadas de contenido hacen que Googlebot gaste su presupuesto de rastreo en páginas que no aportan valor al índice, a costa de rastrear con menos frecuencia las páginas que sí importan.
Qué consume el crawl budget sin generar valor
Antes de optimizar el crawl budget, hay que identificar qué está consumiéndolo de forma innecesaria. Estas son las fuentes más comunes de desperdicio de crawl budget que encontramos en auditorías.
URLs con parámetros de sesión o de seguimiento
Cuando las URLs del sitio incluyen parámetros de sesión —?sessionid=XYZ— o de seguimiento —?utm_source=newsletter— cada variación genera una URL diferente que Googlebot puede intentar rastrear de forma independiente. Un sitio con tráfico moderado puede generar miles de variaciones de URL a partir de unas pocas páginas reales, multiplicando el número de URLs que Googlebot intenta rastrear sin que ninguna de ellas aporte contenido único al índice.
La solución es configurar el manejo de parámetros de URL en Google Search Console para indicarle a Google qué parámetros puede ignorar, y asegurarse de que las URLs de seguimiento externas no llegan al sitio sin ser filtradas.
Páginas de resultados de filtros en ecommerce
En una tienda online con opciones de filtrado por talla, color, precio y marca, cada combinación de filtros puede generar una URL nueva. Un catálogo con diez atributos de filtrado puede generar miles o incluso millones de combinaciones de URL, la gran mayoría sin contenido único ni volumen de búsqueda propio.
Gestionar esto correctamente requiere una combinación de noindex en las URLs de filtro sin valor SEO propio, bloqueo en robots.txt para los parámetros que generan más variaciones, y uso correcto del atributo canonical hacia la URL de categoría principal. En nuestro artículo sobre SEO para ecommerce desarrollamos este problema con más detalle.
Páginas de búsqueda interna del sitio
Los resultados de búsqueda interna del sitio —accesibles normalmente mediante URLs con parámetros como ?s=término o /search?q=término— son páginas que no tienen ningún valor SEO porque su contenido varía según la consulta del usuario y no responde a ninguna intención de búsqueda externa. Sin embargo, si no están bloqueadas en robots.txt, Googlebot puede intentar rastrearlas, especialmente si están enlazadas internamente desde otras partes del sitio.
URLs con errores 4xx que siguen siendo rastreadas
Las páginas con respuesta 404 o 410 que siguen apareciendo en los informes de rastreo de Google Search Console son un indicador de que Googlebot está gastando recursos en URLs que ya no existen. Pueden provenir de productos descatalogados sin redirección, de páginas eliminadas sin gestión de canonicals, o de URLs incorrectas que otros sitios siguen enlazando. En nuestro artículo sobre qué hacer con los productos agotados abordamos específicamente cómo gestionar este escenario en ecommerce.
Contenido duplicado sin canonical
Cuando el mismo contenido es accesible desde múltiples URLs sin un canonical que indique cuál es la versión principal, Google puede rastrear todas las versiones de forma independiente, multiplicando el consumo de crawl budget sin indexar ninguna de ellas de forma óptima. Esto está directamente relacionado con los errores comunes de SEO que más frecuentemente frenan el posicionamiento.
Páginas paginadas en profundidad
La paginación de categorías o de secciones de blog genera URLs como /categoria/page/2/, /categoria/page/3/, y así hasta profundidades que raramente generan tráfico orgánico. Las páginas más profundas de la paginación tienen poco o ningún valor SEO pero pueden consumir una parte significativa del crawl budget si no se gestiona correctamente su rastreo.
Cómo analizar el crawl budget de un sitio
Antes de tomar ninguna acción, hay que entender cómo está usando Google el crawl budget actualmente. Las herramientas más útiles para este análisis son las siguientes.
Informe de estadísticas de rastreo en Search Console: disponible en Configuración > Estadísticas de rastreo, es el punto de partida más accesible. Muestra la evolución del número de páginas rastreadas por día, el volumen de solicitudes de rastreo, el tiempo de respuesta del servidor y los tipos de recursos que Googlebot está rastreando. Un pico en el número de páginas rastreadas combinado con un aumento en los errores de rastreo es una señal clara de que hay URLs problemáticas consumiendo el presupuesto.
Logs del servidor: el análisis de los logs del servidor es el método más preciso para entender el crawl budget porque muestra exactamente qué URLs visitó Googlebot, con qué frecuencia y en qué orden. A diferencia de Search Console, que solo muestra datos agregados, los logs permiten identificar qué URLs específicas está rastreando Google y detectar patrones de rastreo ineficiente. Es un análisis más técnico que requiere acceso a los logs del servidor o una herramienta específica para procesarlos como Screaming Frog Log Analyzer.
Screaming Frog SEO Spider: rastrear el sitio con Screaming Frog permite identificar el número total de URLs rastreables, detectar URLs con parámetros que generan duplicados, encontrar páginas huérfanas y evaluar la profundidad de la arquitectura. Toda esa información es relevante para entender qué factores están afectando al crawl budget. Si no estás familiarizado con la herramienta, en nuestro artículo sobre herramientas SEO para Pymes explicamos para qué tipo de proyectos tiene más sentido usarla.
Acciones concretas para optimizar el crawl budget
Una vez identificados los problemas, estas son las acciones que tienen más impacto sobre la eficiencia del crawl budget.
Bloquear en robots.txt las secciones sin valor SEO. Páginas de búsqueda interna, páginas de carrito y checkout, páginas de login, y en algunos casos URLs de filtros de ecommerce. El bloqueo en robots.txt es la forma más directa de impedir que Googlebot consuma presupuesto en estas secciones.
Implementar noindex en páginas de poco valor que deben seguir siendo accesibles. Páginas de paginación profunda, páginas de etiquetas o de archivos con poco contenido, o páginas de filtros con bajo volumen de búsqueda. La etiqueta noindex no impide el rastreo pero sí la indexación, lo que eventualmente lleva a Google a rastrearlas con menos frecuencia al entender que no aportan valor al índice.
Limpiar el sitemap de URLs innecesarias. El sitemap XML debe incluir únicamente las URLs indexables y en buen estado. Un sitemap limpio ayuda a Google a priorizar el rastreo de las URLs que realmente importan.
Mejorar la velocidad de respuesta del servidor. Un servidor que responde rápido permite que Googlebot rastree más páginas en el mismo período de tiempo sin sobrecargar la infraestructura. Las mejoras de rendimiento del servidor tienen un efecto directo sobre el crawl rate limit, que es uno de los dos factores que determinan el crawl budget disponible.
Reducir la profundidad de la arquitectura. Las páginas que están a más de tres o cuatro clics de la home son rastreadas con menos frecuencia que las que están más cerca de la raíz de la arquitectura. Revisar y reducir la profundidad de las secciones más importantes del sitio mejora tanto el crawl budget como la distribución de autoridad interna, algo que también desarrollamos en el artículo sobre tipos de SEO.
Corregir los errores 404 con redirecciones o eliminando los enlaces que apuntan a ellos. Las URLs que retornan 404 y siguen siendo rastreadas son un desperdicio directo de crawl budget. Si la página tuvo valor y tiene un sucesor natural, lo correcto es una redirección 301. Si no lo tiene, eliminar los enlaces internos que apuntan a esa URL reduce la probabilidad de que Googlebot siga intentando rastrearla.
Consolidar contenido duplicado mediante canonicals. Asegurarse de que todas las variaciones de una misma URL tienen un canonical correcto hacia la versión principal reduce el número de URLs que Google rastrea de forma independiente, concentrando el presupuesto de rastreo en las versiones que deben aparecer en el índice.
Cómo saber si el crawl budget está afectando al posicionamiento
No siempre es fácil determinar si los problemas de indexación o de posicionamiento de un sitio están relacionados con el crawl budget o con otros factores. Estas son las señales más claras de que el crawl budget puede estar siendo el problema.
El contenido nuevo tarda más de dos semanas en aparecer indexado después de su publicación, sin que haya ningún problema técnico evidente en la inspección de URLs de Google Search Console. Las páginas estratégicas del sitio muestran fechas de último rastreo con muchos días de antigüedad, incluso cuando su contenido se actualiza frecuentemente. El informe de cobertura de Search Console muestra un número de páginas rastreadas significativamente inferior al número de páginas que debería tener el sitio. O el análisis de logs del servidor muestra que Googlebot está visitando con alta frecuencia secciones del sitio sin valor SEO a costa de visitar con muy poca frecuencia las secciones estratégicas.
Si se cumplen varios de estos síntomas simultáneamente, el crawl budget es probablemente un factor relevante en los problemas de visibilidad orgánica del sitio y merece una auditoría específica.
El crawl budget no es un concepto que interese a todos los equipos SEO por igual: para un blog pequeño o un sitio corporativo de veinte páginas, es un tema irrelevante. Pero para cualquier sitio que supera el umbral donde Google tiene que priorizar qué rastrear, entender cómo funciona y cómo optimizarlo es parte del trabajo técnico que separa una estrategia SEO que escala de una que se estanca sin razón aparente.
