Antes de que Google pueda posicionar una página en sus resultados de búsqueda, necesita encontrarla, leerla y decidir si merece estar en su índice. Ese proceso —que ocurre de forma invisible y continua en millones de sitios al mismo tiempo— se llama crawleo e indexación, y es el punto de partida de cualquier estrategia SEO. Sin él, todo lo demás es irrelevante: el mejor contenido del mundo no posiciona si Google no puede acceder a él.
Es uno de los aspectos del SEO que más frecuentemente se da por sentado. Los equipos invierten tiempo en keyword research, en producción de contenido y en link building, asumiendo que Google encontrará y procesará todo lo que publican. Pero en la práctica, especialmente en sitios con muchas páginas o con una arquitectura técnica compleja, existen barreras que impiden que Google rastree e indexe correctamente partes del sitio sin que nadie lo detecte.
En seopley el crawleo y la indexación son lo primero que revisamos en cualquier auditoría SEO técnica. No porque sea lo más visible, sino porque es la base: si Google no puede rastrear el sitio correctamente, cualquier otro esfuerzo SEO construye sobre una base con grietas. Aquí te explicamos cómo funciona el proceso, qué puede salir mal y cómo asegurarse de que Google encuentre y procese correctamente todo el contenido que importa.
Cómo funciona el proceso de crawleo e indexación
Google opera una infraestructura de rastreo masiva conocida como Googlebot, un sistema de bots que recorre constantemente la web siguiendo enlaces de una página a otra. Cuando Googlebot visita una URL, lee su contenido, extrae los enlaces que contiene y los añade a una cola de URLs pendientes de rastrear. Este proceso se repite de forma continua y a escala global.
El crawleo y la indexación son dos etapas distintas y secuenciales dentro de este proceso.
Crawleo (rastreo): es el proceso mediante el cual Googlebot accede a una URL, descarga su contenido y lo procesa. En esta etapa, Google lee el HTML de la página, ejecuta (en cierta medida) el JavaScript, identifica los recursos vinculados —imágenes, hojas de estilo, scripts— y extrae los enlaces internos y externos que contiene.
Indexación: es el proceso posterior al crawleo, mediante el cual Google decide si la página merece ser añadida a su índice y qué posición semántica ocupa dentro de él. No todas las páginas que Google rastrea terminan indexadas: el algoritmo evalúa la calidad del contenido, la relevancia temática, la ausencia de señales de exclusión y otros factores antes de incluir una URL en el índice.
La distinción es importante porque un problema en el crawleo impide que Google llegue a la etapa de indexación, mientras que un problema en la indexación puede ocurrir aunque Google haya rastreado la página correctamente. Las causas y las soluciones son distintas en cada caso.
Según la documentación de Google Search Central, el proceso completo desde el rastreo hasta la aparición en los resultados puede tardar desde unos pocos días hasta varias semanas, dependiendo de la frecuencia con la que Googlebot visita el sitio y de la complejidad del contenido.
Cómo Google descubre nuevas URLs
Googlebot descubre URLs nuevas de tres formas principales, y entender estas vías es útil para asegurarse de que el contenido nuevo llega al radar de Google lo antes posible.
Siguiendo enlaces internos
La forma más habitual de que Googlebot descubra páginas nuevas dentro de un sitio es siguiendo los enlaces internos desde páginas que ya conoce. Una página nueva que no recibe ningún enlace interno desde otras páginas del sitio —lo que se denomina página huérfana— puede tardar mucho más en ser descubierta, o directamente no serlo nunca si Googlebot no tiene un camino de enlaces que la conecte con el resto del sitio.
A través del sitemap XML
El sitemap es un archivo que lista las URLs del sitio que el propietario considera importantes para indexar. Enviarlo a Google a través de Search Console es la forma más directa de comunicarle qué páginas existen y cuáles son prioritarias. Google no está obligado a rastrear todas las URLs del sitemap, pero tenerlo correctamente configurado acelera el descubrimiento de contenido nuevo.
Desde enlaces externos
Cuando otro sitio web enlaza a una URL del propio sitio, Googlebot puede descubrirla siguiendo ese enlace durante el rastreo del sitio de origen. Esta es una de las razones por las que el link building tiene un efecto adicional sobre la velocidad de indexación: además de transmitir autoridad, los backlinks desde sitios con alta frecuencia de rastreo pueden acelerar el descubrimiento de páginas nuevas.
El crawl budget: por qué no todas las páginas se rastrean igual
Google no dedica los mismos recursos de rastreo a todos los sitios ni a todas las páginas de un mismo sitio. Cada dominio tiene un presupuesto implícito de rastreo —conocido como crawl budget— que determina con qué frecuencia y profundidad Googlebot visita sus páginas.
Para sitios pequeños con pocas páginas, el crawl budget rara vez es un problema: Google tiene capacidad suficiente para rastrear todo el sitio con frecuencia. Para sitios grandes —especialmente ecommerce con miles de páginas de producto y de filtros— el crawl budget se convierte en un factor crítico, porque si Googlebot gasta su presupuesto de rastreo en páginas de poco valor SEO, puede estar dejando sin rastrear las páginas estratégicas del sitio.
Las páginas que consumen crawl budget sin generar valor SEO son las más comunes en sitios con arquitectura compleja: páginas de resultados de filtros con múltiples parámetros en la URL, páginas de búsqueda interna del sitio, páginas de login, páginas de carrito o de proceso de compra, y versiones duplicadas de una misma URL generadas por parámetros de sesión o de seguimiento.
La gestión correcta del crawl budget implica asegurarse de que Google puede acceder fácilmente a las páginas más importantes del sitio —categorías, productos estratégicos, contenido editorial principal— mientras se bloquea o excluye el rastreo de las páginas que no aportan valor al índice.
Las herramientas para controlar qué rastrea e indexa Google
Existen varios mecanismos técnicos que permiten comunicarle a Google qué páginas debe rastrear, cuáles puede ignorar y cuáles no deben aparecer en los resultados de búsqueda. Conocer la función de cada uno y cuándo usar cuál es fundamental para no cometer errores que tengan consecuencias difíciles de revertir.
El archivo robots.txt
El archivo robots.txt es un documento de texto ubicado en la raíz del dominio (dominio.com/robots.txt) que contiene instrucciones para los bots de búsqueda sobre qué partes del sitio pueden rastrear y cuáles deben ignorar.
Es importante entender que robots.txt controla el rastreo, no la indexación. Bloquear una URL en robots.txt le impide a Googlebot acceder a ella, pero no garantiza que esa URL no aparezca en los resultados de búsqueda: si otros sitios enlazan a esa URL, Google puede conocer su existencia y mostrarla en los resultados aunque no haya podido leer su contenido.
El error más grave con robots.txt es bloquear accidentalmente secciones completas del sitio —incluyendo páginas que sí deben rastrearse e indexarse— especialmente durante migraciones de sitio o actualizaciones del CMS donde el archivo puede modificarse por error. Es uno de los primeros elementos que revisamos en una auditoría técnica porque su impacto puede ser devastador y su detección no siempre es inmediata.
La etiqueta meta robots y el atributo X-Robots-Tag
A diferencia de robots.txt, la etiqueta meta robots controla la indexación a nivel de página individual. Se coloca dentro del <head> de cada página y permite indicar a Google si debe indexar esa página y si debe seguir los enlaces que contiene.
Los valores más relevantes son noindex —que le indica a Google que no incluya esa URL en su índice— y nofollow —que le indica que no siga los enlaces que contiene. Ambos pueden combinarse: noindex, nofollow es la instrucción más restrictiva posible a nivel de etiqueta de página.
El atributo X-Robots-Tag funciona de forma similar pero se implementa a nivel de cabecera HTTP, lo que lo hace útil para tipos de archivos que no tienen <head> HTML, como PDFs o imágenes.
El error más común con la etiqueta meta robots es dejar páginas estratégicas con noindex de forma accidental, frecuentemente como herencia de una configuración de desarrollo o de staging que no se limpió correctamente al lanzar el sitio en producción. En seopley lo detectamos con frecuencia en auditorías de sitios que llevan meses sin posicionar sin una razón aparente de contenido o de autoridad.
El atributo canonical
El atributo canonical (rel="canonical") le indica a Google cuál es la versión preferida de una página cuando existe contenido duplicado o muy similar en varias URLs. No impide el rastreo ni fuerza la deindexación de las versiones no canónicas: es una señal que Google puede seguir o ignorar según su propio criterio, aunque en la práctica lo sigue en la gran mayoría de los casos.
Es especialmente relevante en ecommerce, donde una misma ficha de producto puede ser accesible desde múltiples URLs generadas por combinaciones de filtros, parámetros de sesión o variantes de color y talla. Sin canonicals bien implementados, Google puede distribuir la autoridad de esa página entre todas sus versiones en lugar de concentrarla en la URL principal.
El sitemap XML
El sitemap XML es el mapa que le facilita a Google la navegación por el contenido del sitio. Debe incluir únicamente las URLs que se quieren indexar —no las que tienen noindex, no las que están bloqueadas en robots.txt y no las que tienen canonical hacia otra URL— y estar correctamente enviado a Google a través de Google Search Console.
Un sitemap con URLs desactualizadas, URLs con errores 404 o URLs que no deberían estar en el índice le envía a Google señales contradictorias sobre qué es importante en el sitio. Mantenerlo actualizado de forma automática —lo que la mayoría de los CMS modernos hacen por defecto— y revisarlo periódicamente para detectar inconsistencias es una práctica básica de mantenimiento técnico SEO.
¿Cómo verificar el estado de rastreo e indexación en Google Search Console?
Google Search Console es la fuente de información más directa y fiable sobre el estado de rastreo e indexación de un sitio. Los informes que más información relevante ofrecen en este frente son los siguientes.
Informe de cobertura del índice: muestra el estado de todas las URLs que Google ha detectado en el sitio, clasificadas en cuatro categorías: válidas, válidas con advertencias, excluidas y con errores. Las páginas excluidas incluyen la razón específica de exclusión, lo que permite identificar si la exclusión es intencionada —por noindex o por canonical— o si está ocurriendo por un motivo no deseado.
Informe de sitemaps: muestra los sitemaps enviados, cuándo fueron procesados por última vez y cuántas URLs reconoció Google en cada uno. Una discrepancia grande entre el número de URLs en el sitemap y el número de URLs indexadas es una señal de que algo está impidiendo la indexación de parte del contenido.
Herramienta de inspección de URLs: permite analizar cualquier URL específica para ver si está indexada, cuándo fue rastreada por última vez, si hay problemas técnicos que impidan su indexación y qué versión del contenido tiene Google en caché. Es la herramienta más directa para diagnosticar problemas de indexación en URLs individuales.
Informe de estadísticas de rastreo: disponible en Configuración > Estadísticas de rastreo, muestra con qué frecuencia Googlebot visita el sitio, qué tipos de recursos rastrea y si hay errores de rastreo recurrentes. Es especialmente útil para detectar problemas de crawl budget en sitios grandes.
Los problemas de crawleo e indexación más frecuentes
En las auditorías técnicas que realizamos en seopley encontramos patrones que se repiten con frecuencia. Estos son los más habituales.
Páginas importantes con noindex heredado del entorno de desarrollo. Durante el desarrollo o el staging de un sitio, es habitual configurar noindex global para evitar que Google indexe una versión incompleta del sitio. El problema ocurre cuando esa configuración no se desactiva correctamente al lanzar el sitio en producción. El resultado es un sitio en vivo que Google no puede indexar.
Páginas huérfanas sin enlaces internos. Contenido publicado que no recibe ningún enlace interno desde otras páginas del sitio. Google puede nunca descubrirlo o tardará semanas en hacerlo aunque esté en el sitemap.
Sitemap con URLs en error o con noindex. Un sitemap que incluye URLs con respuesta 404, URLs redirigidas o URLs con etiqueta noindex le envía señales contradictorias a Google y consume recursos de rastreo en URLs que no deberían estar ahí.
Canonicals en cadena o en bucle. Una página A con canonical hacia B, y B con canonical hacia C, o peor, C con canonical hacia A. Estas cadenas o bucles de canonicals confunden a Google y pueden derivar en que ninguna de las versiones se indexe correctamente.
JavaScript que bloquea el rastreo del contenido principal. Google puede ejecutar JavaScript, pero lo hace en una segunda pasada de rastreo que puede ocurrir días después del rastreo inicial. Si el contenido principal de una página se renderiza únicamente mediante JavaScript sin una alternativa en HTML, Google puede rastrear la página y ver una versión vacía o incompleta de su contenido.
Redirecciones en cadena innecesarias. Una URL que pasa por tres o cuatro redirecciones antes de llegar al destino final pierde parte de la autoridad en cada salto y consume más recursos de rastreo que una redirección directa. Mantener las redirecciones lo más cortas posible es una práctica técnica básica.
¿Cómo garantizar que Google encuentra el contenido que importa?
El objetivo final de gestionar correctamente el crawleo y la indexación es asegurarse de que Google dedica sus recursos de rastreo a las páginas que realmente importan para el negocio y que esas páginas terminan indexadas sin fricciones técnicas que lo impidan.
Las acciones concretas que garantizan esto son: mantener una arquitectura de enlaces internos que conecte todas las páginas estratégicas con el resto del sitio, tener un sitemap actualizado y limpio que incluya solo URLs indexables, revisar periódicamente el informe de cobertura de Search Console para detectar nuevos errores o exclusiones no deseadas, gestionar correctamente los canonicals en sitios con contenido similar en múltiples URLs, y auditar el archivo robots.txt cada vez que el sitio pase por cambios estructurales importantes.
Ninguna de estas acciones es compleja de forma individual. Lo que las hace efectivas es aplicarlas de forma sistemática y revisarlas con una frecuencia suficiente para que los problemas se detecten antes de que afecten al posicionamiento de forma significativa. En seopley lo hacemos como parte del seguimiento técnico continuo de cada proyecto, porque los problemas de crawleo e indexación raramente avisan: aparecen silenciosamente y su impacto solo se percibe cuando el tráfico ya ha caído.
