Estás leyendo la publicación: 10 pasos para aumentar la capacidad de rastreo e indexación de su sitio
Las palabras clave y el contenido pueden ser los pilares gemelos sobre los que se construyen la mayoría de las estrategias de optimización de motores de búsqueda, pero están lejos de ser los únicos que importan.
Menos discutido pero igualmente importante, no solo para los usuarios sino también para los robots de búsqueda, es la capacidad de descubrimiento de su sitio web.
hay mas o menos 50 mil millones de páginas web en 1930 millones de sitios web en Internet. Esto es demasiado para que cualquier equipo humano lo explore, por lo que estos bots, también llamados arañas, desempeñan un papel importante.
Estos bots determinan el contenido de cada página siguiendo los enlaces de un sitio web a otro y de una página a otra. Esta información se compila en una amplia base de datos, o índice, de URL, que luego se someten al algoritmo del motor de búsqueda para su clasificación.
Este proceso de dos pasos para navegar y comprender su sitio se denomina rastreo e indexación.
Como profesional de SEO, sin duda ha escuchado estos términos antes, pero definámoslos solo para mayor claridad:
- Rastreabilidad se refiere a qué tan bien estos robots de motores de búsqueda pueden escanear e indexar sus páginas web.
- indexabilidad mide la capacidad del motor de búsqueda para analizar sus páginas web y agregarlas a su índice.
Como probablemente puedas imaginar, ambas son partes esenciales del SEO.
Si su sitio tiene una capacidad de rastreo deficiente, por ejemplo, muchos enlaces rotos y callejones sin salida, los rastreadores de los motores de búsqueda no podrán acceder a todo su contenido, lo que lo excluirá del índice.
La indexabilidad, por otro lado, es vital porque las páginas que no están indexadas no aparecerán en los resultados de búsqueda. ¿Cómo puede Google clasificar una página que no ha incluido en su base de datos?
El proceso de rastreo e indexación es un poco más complicado de lo que hemos discutido aquí, pero esa es la descripción general básica.
Si está buscando una discusión más profunda sobre cómo funcionan, Dave Davies tiene un artículo excelente sobre el rastreo y la indexación.
Cómo mejorar el rastreo y la indexación
Ahora que hemos cubierto la importancia de estos dos procesos, veamos algunos elementos de su sitio web que afectan el rastreo y la indexación, y analicemos formas de optimizar su sitio para ellos.
1. Mejora la velocidad de carga de la página
Con miles de millones de páginas web para catalogar, las arañas web no tienen todo el día para esperar a que se carguen los enlaces. Esto a veces se denomina presupuesto de rastreo.
Si su sitio no se carga dentro del período de tiempo especificado, abandonarán su sitio, lo que significa que permanecerá sin rastrear ni indexar. Y como puedes imaginar, esto no es bueno para fines de SEO.
Por lo tanto, es una buena idea evaluar regularmente la velocidad de tu página y mejorarla donde puedas.
Puedes usar Google Search Console o herramientas como Rana Gritando para comprobar la velocidad de su sitio web.
Si su sitio funciona lento, tome medidas para aliviar el problema. Esto podría incluir actualizar su servidor o plataforma de alojamiento, habilitar la compresión, minimizar CSS, JavaScript y HTML, y eliminar o reducir los redireccionamientos.
Averigüe qué está ralentizando el tiempo de carga consultando su Vitales principales de la web informe. Si desea información más refinada sobre sus objetivos, particularmente desde una vista centrada en el usuario, Google Lighthouse es una herramienta de código abierto que puede resultarle muy útil.
2. Fortalecer la estructura de enlaces internos
Una buena estructura del sitio y enlaces internos son elementos fundamentales de una estrategia de SEO exitosa. Un sitio web desorganizado es difícil de rastrear para los motores de búsqueda, lo que hace que los enlaces internos sean una de las cosas más importantes que puede hacer un sitio web.
Pero no se fíe sólo de nuestra palabra. Esto es lo que dijo el defensor de búsqueda de Google, John Mueller, al respecto:
“La vinculación interna es muy crítica para el SEO. Creo que es una de las cosas más importantes que puedes hacer en un sitio web para guiar a Google y guiar a los visitantes a las páginas que crees que son importantes”.
Si su enlace interno es deficiente, también corre el riesgo de páginas huérfanas o aquellas páginas que no enlazan con ninguna otra parte de su sitio web. Debido a que nada está dirigido a estas páginas, la única forma en que los motores de búsqueda pueden encontrarlas es desde su mapa del sitio.
Para eliminar este problema y otros causados por una estructura deficiente, cree una estructura interna lógica para su sitio.
Su página de inicio debe vincularse a subpáginas respaldadas por páginas más abajo en la pirámide. Estas subpáginas deberían tener enlaces contextuales donde se sienta natural.
Otra cosa a tener en cuenta son los enlaces rotos, incluidos aquellos con errores tipográficos en la URL. Esto, por supuesto, conduce a un enlace roto, lo que conducirá al temido error 404. En otras palabras, página no encontrada.
El problema con esto es que los enlaces rotos no ayudan y dañan su rastreabilidad.
Vuelva a verificar sus URL, especialmente si recientemente realizó una migración del sitio, una eliminación masiva o un cambio de estructura. Y asegúrese de no vincular URL antiguas o eliminadas.
Otras mejores prácticas para los enlaces internos incluyen tener una buena cantidad de contenido enlazable (el contenido siempre es el rey), usar texto de anclaje en lugar de imágenes enlazadas y usar un “número razonable” de enlaces en una página (lo que sea que eso signifique).
Ah, sí, y asegúrate de usar enlaces de seguimiento para enlaces internos.
3. Envíe su mapa del sitio a Google
Con suficiente tiempo, y suponiendo que no le hayas dicho que no lo haga, Google rastreará tu sitio. Y eso es genial, pero no está ayudando a tu ranking de búsqueda mientras esperas.
Si recientemente realizó cambios en su contenido y desea que Google se entere de inmediato, es una buena idea enviar un mapa del sitio a Consola de búsqueda de Google.
Un mapa del sitio es otro archivo que vive en su directorio raíz. Sirve como hoja de ruta para los motores de búsqueda con enlaces directos a cada página de su sitio.
Esto es beneficioso para la indexabilidad porque le permite a Google aprender sobre varias páginas simultáneamente. Mientras que un rastreador puede tener que seguir cinco enlaces internos para descubrir una página profunda, al enviar un mapa del sitio XML, puede encontrar todas sus páginas con una sola visita a su archivo de mapa del sitio.
Enviar su mapa del sitio a Google es particularmente útil si tiene un sitio web profundo, agrega nuevas páginas o contenido con frecuencia, o si su sitio no tiene buenos enlaces internos.
4. Actualice los archivos Robots.txt
Probablemente quieras tener un robots.txt archivo para su sitio web. Si bien no es obligatorio, el 99 % de los sitios web lo usan como regla general. Si no está familiarizado con esto, es un archivo de texto sin formato en el directorio raíz de su sitio web.
Le dice a los rastreadores de los motores de búsqueda cómo le gustaría que rastreen su sitio. Su uso principal es administrar el tráfico de bots y evitar que su sitio se sobrecargue con solicitudes.
Donde esto resulta útil en términos de capacidad de rastreo es limitar qué páginas rastrea e indexa Google. Por ejemplo, probablemente no desee páginas como directorios, carritos de compras y etiquetas en el directorio de Google.
Por supuesto, este útil archivo de texto también puede afectar negativamente su rastreabilidad. Vale la pena mirar su archivo robots.txt (o pedirle a un experto que lo haga si no está seguro de sus habilidades) para ver si está bloqueando inadvertidamente el acceso del rastreador a sus páginas.
Algunos errores comunes en los archivos robots.text incluyen:
- Robots.txt no está en el directorio raíz.
- Mal uso de comodines.
- Sin índice en robots.txt.
- Scripts, hojas de estilo e imágenes bloqueados.
- Sin URL del mapa del sitio.
Para un examen en profundidad de cada uno de estos problemas y consejos para resolverlos, lea este artículo.
5. Comprueba tu canonicalización
Las etiquetas canónicas consolidan las señales de varias URL en una única URL canónica. Esta puede ser una forma útil de decirle a Google que indexe las páginas que desea y omita las versiones duplicadas y desactualizadas.
Pero esto abre la puerta a las etiquetas canónicas deshonestas. Estos se refieren a versiones anteriores de una página que ya no existe, lo que hace que los motores de búsqueda indexen las páginas incorrectas y dejen invisibles sus páginas preferidas.
Para eliminar este problema, use una herramienta de inspección de URL para buscar etiquetas no autorizadas y eliminarlas.
Si su sitio web está orientado al tráfico internacional, es decir, si dirige a los usuarios de diferentes países a diferentes páginas canónicas, necesita tener etiquetas canónicas para cada idioma. Esto garantiza que sus páginas se indexen en cada idioma que utiliza su sitio.
6. Realice una auditoría del sitio
Ahora que ha realizado todos estos otros pasos, todavía hay una última cosa que debe hacer para asegurarse de que su sitio esté optimizado para el rastreo y la indexación: una auditoría del sitio. Y eso comienza con verificar el porcentaje de páginas que Google ha indexado para su sitio.
Verifique su tasa de indexabilidad
Su tasa de indexabilidad es el número de páginas en el índice de Google dividido por el número de páginas en nuestro sitio web.
Puedes averiguarlo cuantas paginas hay en el indice de google desde el índice de Google Search Console yendo a la pestaña “Páginas” y verificando la cantidad de páginas en el sitio web desde el panel de administración de CMS.
Es muy probable que su sitio tenga algunas páginas que no desea indexar, por lo que es probable que este número no sea del 100%. Pero si la tasa de indexabilidad está por debajo del 90%, entonces tiene problemas que deben investigarse.
Puede obtener sus URL no indexadas de Search Console y ejecutar una auditoría para ellas. Esto podría ayudarlo a comprender qué está causando el problema.
Otra herramienta útil de auditoría de sitios incluida en Google Search Console es el Herramienta de inspección de URL. Esto le permite ver lo que ven las arañas de Google, que luego puede comparar con páginas web reales para comprender lo que Google no puede representar.
Auditar páginas recién publicadas
Cada vez que publique nuevas páginas en su sitio web o actualice sus páginas más importantes, debe asegurarse de que se indexen. Vaya a Google Search Console y asegúrese de que aparezcan todos.
Si todavía tiene problemas, una auditoría también puede darle una idea de qué otras partes de su estrategia de SEO se están quedando cortas, por lo que es una doble victoria. Escale su proceso de auditoría con herramientas como:
7. Verifique si hay contenido duplicado o de baja calidad
Si Google no ve su contenido como valioso para los buscadores, puede decidir que no vale la pena indexarlo. Este contenido escaso, como se le conoce, podría ser contenido mal escrito (p. ej., lleno de errores gramaticales y ortográficos), contenido repetitivo que no es exclusivo de su sitio o contenido sin señales externas sobre su valor y autoridad.
Para encontrar esto, determine qué páginas de su sitio no están indexadas y luego revise las consultas de destino para ellas. ¿Están proporcionando respuestas de alta calidad a las preguntas de los buscadores? Si no es así, reemplácelos o actualícelos.
El contenido duplicado es otra razón por la que los bots pueden bloquearse mientras rastrean su sitio. Básicamente, lo que sucede es que su estructura de codificación la ha confundido y no sabe qué versión indexar. Esto podría deberse a cosas como ID de sesión, elementos de contenido redundantes y problemas de paginación.
A veces, esto activará una alerta en Google Search Console, que le indicará que Google está encontrando más URL de las que cree que debería. Si no ha recibido uno, verifique los resultados de su rastreo en busca de elementos como etiquetas duplicadas o faltantes, o URL con caracteres adicionales que podrían estar generando trabajo adicional para los bots.
Corrija estos problemas arreglando etiquetas, eliminando páginas o ajustando el acceso de Google.
8. Elimina las cadenas de redireccionamiento y los redireccionamientos internos
A medida que los sitios web evolucionan, los redireccionamientos son un subproducto natural que dirige a los visitantes de una página a otra más nueva o más relevante. Pero si bien son comunes en la mayoría de los sitios, si los está manejando mal, podría estar saboteando sin darse cuenta su propia indexación.
Hay varios errores que puedes cometer al crear redireccionamientos, pero uno de los más comunes son las cadenas de redireccionamiento. Esto ocurre cuando hay más de una redirección entre el enlace en el que se hizo clic y el destino. Google no ve esto como una señal positiva.
En casos más extremos, puede iniciar un bucle de redireccionamiento, en el que una página redirige a otra página, que dirige a otra página, y así sucesivamente, hasta que finalmente se vincula de nuevo a la primera página. En otras palabras, ha creado un ciclo interminable que no lleva a ninguna parte.
Verifique las redirecciones de su sitio usando Screaming Frog, Redirect-Checker.org o una herramienta similar.
9. Repara enlaces rotos
De manera similar, los enlaces rotos pueden causar estragos en la capacidad de rastreo de su sitio. Debería revisar su sitio regularmente para asegurarse de que no tenga enlaces rotos, ya que esto no solo dañará sus resultados de SEO, sino que también frustrará a los usuarios humanos.
Hay varias formas de encontrar enlaces rotos en su sitio, incluida la evaluación manual de todos y cada uno de los enlaces de su sitio (encabezado, pie de página, navegación, texto, etc.), o puede usar Google Search Console, Analytics o Screaming Frog para encontrar errores 404.
Una vez que haya encontrado enlaces rotos, tiene tres opciones para arreglarlos: redirigirlos (consulte la sección anterior para conocer las advertencias), actualizarlos o eliminarlos.
10. Indexa Ahora
IndexNow es un protocolo relativamente nuevo que permite que las URL se envíen simultáneamente entre motores de búsqueda a través de una API. Funciona como una versión supercargada de enviar un mapa del sitio XML al alertar a los motores de búsqueda sobre nuevas URL y cambios en su sitio web.
Básicamente, lo que hace es proporcionar a los rastreadores una hoja de ruta hacia su sitio por adelantado. Ingresan a su sitio con la información que necesitan, por lo que no es necesario volver a revisar constantemente el mapa del sitio. Y a diferencia de los mapas de sitio XML, le permite informar a los motores de búsqueda sobre páginas de códigos de estado que no sean 200.
Implementarlo es fácil y solo requiere que genere una clave API, la aloje en su directorio o en otra ubicación y envíe sus URL en el formato recomendado.
Terminando
A estas alturas, debería tener una buena comprensión de la indexabilidad y la rastreabilidad de su sitio web. También debe comprender cuán importantes son estos dos factores para sus clasificaciones de búsqueda.
Si las arañas de Google pueden rastrear e indexar su sitio, no importa cuántas palabras clave, vínculos de retroceso y etiquetas use, no aparecerá en los resultados de búsqueda.
Y es por eso que es esencial revisar regularmente su sitio en busca de cualquier cosa que pueda estar acechando, engañando o desviando a los bots.
Entonces, consiga un buen conjunto de herramientas y comience. Sea diligente y tenga en cuenta los detalles, y pronto tendrá arañas de Google invadiendo su sitio como arañas.
Más recursos:
