Estás leyendo la publicación: Cómo configurar Robots.txt y Meta Robots para Magento 2
Si está leyendo la publicación, significa que es propietario de una tienda Magento 2 o es responsable del SEO de la tienda. Debe ser consciente de la importancia del archivo robots.txt. Es un archivo de texto que indica a los robots web, es decir, a los motores de búsqueda, qué páginas rastrear y cuáles no.
En palabras de Google,
“Un archivo robots.txt le dice a los rastreadores de motores de búsqueda qué páginas o archivos puede o no puede solicitar el rastreador de su sitio”.
Este pequeño archivo es parte de TODOS los sitios web, y las tiendas Magento 2 no son una excepción. Afortunadamente, el Magento 2 predeterminado admite la creación de un archivo robots.txt y mostraré cómo hacerlo aquí.
Los meta robots son una forma para que los webmasters ofrezcan a los motores de búsqueda detalles sobre sus tiendas. Es un fragmento de código en la sección
de su página web que le dice a los motores de búsqueda qué seguir y qué no. Además, les dice a los rastreadores qué enlaces seguir y en qué enlaces detenerse.Cree el archivo Magento 2 Robots.txt y ayude a sus esfuerzos de SEO porque:
- Controla cómo las arañas de los motores de búsqueda ven e interactúan con las páginas de la tienda Magento 2.
- Su uso indebido puede afectar negativamente a la clasificación de su tienda.
- El archivo Robots.txt es la base de cómo funciona el motor de búsqueda.
- Restrinja las páginas de contenido duplicado para que no aparezcan en los SERP.
- Ayuda a evitar sobrecargar su tienda con solicitudes del rastreador de Google.
Ahora que hemos hablado lo suficiente sobre robots.txt y su importancia para la tienda Magento 2, ¡creemos uno!
Pasos para crear Magento 2 Robots.txt:
- Acceso al panel de administración.
- Navegar a Contenido > Diseño > Configuración
- Ampliar la Robots de motores de búsqueda.
- Robots predeterminados: Establézcalo en uno del menú desplegable.
- Editar instrucciones personalizadas del archivo Robots.txt: Ingrese cualquier detalle personalizado si es necesario en este campo.
- Restablecen a los predeterminados: Use este botón para configurar el archivo Magento 2 Robots.txt a su configuración predeterminada.
- Ahorrar La configuración
El protocolo o estándar de exclusión de robots, también conocido como Robots.txt, se puede configurar en Magento 2 predeterminado con los pasos anteriores.
¿Por qué debo establecer etiquetas NoIndex NoFollow en enlaces en Magento 2?
Por ejemplo, estás lanzando un nuevo producto en tu tienda Magento 2. Sin embargo, su equipo todavía está trabajando en ello. Por el momento, puede configurar esa página de producto en NoIndex para indicarle al motor de búsqueda que no indexe esa página.
De esta manera, puede probar los cambios en la tienda en vivo y al mismo tiempo restringir el motor de búsqueda para indexarlo.
Además, las etiquetas NoFollow para enlaces pueden ser útiles cuando desea ofrecer información adicional que se encuentra en una dirección web en particular pero no pasa la equidad del enlace.
Etiquetas de meta robots: NOINDEX, NOFOLLOW
Ahora que ha creado robots.txt con éxito, preste atención a las etiquetas meta robots. Cubre las partes innecesarias del código de los rastreadores usando estas etiquetas.
- No Index es un atributo de etiqueta que restringe la transferencia del peso de la página a una fuente no certificada. Además, se puede utilizar para páginas con una gran cantidad de enlaces externos.
- No Seguir oculta la página de la indexación
Aplique Nofollow o Noindex a su configuración actualizando el archivo robots.txt o usando la etiqueta meta name=“robots”.
Combinaciones posibles:
- INDICE, SIGA: Indica a los rastreadores web que indexen la tienda y vuelvan a comprobar los cambios más tarde.
- SIN ÍNDICE, SIGA: Indica a los rastreadores web que no indexen la tienda, sino que vuelvan a consultar más tarde.
- ÍNDICE, NO SEGUIR: Indica a los rastreadores web que indexen el sitio una vez y eviten volver a consultar más tarde.
- NO ÍNDICE, NO SEGUIR: Indica a los rastreadores web que no indexen el sitio y que no vuelvan a consultar más tarde
Agregue el siguiente código al archivo robots.txt para ocultar páginas específicas:
Agente de usuario: * No permitir: /myfile.html
Agente de usuario: * No permitir: /miarchivo.html |
Alternativamente, puede restringir la indexación con el siguiente código:
|
La configuración predeterminada recomendada para Magento 2:
Agente de usuario: * # Directorios No permitir: /app/ No permitir: /bin/ No permitir: /dev/ No permitir: /lib/ No permitir: /phpserver/ No permitir: /pkginfo/ No permitir: /report/ No permitir: /setup/ No permitir: / actualizar/ No permitir: /var/ No permitir: /proveedor/ # Rutas (URL limpias) No permitir: /index.php/ No permitir: /catalog/product_compare/ No permitir: /catalog/category/view/ No permitir: /catalog/product/view/ No permitir: /búsqueda de catálogo/ No permitir: /pagar/ No permitir: /control/ No permitir: /contactos/ No permitir: /cliente/ No permitir: /personalizar/ No permitir: /boletín/ No permitir: /revisión/ No permitir: /enviar a un amigo/ No permitir: /lista de deseos/ # Archivos No permitido: /composer.json No permitido: /composer.lock No permitido: /CONTRIBUTING.md No permitido: /CONTRIBUTOR_LICENSE_AGREEMENT.html No permitido: /COPYING.txt No permitido: /Gruntfile.js No permitido: /LICENSE.txt No permitido: /LICENSE_AFL.txt No permitir: /nginx.conf.sample No permitir: /package.json No permitir: /php.ini.sample No permitir: /RELEASE_NOTES.txt # No indexar páginas ordenadas o filtradas. Disallow: /*?*product_list_mode= Disallow: /?*product_list_order= Disallow: /*?*product_list_limit= Disallow: /*?*product_list_dir= # No indexar ID de sesión Disallow: /?SID= Disallow: /?*? Disallow: /*.php$ # CVS, directorio SVN y archivos de volcado Disallow: /*.CVS Disallow: /*.Zip$ Disallow: /*.Svn$ Disallow: /*.Idea$ Disallow: /*.Sql$ Disallow : /*.Tgz$
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 dieciséis 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
Agente de usuario: * # Directorios No permitir: /aplicación/ No permitir: /bin/ No permitir: /dev/ No permitir: /lib/ No permitir: /servidorphp/ No permitir: /pkginfo/ No permitir: /informe/ No permitir: /configurar/ No permitir: /actualizar/ No permitir: /var/ No permitir: /proveedor/ # Rutas (URL limpias) No permitir: /index.php/ No permitir: /catalog/product_compare/ No permitir: /catálogo/categoría/vista/ No permitir: /catálogo/producto/ver/ No permitir: /búsqueda de catálogo/ No permitir: /pagar/ No permitir: /controlar/ No permitir: /contactos/ No permitir: /cliente/ No permitir: /personalizar/ No permitir: /boletín/ No permitir: /reseña/ No permitir: /enviaramigo/ No permitir: /lista de deseos/ # archivos No permitir: /compositor.json No permitir: /compositor.lock No permitir: /CONTRIBUCIÓN.md No permitir: /CONTRIBUTOR_LICENSE_AGREEMENT.html No permitir: /COPIA.txt No permitir: /Gruntfile.js No permitir: /LICENCIA.txt No permitir: /LICENSE_AFL.txt No permitir: /nginx.conf.sample No permitir: /paquete.json No permitir: /php.ini.sample No permitir: /RELEASE_NOTES.txt # No indexe páginas que estén ordenadas o filtradas. No permitir: /?*product_list_mode= No permitir: /?*product_list_order= No permitir: /?*product_list_limit= No permitir: /?*product_list_dir= # No indexar ID de sesión No permitir: //?SID= No permitir: /*? No permitir: /*.php$ # CVS, directorio SVN y archivos de volcado No permitir: /*.CVS No permitir: /*.Zip$ No permitir: /*.Svn$ No permitir: /*.Idea$ No permitir: /*.Sql$ No permitir: /*.Tgz$ |
Consulte estos ejemplos de archivos robots.txt de Magento 2 de uso frecuente:
- Permitir el acceso completo a todos los directorios y páginas:
- No permita el acceso de ningún agente de usuario a ningún directorio y página:
- Instrucciones predeterminadas:
No permitir: /lib/ No permitir: /*.php$ No permitir: /pkginfo/ No permitir: /report/ No permitir: /var/ No permitir: /catalog/ No permitir: /cliente/ No permitir: /sendfriend/ No permitir: /review/ No permitir: / *SID=
No permitir: /lib/
No permitir: /*.php$
No permitir: /pkginfo/
No permitir: /informe/
No permitir: /var/
No permitir: /catálogo/
No permitir: /cliente/
No permitir: /enviaramigo/
No permitir: /reseña/
No permitir: /*SID=
- Restringir cuentas de usuario y páginas de pago
No permitir: /pago/ No permitir: /onestepcheckout/ No permitir: /cliente/ No permitir: /cliente/cuenta/ No permitir: /cliente/cuenta/iniciar sesión/
No permitir: /pagar/
No permitir: /onestepcheckout/
No permitir: /cliente/
No permitir: /cliente/cuenta/
No permitir: /cliente/cuenta/inicio de sesión/
- Para no permitir contenido duplicado
No permitir: /etiqueta/ No permitir: /revisión
No permitir: /etiqueta/
No permitir: /revisión
- Para no permitir directorios CMS
No permitir: /app/ No permitir: /bin/ No permitir: /dev/ No permitir: /lib/ No permitir: /phpserver/ No permitir: /pub/
No permitir: /aplicación/
No permitir: /bin/
No permitir: /dev/
No permitir: /lib/
No permitir: /servidorphp/
No permitir: /pub/
- Para no permitir las páginas de catálogo y búsqueda
No permitir: /catalogsearch/ No permitir: /catalog/product_compare/ No permitir: /catalog/category/view/ No permitir: /catalog/product/view/
No permitir: /búsqueda de catálogo/
No permitir: /catalog/product_compare/
No permitir: /catálogo/categoría/vista/
No permitir: /catálogo/producto/ver/
- Para prohibir las búsquedas de filtro de URL
No permitir: //?dir* No permitir: //?dir=desc No permitir: //?dir=asc No permitir: //?limit=all No permitir: /?mode*
No permitir: /?dir*
No permitir: //?dir=desc
No permitir: //?dir=asc
No permitir: //?limit=all
No permitir: /?modo*
Rastreadores web comunesL:
Aquí hay algunos bots comunes en Internet:
Agente de usuario: Googlebot Agente de usuario: Googlebot-Image/1.0 Agente de usuario: Googlebot-Video/1.0 Agente de usuario: Bingbot Agente de usuario: Slurp # Yahoo Agente de usuario: DuckDuckBot Agente de usuario: Baiduspider Agente de usuario: YandexBot Agente de usuario: facebot # Facebook Agente de usuario: ia_archiver # Alexa
Agente de usuario: robot de Google Agente de usuario: Googlebot-Image/1.0 Agente de usuario: Googlebot-Video/1.0 Agente de usuario: Bingbot Agente de usuario: Slurp # Yahoo Agente de usuario: DuckDuckBot Agente de usuario: Baiduspider Agente de usuario: YandexBot Agente de usuario: facebot # Facebook Agente de usuario: ia_archiver # Alexa |
¡Comuníquese con los motores de búsqueda de la manera correcta! Después de la creación exitosa de robots.txt, puede verificar su validación utilizando el Probador de robots.txt de Google.
Crear Magento 2 Robots.txt archiva y mejora tu SEO hoy!
Siéntase libre de pedir ayuda con el tema en la sección de Comentarios a continuación.
Califique la publicación con 5 estrellas si fue útil.
Gracias 😊