Back to Question Center
0

Semalt robots.txUn ejemplo para un gran SEO Ejemplo de Semalt robots.txt para un gran SEO

1 answers:

Los robots. El archivo txt es un archivo muy poderoso si estás trabajando en el SEO de un sitio. Al mismo tiempo, también debe usarse con cuidado. Le permite denegar a los motores de búsqueda el acceso a ciertos archivos y carpetas, pero a menudo no es lo que desea hacer. A lo largo de los años, especialmente Google ha cambiado mucho en la forma en que rastrea la web, por lo que las mejores prácticas antiguas ya no son válidas - cheap chapter 7 bankruptcy lawyers near me. Esta publicación explica cuáles son las mejores prácticas actuales para sus robots de WordPress. txt y por qué.

Google representa su sitio por completo

Google ya no es el niño tonto que simplemente busca el HTML de su sitio e ignora su estilo y JavaScript. Obtiene todo y procesa sus páginas por completo. Esto significa que cuando niega el acceso de Google a sus archivos CSS o JavaScript, no le gusta eso en absoluto . Esta publicación sobre Google Panda 4 muestra un ejemplo de esto. Lo dijimos de nuevo más adelante y lo seguiremos diciendo: no bloquees tus archivos CSS y JavaScript.

Las mejores prácticas antiguas de tener un robots. txt que bloquea el acceso a su directorio wp-includes y su directorio de complementos ya no son válidos. Esta es la razón por la cual, en WordPress 4. 0, abrí el problema y escribí el parche para eliminar wp-includes /. * de los robots predeterminados de WordPress . txt .

Muchos temas también usan solicitudes de JavaScript asíncronas, llamadas AJAX, para agregar contenido a la página. Por defecto, WordPress solía bloquearlos. Así que creé el boleto para WordPress para permitirle a Google rastrear el admin-ajax. php URL en wp-admin . Esto fue corregido en WordPress 4. 4.

Robots. txt niega vincula su valor

Algo más es muy importante a tener en cuenta. Si bloquea una URL con los robots de su sitio . txt , los motores de búsqueda no rastrearán esas páginas. Esto también significa que no pueden distribuir el valor del enlace apuntando a esas URL. Por lo tanto, si tiene una sección de su sitio que prefiere no mostrar en los resultados de búsqueda, pero obtiene muchos enlaces, no use los robots. txt archivo. En su lugar, use una metaetiqueta de robots con un valor de noindex, siga . Esto permite que los motores de búsqueda distribuyan correctamente el valor del enlace para esas páginas en su sitio.


Nuestros robots WordPress. Ejemplo de texto

Entonces, ¿qué debería ser en tus robots de WordPress? ¿TXT? El nuestro está muy limpio ahora. ¡Ya no bloqueamos nada ! No bloqueamos nuestro directorio / wp-content / plugins / , ya que los complementos pueden generar JavaScript o CSS que Google necesita para representar la página. Tampoco bloqueamos nuestro directorio / wp-includes / , ya que los JavaScripts predeterminados que vienen con WordPress, que utilizan muchos temas, provienen de estos directorios.

Tampoco bloqueamos nuestra carpeta / wp-admin / . El motivo es simple: si lo bloquea, pero lo vincula por casualidad, las personas aún podrán hacer una consulta simple [inurl: wp-admin] en Google y encontrar su sitio. Este tipo de consulta es el tipo de consulta que hacen los hackers maliciosos love . Si no haces nada, WordPress tiene un encabezado de robots meta x-http en las páginas de administración que impide que los motores de búsqueda muestren estas páginas en los resultados de búsqueda, una solución mucho más limpia.

Qué debe hacer con sus robots. txt

Debes iniciar sesión en Google Search Console y en Rastrear → Buscar como Google, usar la opción Buscar y Semalt:

Semalt robots.txAn example for great SEO
Semalt robots.txt example for great SEO

Si no se ve como lo que está viendo cuando navega en su sitio, o arroja errores o avisos: corríjalos eliminando las líneas que bloquean el acceso a esas URL de sus robots. txt archivo.

¿Debería vincular su mapa de sitio XML con sus robots? txt ?

Siempre nos sentimos vinculados a su mapa de sitio XML de sus robots. txt es un poco absurdo. Esta es la razón por la que nuestro complemento Yoast SEO no lo agrega a sus robots. txt . No confíe en ellos para conocer su mapa del sitio XML a través de sus robots. txt .

Leer más: 'robots. txt: la última guía '»

March 1, 2018