Google actualizó hace unos días las directrices para webmasters, adaptando su rastreador Googlebot en consonancia con los navegadores modernos. Se acabó rastrear sólo el texto de los sitios web. Esto significa que ahora debemos permitir el acceso de Googlebot a los archivos javascript y CSS del sitio. Por tanto, si tenías estos archivos bloqueados en el robots.txt es conveniente que lo actualices.
Por lo que afecta a los blogs con WordPress, parece que ahora debemos permitir el acceso a la carpeta de themes, pues ahí es donde se encuentran los archivos CSS. Y si usas plugins que también tienen sus propias reglas CSS, igualmente habría que permitir el acceso a la carpeta de plugins.
Te recomendamos que sigas las prácticas recomendadas para optimizar el rendimiento de la página, en concreto, las siguientes:
– Eliminar las descargas innecesarias
– Optimizar la publicación de los archivos CSS y JavaScript: para ello, debes concatenar (combinar) los archivos CSS y JavaScript independientes, minificar los archivos concatenados y configurar el servidor web para que se publiquen comprimidos (normalmente, mediante compresión gzip).
No me queda muy claro como esto puede afectar a la seguridad del sitio. Por el momento creo que lo mejor es añadir una regla a robots.txt donde sólo se permita el acceso a estos directorios por Googlebot y no por otros rastreadores.
