Configurar el robots.txt de forma correcta es uno de los aspectos importantes para el posicionamiento de una web o tienda online. Este fichero es importante ya que, en caso de estar mal configurado, puedes tener problemas importantes. El más grave de todos es que Google y el resto de buscadores no rastreen tu web y, por tanto, no la indexen ni la muestren nunca en sus resultados de búsqueda.
Qué es el archivo robots.txt
El fichero robots.txt está alojado en el directorio raíz de tu página web y no es más que un fichero de texto plano creado para facilitar el trabajo de los robots de los buscadores a la hora de rastrear la web.
Cómo configurar robots.txt de forma correcta
Cuando subes tu página web al servidor tienes que comprobar que en el directorio raíz haya un fichero llamado robots.txt. En caso de que no exista, abre el notepad++ o el Bloc de notas de Windows y crea un nuevo documento en blanco llamado robots y guárdalo con extensión .txt. Una vez creado, puedes empezar con los aspectos básicos de configuración del fichero robots.txt.
User-agent: * Sitemap:
Mediante la línea “User-agent:” indicamos a qué robots queremos que afecte lo que los robots de los buscadores encuentren en este fichero. Al poner un *, lo que queremos que todos los robots tengan en cuenta el contenido del robots.txt. Si queremos que afecte sólo a algún robot concreto deberemos especificarlo. Por ejemplo, estos son algunos de los robots de los buscadores más importantes:
googlebot –> Robot de Google
msnbot –> Robot de MSN
bingbot –> Robot de Bing
yahoo-slurp –> Robot de Yahoo
Con la segunda línea lo que hacemos es decirle a los robots de los buscadores dónde pueden encontrar el sitemap de nuestra página web.
Si nuestra web está en WordPress, en el robots.txt podemos poner algunas directrices para que los buscadores no indexen determinados contenidos que no nos interesa. Por ejemplo, el directorio en el que se encuentran los plugins o el que contiene la información para acceder como administrador. Lo haremos utilizando «Disallow + ruta del directorio que no queremos indexar».
Disallow: /wp-content/plugins/ Disallow: /wp-admin/
Mientras estamos desarrollando nuestra web podemos hacer que ningún robot rastree el contenido. Esto se puede hacer de muchas maneras, pero una de ellas es bloqueando con el robots.txt los robots de los buscadores. No os olvidéis quitarlo cuando pongáis la web en marcha ya que en caso contrario vuestro contenido no se indexará nunca en los buscadores.
User-agent: * Disallow: /
Como veis, configurar el robots.txt es muy sencillo. Pero es muy importante incluirlo en vuestra web para que los buscadores tengan las directrices más importantes de lo que deben hacer en vuestro sitio web.
