robots.txt y sitemap.xml

Artículo original http://www.treeweb.es/blog-ultima-version-robotstxt-y-sitemapxml.

Los archivos robots.txt y sitemap.xml son muy utilizados por los buscadores para encontrar páginas de difícil acceso y saber cuáles no se deben visitar. Del sitemap.xml ya hablamos en "/ultima-version-generacion-automatica-de-sitemaps" así que esta vez voy a contar algo sobre el robots.txt.
El uso de este archivo indica a los buscadores que no muestren en sus resultados de búsqueda determinadas páginas o directorios de un sitio web. Algunos buscadores de dudosa reputación no hacen caso de las limitaciones de acceso y recogen todas las páginas que encuentren en un sitio, incluso las que no queremos que aparezcan.
TreeWeb acaba de añadir en el panel de configuración las opciones de generar o no, los archivos robots.txt y sitemap.xml además de poder editar robots.txt libremente.