Qué son los robots txt sitemap y para qué sirven en SEO

Los robots txt sitemap, o simplemente robots txt, son archivos localizados en la raíz de un sitio web, y que indica qué partes pueden analizar los buscadores de internet y qué partes deben abstenerse de evaluar.

Imagina que tienes una clínica, y que parte de tu web contiene datos confidenciales de tus pacientes, a los que solo personal autorizado tienen acceso, evidentemente, estos datos no pueden formar parte del index de Google, es decir, no deben ser rastreados y llevados al índice de resultados del buscador, por eso los robots txt sitemap impiden que los buscadores lleguen hasta ciertos lugares de la web.

¿Cómo funcionan los robots txt sitemap?

Los robots txt se rigen por un estándar de exclusión de robots, se trata de un protocolo formado por unos comandos que dividen la web por secciones, que impiden que Google y los demás buscadores lleguen a secciones no autorizadas.

¿Para qué se usan los robots txt habitualmente?

En el caso de los textos, lo que se suele hacer es impedir el acceso a los robots a partes de la página poco importantes, de esta forma conseguimos que el rastreo se haga más rápido. En cualquier caso, ten en cuenta que otras páginas pueden llevar, a través de enlaces, a páginas que quieras ocultar, por eso debes tener bien protegido tu contenido con contraseñas y accesos seguros.

En cuanto a los contenidos basados en imágenes también pueden ser privados, evitando que Google indexe tus imágenes entre sus resultados, aunque debes tener en cuenta que tus imágenes pueden ser descargadas desde la propia web por otros usuarios.

Algunos riesgos y limitaciones de los robots txt

  • Ten en cuenta que estos robots reciben exclusivamente indicaciones que traspasan a los buscadores, pero son estos los que deben respetar las prohibiciones de los robots txt, es decir, el propio buscador debe identificar las instrucciones y no indexar este contenido. Google respeta por lo general estas etiquetas, pero pueden existir casos de buscadores que no lo hagan.
  • Las indicaciones de los robots txt se pueden interpretar de distintas formas. Diferentes buscadores pueden entender, y por lo tanto actuar, de diferentes maneras ante una misma etiqueta, aunque se trabaja para que sean cada vez más fiables.
  • Como decíamos, los robots txt solo impiden que tus páginas aparezcan en Google, pero no evitan que sean enlazadas o se muestren en la web, por so si tienes información confidencial debes protegerla con contraseña y accesos seguros.

Estos son los fundamentos básicos de los robots txt sitemap, si tienes alguna duda o sugerencia concreta acerca de este tema y otros de SEO puedes escribirnos tus comentarios en nuestro blog.

 

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *