El documento robots.txt es una elemento fundamental para toda página web que desea estar bien posicionada por los buscadores como Chrome . Opera como el instructivo para los crawlers , indicándoles qué secciones de tu plataforma pueden están crawleadas y cuáles evitar. La óptima configuración de este documento sirve a evitar problemas de ind