Cómo personalizar el archivo Robots.txt en HubSpot
Escrito por Luis Ruiz Actualizado el
En este artículo veremos Cómo configurar el archivo robots.txt en HubSpot para evitar que tu web aparezca en los resultados de búsqueda
Sumario
Aunque estamos enfocados en desarrollos de WordPress, no solo realizamos ese tipo de proyectos. También desempeñamos desarrollos con otras tecnologías, landing y email con HubSpot y Pardot.
Dando servicio a uno de nuestros clientes, y después de mantener un sitio en HubSpot , decidimos migrarlo a WordPress porque Gutenberg le aportaba todo lo que necesitaba.
Después de analizarlo en profundidad decidimos que lo eliminábamos, y crearíamos una sección especial en su site principal para tenerlo todo en el mismo sitio.
A raíz de eliminar el sitio surgió este artículo.
Cómo evitar que tu web en HubSpot aparezca en los resultados de búsqueda
Lo primero que tenemos hacer es ver qué tenemos que poner en el fichero robots.txt para que Google no indexe, tenéis más información aquí.
User-agent: *
Disallow: /Modificar archivo robots.txt en HubSpot
Para modificar el contenido del archivo robots.txt seguiremos los siguientes pasos:
- Nos iremos a nuestra cuenta de HubSpot y haremos clic sobre el botón símbolo de configuración situado en la parte superior derecha en la barra de navegación.
- Luego nos vamos al menú que tenemos en el lateral izquierdo e iremos a Sitio web -> Páginas
- Seleccionamos el dominio cuyo archivo robots.txt vamos a editar: Haz clic en el menú desplegable y selecciona el dominio del que quieres cambiar el contenido del archivo robots.txt.
- Hacemos clic sobre la pestaña SEO & Crawlers.
- Clicamos en Override default settings.
- Ponemos el contenido que necesitemos.
- Guardamos.
Si más adelante necesitas volver a lo que había antes, vamos a «Apply default settings» como indica su acción.
Una vez hayas realizado el cambio puedes ver como queda yendo a «www.example.com/robots.txt», sustituyendo «www.example.com» por tu dominio.
Recuperar contenido fichero robots.txt
En alguna ocasión puede que necesites recuperar el contenido del archivo robots.txt, porque eliminaste alguna línea por error, o porque simplemente quieres saber cómo lo tenías un día en concreto.
Puedes recuperarlo con Wayback Machine puesto que guarda los robots.txt.
… Y para finalizar…
Como habéis visto, con estos sencillos pasos, podemos indicar a los bots que no indexe la web y que aparezcan los contenidos en los resultados de búsqueda.
Si los motores de búsqueda han indexado el contenido, puedes añadir la meta etiqueta “noindex” en el HTML principal del contenido. Así indicaremos a los motores de búsqueda que no muestren el contenido en sus resultados.
