Cómo personalizar el archivo robots.txt de HubSpot para una mejor optimización de motores de búsqueda

Aunque estamos enfocados en desarrollos de WordPress, no solo realizamos ese tipo de proyectos. También desempeñamos desarrollos con otras tecnologías, landing y email con HubSpot y Pardot.

Dando servicio a uno de nuestros clientes, y después de mantener un sitio en HubSpot , decidimos migrarlo a WordPress porque Gutenberg le aportaba todo lo que necesitaba.

Después de analizarlo en profundidad decidimos que lo eliminábamos, y crearíamos una sección especial en su site principal para tenerlo todo en el mismo sitio.

A raíz de eliminar el sitio surgió este artículo.

Cómo evitar que tu web en HubSpot aparezca en los resultados de búsqueda

Lo primero que tenemos hacer es ver qué tenemos que poner en el fichero robots.txt para que Google no indexe, tenéis más información aquí.

User-agent: *
Disallow: /

Modificar archivo robots.txt en HubSpot

Para modificar el contenido del archivo robots.txt seguiremos los siguientes pasos:

1. Nos iremos a nuestra cuenta de HubSpot y haremos clic sobre el botón símbolo de configuración situado en la parte superior derecha en la barra de navegación.
2. Luego nos vamos al menú que tenemos en el lateral izquierdo e iremos a Sitio web -> Páginas

3. Seleccionamos el dominio cuyo archivo robots.txt vamos a editar: Haz clic en el menú desplegable y selecciona el dominio del que quieres cambiar el contenido del archivo robots.txt.
4. Hacemos clic sobre la pestaña SEO & Crawlers.
5. Clicamos en Override default settings.
6. Ponemos el contenido que necesitemos.
7. Guardamos.

Si más adelante necesitas volver a lo que había antes, vamos a «Apply default settings» como indica su acción.

Una vez hayas realizado el cambio puedes ver como queda yendo a «www.example.com/robots.txt», sustituyendo «www.example.com» por tu dominio.

Recuperar contenido fichero robots.txt

En alguna ocasión puede que necesites recuperar el contenido del archivo robots.txt, porque eliminaste alguna línea por error, o porque simplemente quieres saber cómo lo tenías un día en concreto.

Puedes recuperarlo con Wayback Machine puesto que guarda los robots.txt.

Beneficios de personalizar el archivo robots.txt en HubSpot

Al personalizar el archivo robots.txt, puede asegurarse de que los motores de búsqueda solo rastreen e indexen las páginas de su sitio web que desea que sean visibles en los resultados de búsqueda.

Esto puede ayudar a mejorar su SEO y aumentar el tráfico de su sitio web. Algunos de sus beneficios son:

• Puede evitar que los motores de búsqueda rastreen y indexen páginas de su sitio web que no desea que sean visibles en los resultados de búsqueda. Esto puede ayudar a proteger su privacidad y seguridad.
• Puede mejorar la velocidad de indexación de su sitio web. Cuando los motores de búsqueda no tienen que rastrear páginas de su sitio web que no son importantes, pueden centrarse en rastrear las páginas que son más importantes para usted. Esto puede ayudar a que su sitio web aparezca más rápido en los resultados de búsqueda.
• Puede evitar que los motores de búsqueda rastreen páginas de su sitio web que están en construcción o que no están listas para ser publicadas. Esto puede ayudar a mejorar la experiencia del usuario y evitar que los motores de búsqueda muestren páginas que aún no están completas.

Si está buscando formas de mejorar la SEO de su sitio web, personalizar el archivo robots.txt en HubSpot es una buena manera de comenzar.

… Y para finalizar…

Como habéis visto, con estos sencillos pasos, podemos indicar a los bots que no indexe la web y que aparezcan los contenidos en los resultados de búsqueda.

Si los motores de búsqueda han indexado el contenido, puedes añadir la meta etiqueta “noindex” en el HTML principal del contenido. Así indicaremos a los motores de búsqueda que no muestren el contenido en sus resultados.