O robots.txt pode ser personalizado no Blogger, nesse tutorial você vai aprender os detalhes de como ele funciona e como personalizá-lo de maneira correta para otimizar para os buscadores.
O que é o robots.txt?
Basicamente é um arquivo de texto que contém algumas linhas de código simples. É salvo no site ou no servidor do blog, é utilizado para informar os rastreadores da web sobre como indexar e rastrear seu site para os resultados de pesquisa. Isso significa que você pode restringir qualquer página do seu blogger de rastreadores da web para que não possa ser indexada em mecanismos de pesquisa, como sua página de contato por exemplo.
E o que a gente vai fazer são pequenas alterações, mas antes vou explicar o significado de cada parte.
User-agent: Mediapartners-Google
Este código é para o robô do Google Adsense, ele ajuda e melhora os anúncios em seu blog. Se você usa ou não o Google Adsense é melhor deixá-lo como está.
User-agent: *
Esse é para permitir todos os robôs, por isso marcado com asterisco (*). Por causa dele tudo em nosso blogger é rastreado e indexado, por conta disso usamos o próximo código.
Se removemos Disallow: /search do código padrão, os rastreadores acessarão nosso blog inteiro, indexando assim todo o conteúdo e páginas. Isso não é bom, já que pode parecer conteúdo duplicado, além de ser um link ruim para SEO.
Você pode usar o Disallow para não indexar um post em particular ou página, basta acrescentar Disallow: /2017/08/post-url.html(Sempre coloque o link começando da data) ou Disallow: /p/page-url.htmlpara páginas.
Allow: /
Refere-se a a home, ele autoriza a indexação da página inicial do nosso blogger.
Sitemap: https://exemplo.blogspot.com/sitemap.xml
Este código refere-se ao mapa do site do nosso blog. Ao adicionar o link do sitemap, estamos simplesmente otimizando a taxa de rastreamento de nossas postagens. Sempre que os rastreadores leem o nosso arquivo robots.txt, encontrarão um caminho para o nosso sitemap onde todos os links de nossas postagens estão,facilitando o rastreamentode nossas postagens. Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens sem ignorar nenhuma.
Agora que você entendeu como funciona eu vou deixar o meu atual aqui, copie e coloque no seu blogger, basta trocar o domínio.
#Liberado para todos os robôs
User-agent: *
# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# Indexar página inicial
Allow: /
# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.bloggermadru.ga/sitemap.xml
# Indexar páginas (Eu quero)
Sitemap: https://www.bloggermadru.ga/sitemap-pages.xml
# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
#Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500
Para adicionar no Blogger é só ir emConfigurações>Preferências de pesquisa. No final da página vai ter a opção de colocar o robots.txt personalizado.
Este foi o tutorial completo de hoje sobre como adicionar o arquivo robots.txt personalizado no blogger. Eu tentei tornar este tutorial o mais simples e informativo possível. Mas ainda se você tiver alguma dúvida ou pergunta, sinta-se à vontade para me perguntar nos comentários abaixo.
Certifique-se de não colocar qualquer código nas configurações personalizadas do robots.txt sem saber.
Social Plugin