O que é o robots.txt?
Basicamente é um arquivo de texto que contém algumas linhas de código simples. É salvo no site ou no servidor do blog, é utilizado para informar os rastreadores da web sobre como indexar e rastrear seu site para os resultados de pesquisa. Isso significa que você pode restringir qualquer página do seu blogger de rastreadores da web para que não possa ser indexada em mecanismos de pesquisa, como sua página de contato por exemplo.
Por padrão já vem configurado como esse modelo:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://exemplo.blogspot.com/sitemap.xml
E o que a gente vai fazer são pequenas alterações, mas antes vou explicar o significado de cada parte.
User-agent: Mediapartners-Google
Este código é para o robô do Google Adsense, ele ajuda e melhora os anúncios em seu blog. Se você usa ou não o Google Adsense é melhor deixá-lo como está.
User-agent: *
Esse é para permitir todos os robôs, por isso marcado com asterisco (*). Por causa dele tudo em nosso blogger é rastreado e indexado, por conta disso usamos o próximo código.
Disallow: /search
Isso significa que os links que têm search por palavra-chave logo após o nome de domínio serão ignorados. Veja abaixo um exemplo: https://www.meublogger.eu.org/search/label/Códigos.
Se removemos Disallow: /search do código padrão, os rastreadores acessarão nosso blog inteiro, indexando assim todo o conteúdo e páginas. Isso não é bom, já que pode parecer conteúdo duplicado, além de ser um link ruim para SEO.
Você pode usar o Disallow para não indexar um post em particular ou página, basta acrescentar Disallow: /2017/08/post-url.html (Sempre coloque o link começando da data) ou Disallow: /p/page-url.html para páginas.
Allow: /
Refere-se a a home, ele autoriza a indexação da página inicial do nosso blogger.
Sitemap: https://exemplo.blogspot.com/sitemap.xml
Este código refere-se ao mapa do site do nosso blog. Ao adicionar o link do sitemap, estamos simplesmente otimizando a taxa de rastreamento de nossas postagens. Sempre que os rastreadores leem o nosso arquivo robots.txt, encontrarão um caminho para o nosso sitemap onde todos os links de nossas postagens estão, facilitando o rastreamento de nossas postagens. Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens sem ignorar nenhuma.
Agora que você entendeu como funciona eu vou deixar o meu atual aqui, copie e coloque no seu blogger, basta trocar o domínio.
#Liberado para todos os robôs
User-agent: *
# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# Indexar página inicial
Allow: /
# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.bloggermadru.ga/sitemap.xml
# Indexar páginas (Eu quero)
Sitemap: https://www.bloggermadru.ga/sitemap-pages.xml
# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
#Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500
Para adicionar no Blogger é só ir em Configurações > Preferências de pesquisa. No final da página vai ter a opção de colocar o robots.txt personalizado.
Outra dica bacana é saber se o post do blogger foi indexado
Outra dica bacana e colocar meta tags indicando para não indexar algumas partes do seu Blog.
Procure por <head> no html do seu blog e coloque depois dela as seguintes meta tags:
<b:if cond='data:blog.pageType == "archive"'>
<meta content='noindex' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
<b:if cond='data:blog.isMobile'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
Passo a passo em vídeo:
Caso passe de 1500 postagens você pode ir atualizando de 500 em 500, desta forma:https://www.meublogger.eu.org/atom.xml?redirect=false&start-index=1501&max-results=2000Conclusão
Este foi o tutorial completo de hoje sobre como adicionar o arquivo robots.txt personalizado no blogger. Eu tentei tornar este tutorial o mais simples e informativo possível. Mas ainda se você tiver alguma dúvida ou pergunta, sinta-se à vontade para me perguntar nos comentários abaixo.
Certifique-se de não colocar qualquer código nas configurações personalizadas do robots.txt sem saber.
FONTE: https://www.meublogger.eu.org/2017/08/robotstxt-personalizado-blogger.html
