O robots.txt é um arquivo poderoso que permite informar os robots visitantes (como o Google Bot) quais os diretórios que podem ser pesquisados e indexados no seu Website ou Blog. No Blogger, você também poderá editar o arquivo Robots.txt através das preferências de pesquisa, podendo fazer as alterações que ache coerentes.
Como é óbvio, uma alteração mal feita pode prejudicar gravemente o blog. Como por exemplo, se você usar a instrução disallow para bloquear todo o seu conteúdo (exemplo: “disallow: /”). No entanto, pode existir casos em que pode ser bastante benéfico.
Para uma melhor compreensão, o Google incorporou uma ferramenta muito importante no Search Console, que permite verificar qual o conteúdo bloqueado pelo robots.txt.
Comece por fazer login na sua conta Blogger e selecione o blog que pretende editar. Em seguida, aceda ao menu “Definições” (ou Configurações) – Preferências de pesquisa.
Clique no link “Editar” junto à funcionalidade “robots.txt” e marque a opção “Sim” no campo “Permitir conteúdos personalizados de robots.txt”. Agora basta adicionar o conteúdo personalizado ao seu arquivo robots.txt. No nosso caso o arquivo robots ficou assim:
User-agent: *
Disallow: /search
Allow: /Sitemap: http://nome_do_seu_blog.blogspot.com/sitemap.xml
Sabia que: O Google possui uma pequena brincadeira com arquivos Robots.txt, ao qual o Google chamou “killer-robots”.
Se aceder ao link “www.google.com/killer-robots.txt” encontra duas instruções de disallow para os fundadores do Google (Larry Page e SergeyBrin).
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's.
Social Plugin