Bom galera, o Google anda pegando no pé ai dos sites com muitas coisa, estão um tanto quanto perfeccionistas, por um lado isso é bom, melhora o rankeamento dos sites melhor preparados e melhora os resultados das buscas, porém da um pouco de trabalho deixar o site afinadinho com o que o google quer.

Recentemente tive um problema com um site meu e tentei resolver o problema com alteração no robots.txt (o que é robots.txt), afim de evitar que o google rastreie conteudo duplicado e o mal rankeamento dos links internos do meu site.

Em busca de um robot.txt otimizado eu encontrei no site do Bruno Alves, uma arquivo robot bom para usar em sites que utilizam wordpress.

Código:

User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tags/

User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# qualquer endereco que contenha ?
Disallow: /*?*

# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

#Sitemap

Sitemap: http://www.brpoint.net/sitemap.xml

-------------- // -----------------------

Faça alterações no código se for necessário, por exemplo se você usa o sistema de url padrão do wordpress, retire a linha "Disallow: /*?*" para que o google faça a indexação correta do seu site.

É isso, agora acompanhe os resultados e veja se o robot ajuda o seu site.

Ainda estou em fases de teste no site que coloquei esse arquivo robot, caso não tenha resultados volto aqui para informar os problemas ou as novas tentativas.

Fonte: Bruno Alves