Porque o Google não acessa o site como qualquer browser.
É claro que você só vai se preocupar com isso no pior momento, quando o Google disser que o seu site está inacessível. Mas como se você está abrindo o seu site normalmente em qualquer browser?
Isso aconteceu em um de nossos sites, a primeira tentativa de solução foi revermos nosso robots, algo parecia estar estranho e fizemos a correção, submetemos ao Google, esperamos mais alguns dias e nada. Ele continuava a dizer que o site tinha HTTP Error 500 (Erro interno do servidor).
Começamos a entender o erro através deste post (URL inacessível, não consigo entender o motivo), e descobrimos que de fato havia um erro 500 no nosso site, mas que de alguma forma os browsers comuns dão um bypass neste erro e finalizam com código 200 (Sucesso).
Mas como encontrar o erro 500 que só os Bots identificam?
Usamos um simulador do Lynx, um browser modo texto para ver o site da forma com que os Bots veem (Lynx View), usamos o mesmo simulador para ver os cabeçalhos HTTP (HTTP Headers) mas o que ajudou efetivamente foi o Rex Swain’s HTTP Viewer, somente através dele foi possível ver as nossas próprias páginas de erro (que não são mostradas nos browsers comuns) e então solucioná-los.
Ferramentas para Webmaster são essenciais para um bom relacionamento com os Sites de Busca, é óbvio que são para profissionais que saibam usá-las de forma eficaz, mas nada implica que qualquer um possa verificar como anda o seu site nos buscadores, e caso vejam algo anormal procurem um profissional para ajudá-los.
Tudo na internet é muito dinâmico principalmente para os sites e blogs que estão em constante evolução (afinal este é o objetivo de todos) e problemas ocorrem a todo o tempo, mesmo para os profissionais mais experientes.