ブログの検索結果掲載止まる

ついに、グーグルにブログの検索結果の掲載が止まった。発見から6ヶ月、対策を始めてから5ヶ月ぐらいかかった。

現象は、少し複雑である。まず、ブログシステムの記事検索を使用していることが条件である。このブログにもある検索窓の設置である。しかし、グーグルやヤフーの検索窓ではなく、ブログシステムの検索窓である事が必要である。

この検索窓で検索を行うと、その検索結果表示URLは、[ブログのURL]?s=[検索キーワード]と言う形になり、直接リンクができる。グーグルはなぜか、このURLを[検索キーワード]の検索結果として登録してしまう。

検索キーワードが意味のあるものであれば、それほど、気にならないが、なぜか、送りがなだけや接尾語など、それだけでは意味のない語が多かった。これでは、検索エンジンが判断するこのサイトの重点キーワードも変わってしまうと考え、対策を行った。

対策はrobot.txtを設置して、”?s=”の文字列で検索エンジンが閲覧を試みた場合、アクセスを禁止するというものである。また、既に登録されてしまったURLについては、削除申請をおこない、排除した。のべ総数300件ぐらいが登録されていた。

時間がかかっても、これで対策は成功したが、実は原因が分かっていなかった。グーグルはリンクをたどって、URLを登録するが、自分でURLを予想することはないと考えていたからである。ところが、実は、グーグルは入力フォームがあるとそのテキストボックスに自動生成した文字を入力して、結果として表示されるデータを収集するのである。(詳細:Crawling through HTML forms) ブログの検索窓を使っている人は気をつけて欲しい。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA