「Mediapartners-Google」がやってくる

アクセスログを見ると、見慣れない「Mediapartners-Google」というUser-Agentを見つけた。
なんと1時間20分もかけて、全392ページもクロールしていったのだった。
もの凄い量のアクセスログである。
毎分5ページくらいなので、一応サイトに負荷がかからないような考慮がされている。

「Mediapartners-Google」って何だよ？
Googleを名乗る新手の攻撃か？と思ったら、IPアドレスはちゃんとGoogleなのである。
過去のアクセスログを解析してみたのだが、サイトを構築してからこの1回こっきりだ。
いつもの「Googlebot/2.1」との違いが分からない。いったいこれは何なんだ？ってことで調べてみた。

答えはすぐに分かった。Googleに全部書いてある。
「AdSense広告クローラ」だそうで、関連性の高い広告を配信する目的でクロールするそうだ。なるほど。。。

このサイトは広告を一切載せていないぞ。AdSenseの契約はもちろん、Google Analyticsすらも利用していない。Googleにクロールして貰うのは歓迎なのだけど、それはGoogle任せで、こちらからは一切アクションしていない。検索はメインで使っているけど、普段はWaterfoxというFirefoxの派生ブラウザを使っているので、サイト的にはGoogleとそれほど縁が無かったりする。
純粋に技術的知見を得るためだけに運用しているので、その他の企業によるサービスも一切利用してない。

一応説明には「クローラはGoogleの広告タグが実装されているURLにのみアクセスを試みます」と記載があるのだが、全く無いのでクロールされるはずは無いのである。
誰かがイタズラでAdSenseの契約とかしたのだろうか？
全く謎である。。。

6月には無駄なアクセスを減らすためにrobots.txtを配置したのだが、6月は35,000pvだったのに7月はなんと60,000pvに迫るアクセス数となった。半分くらいに減ると思っていたのに想定外！
これが全部本物の人間のアクセスであれば、確かにAdSenseで副業として十分な収益がでそうな数字である。
もしかしたら近日中にAdSenseを設置される前提で、先行して記事内容を確認したのだろうか？
本当に謎は深まるばかり。。。

robots.txtで「Mediapartners-Google」を拒否することもできるのだが、通常のボットとデータを共有しているようなので、下手に拒否すると検索順位に影響がでそうだ。
面白そうなのでテストしてみたい気もするが、さすがにGoogleを拒否する勇気は無い。しばらくは放置。

広告を付けていないので、こんなボットがあるとは全く知らなかった。
また一つ賢くなった。