その関係で不特定ページに対して下記のUser-agent名でクローラーがアクセスを行う可能性があります。

Mozilla/5.0 (compatible; d4k job crawler; http://www.d4k.net/archives/2008/01/post_43.html)

これらのクローラーからのアクセスについてはrobots.txtによって制御可能ですので、アクセス拒否を希望される場合はrobots.txtの設定をお願い申し上げます。また、これらのデータについては弊社内での実験のみで使用し、外部に掲載することはありません。robots.txtでクロールを拒否されたサイトのデータについては破棄いたします。

　その他、ご意見・ご感想などございましたらお手数ですがinfo@d4k.net宛まで御連絡下さい。