bot動かすならrobots.txtも残さず食べましょう。Javaから（直接的にでも間接的にでも）利用して動かせるものを探して彷徨いました。 Crawler-Commons 探すとGoogle codeとかGitHubとかで公開されてるJava用のライブラリ。 jarはMVN Repositoryから入手可能で…