なにがしたい サイトへアクセスしたユーザーエージェントがクローラーのものか判断する。 実装 /** * 例外対応するクローラーUAリスト */ public static final ArrayList<String> CRAWLER_UA = ImmutableList.of("Googlebot", "Yahoo!", "bingbot", "Yeti", "Baidu",</string>…