クローラーの User Agent でサイトにアクセスする

前提

使用ブラウザ：Chrome

How To

1. 開発者ツールの Network conditions を開く
2. Select automatically のチェックを外し、UAを選択する
   • Googlebotはデフォルトで用意されてる
   • その他の検索エンジンbotを指定したい場合は Other を選択し、後述のUAの値を入力する

今回見たUA（アクセスログ等から拾ってきました）

クローラー	User Agent
Googlebot	Chromeに標準で入ってた。
Yahoo!	Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
bingbot	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yeti	Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)Yeti/1.0 (+http://help.naver.com/robots/)
Baidu	Mozilla/5.0 (Linux; Android 5.1; m2 note Build/LMY47D) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/40.0.2214.114 Mobile Safari/537.36 baiduboxapp/5.0 (Baidu; P1 5.1)Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
YandexBot	Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)