wiki:RobotsTxt
 ここの情報は古いです。ご理解頂いた上でお取り扱いください。

User-agent: * Crawl-delay: 300

User-agent: Slurp Crawl-delay: 5

Last modified 6 months ago Last modified on Jun 23, 2017, 10:33:02 AM