robots.txt文件中，Useragent后面跟的是爬虫的名称，Disallow后面跟着的是可以爬虫的网页