2007-11-02

过滤爬虫

python 代码
  1. spider = agent.find('Yahoo! Slurp')   
  2. if spider != -1:   
  3.     continue  
  4. spider = agent.find('Baiduspider')   
  5. if spider != -1:   
  6.     continue  
  7. spider = agent.find('Googlebot')   
  8. if spider != -1:   
  9.     continue  

 

这几家搜索引擎爬虫/Spider的UserAgent信息为：
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Baiduspider+(+http://www.baidu.com/search/spider.htm)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

评论
发表评论

您还没有登录，请登录后发表评论