Blexbot是WebMeUp的蜘蛛爬虫，是国外蜘蛛爬虫，可以禁止的。
今天查看网站蜘蛛爬行记录发现了这条蜘蛛UA
Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)。
然后百度了下，Blexbot是WebMeUp的蜘蛛爬虫，Blexbot每天可以抓取上百亿个页面来收集反向链接数据，并将该数据提供给其链接索引（在SEO SpyGlass中使用的链接索引）。
如何屏蔽BLEXbot爬虫呢，编辑你自己网站上的robots.txt， 在里面写入以下代码即可。
代码如下：
User-agent: BLEXBot
Disallow: /
我们凭借多年的网站建设经验，坚持以“帮助中小企业实现网络营销化”为宗旨，累计为1000多家客户提供品质建站服务，得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线： 17737751177，我们会详细为你一一解答你心中的疑难。项目经理在线
请立即点击咨询我们或拨打咨询热线： 17737751177，我们会详细为你一一解答你心中的疑难。项目经理在线
客服1 
客服2 