关于我们

后浪云旗下免费主机平台 12+年运维经验

< 返回新闻公共列表

如何通过网站日志判断搜索引擎真假蜘蛛访问?

发布时间:2022-04-07 17:24:33

使用虚拟主机建设网站,SEO优化特别重要。主流搜索引擎蜘蛛抓取网站,都会自带UA特征,比如百度蜘蛛UA(Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在网站的访问日志中也会相应记录,但UA是可以伪造的,目前越来越多伪造UA的扫描器或采集器都在伪造搜索引擎UA来迷惑管理员,造成无法判断是否是正规搜索引擎蜘蛛。

在不知道蜘蛛IP段的情况下,可以通过运行命令:nslookup 来判断真假蜘蛛。

首先以百度蜘蛛为例,在访问日志中找到带有UA记录的IP,如:220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ,运行后结果中带有: baiduspider-220-181-108-*.crawl.baidu.com 字样,说明是真百度蜘蛛,反之如果没有则为假。


/template/Home/idcegg/PC/Static