最近发现网站日志中的蜘蛛多了起来,这个时候我们要做的就是识别出假蜘蛛并且屏蔽掉节省服务器资源,通常验证百度蜘蛛真伪我们一般使用的是DNS反查IP的方式来进行判断。接下来吾爱编程为大家详细的介绍一下识别百度真假蜘蛛IP方法,有需要的小伙伴可以参一下:
1、windows nslookup 进行反解析IP
快捷键Win+R,打开运行窗口,输入:cmd然后回车打开命令行窗口,输入nslookup IP然后回车。
这个时候,就能查询到IP的hostname,如果是以 *.baidu.com的格式命名,则为百度真蜘蛛,如果不是。表示为伪装的百度假蜘蛛。
2、Linux host命令
在linux系统,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。如果是结果中会返回以*.baidu.com 或*.baidu.jp 的格式命名hostname,如不包含则为假百度蜘蛛。
[root@localhost ~]# host 61.135.186.13 13.186.135.61.in-addr.arpa domain name pointer baiduspider-ad-61-135-186-13.crawl.baidu.com.
PS:如果输入host IP之后提示:-bash: host: command not found,说明我们需要安装对应的安装包了,执行以下命令即可:yum install bind-utils