王新阳

wangxinyang

怎么判断某IP是否真实的百度蜘蛛

1、nslookup ip 出现的结果如下,可以看到结果显示名称"baiduspider-123-125-71-97.crawl.baidu.com",说明这个是真的百度蜘蛛。

2、tracert ip 出现的结果如下,可以看到结果显示名称"baiduspider-123-125-71-97.crawl.baidu.com [123.125.71.97]",这个也是真的百度蜘蛛。


防止网站内部搜索被他人恶意利用

详见百度站长学院:https://zhanzhang.baidu.com/college/articleinfo?id=117

除了文章中说的方法,也可以把搜索页地址写入robots.txt,禁止搜索引擎收录。

2024-04-28 星期日 农历三月二十