全球主机交流论坛

标题: 如何防止360蜘蛛的过度抓取？ [打印本页]

作者: 轻功水上漂 时间: 2025-5-28 22:43
标题: 如何防止360蜘蛛的过度抓取？
360蜘蛛好几次过度抓取，将CPU干到90了，导致网页都打不开。但是又不想完全BAN了它，好歹也能带一丁点流量。

作者: toot 时间: 2025-5-28 23:09
问gpt让它给你写一个标准的robots，延迟抓取规则

但是360这种流氓遵不遵守就不知道了

作者: 轻功水上漂 时间: 2025-5-28 23:31

toot 发表于 2025-5-28 23:09
问gpt让它给你写一个标准的robots，延迟抓取规则

但是360这种流氓遵不遵守就不知道了 ...

问题是它不支持Crawl-delay。。。。。。。

作者: hkkvm 时间: 2025-5-28 23:53
去360站长平台看看能不能限制频率

作者: 精神小伙 时间: 2025-5-29 00:33
360蜘蛛有点傻了吧唧的，有时候莫名其妙一个时间段一瞬间几千抓取

作者: 268296 时间: 2025-5-29 10:20
360是训练ai用的每天抓取我好几万文章有次我用so搜索的时候前排的ai推荐竟然和我网站内容一模一样的还有我网站地址

欢迎光临全球主机交流论坛 (https://loc.xiu.ee/)