selenium爬虫求教，被知网检测出来两次了

笨人为了帮老师收集知网上近20年，211院校各个领域的发文数量，借助GPT初步运用selenium。能跑起来两个小时，但是当初6月28被封了一次，现在用的虚拟UA，防止爬虫检测，还是被封了，请问大佬有没有什么方法，或者有没有推荐的教程

不感兴趣

开通SVIP免广告

emmm，爬虫被封无非就是模拟的不像真人，看起来你这是自动化控制浏览器进行爬虫（这个方案的好处就是省去了很多编辑报文的麻烦）？但看起来没控制请求速率，导致请求过快？ua的话，听你的描述，看起来应该影响不大。

速率控制，随机移动都没有

配ip池要么动态住宅

控制爬虫速度，还有每个页面模拟鼠标滚轮滑动两下

配一个ip池，然后再控制一下速率，如果还是不行就js逆向

知网应该是公开的数据吧

不感兴趣

开通SVIP免广告

request试过吗

有没有能爬Twitter的，带价私聊我

建议结合 tampermonkey 来。tampermonkey 负责解析页面，找到需要进一步处理的链接。然后你可以选择让 tampermonkey 帮你打开这些链接。这样，节奏就和真人访问一样，应该不会被封。但是如果知网的策略很激进，只要单位时间访问次数超过多少就封，甚至不在乎误伤正常用户，那么就没有办法了，如果这样就多搞几个账号和 IP 吧。

需要动态IP可以找w

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

16回复贴，共1页

<<返回python吧

分享到:

日	一	二	三	四	五	六