pt吧 关注:222,593贴子:11,640,697
  • 1回复贴,共1

单进程,好慢!

取消只看楼主收藏回复

昨天写好的PHP全站爬虫,遇到了内存占用不断增大,最后被系统干掉。后面,改成了 主进程+子进程 才稳定。
自动辅种工具很快就可以和大伙见面了!



IP属地:海南1楼2019-11-30 05:29回复
    为了实现支持更多站点,目前有2个方案:
    方案一:我 获得各站的邀请码,请吧友多多支持;
    方案二:种子更新脚本发给吧里的大佬
    说明:云服务器部署种子数据库与API,本地群晖、电脑、树莓派等支持PHP的任何系统部署 种子更新脚本,两者是分离的,种子数据库与种子更新脚本之间通过API通信。
    这样设计的原因是,服务器配置不够强大,因为抓取种子需要占用带宽、CPU计算各种hash特征码。分离后,充分利用家庭宽带的大带宽,与高性能。
    种子数据库更新方法:
    每个站点选取3位以上的用户,部署种子更新脚本;有了新种子后,3位会同时提交种子信息到云服务器,服务器经过比对后3位上传的种子特征hash完全一致,才入库。这样基本保证了种子信息的准确性。不知方案二是否可行?


    IP属地:海南4楼2019-11-30 05:42
    收起回复