网页数据爬取方法、装置及存储介质[发明专利]

来源：独旅网

专利内容由知识产权出版社提供

专利名称：网页数据爬取方法、装置及存储介质专利类型：发明专利发明人：吴壮伟

申请号：CN201810791126.3申请日：20180718公开号：CN110020060A公开日：20190716

摘要：本发明提供一种网页数据爬取方法，该方法根据接收的网页数据爬取请求读取第一URL列表，根据预先构建的docker镜像生成多个应用容器，将读取的所述第一URL列表划分为多个第二URL列表，并分别爬取所述多个第二URL列表中每条URL对应的网页数据，之后，该方法提取所述网页数据，并将所述网页数据发送至所述网页数据爬取请求对应的用户终端。本发明还提供一种电子装置及计算机存储介质。利用本发明，可以提高网页数据爬取效率。

申请人：平安科技(深圳)有限公司

地址：518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼

国籍：CN

代理机构：深圳市沃德知识产权代理事务所(普通合伙)

更多信息请下载全文后查看

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文