发明 一种数据抓取方法、装置、存储介质及电子设备
数据 计算机 大数据 【数据 计算机 大数据】 2人
G06F16/951
摘要：本申请提供一种数据抓取方法、装置、存储介质及电子设备，涉及互联网技术领域。其中方法包括：获取用户的数据抓取请求信息，确定待抓取数据以及待抓取数据所在的待抓取网站；根据待抓取数据对应的数据特征以及待抓取网站对应的网站特征，确定对待抓取数据的第一抓取任务；对第一抓取任务进行分解，确定多个爬虫程序在时间轮节点上的第二抓取任务；控制各爬虫程序根据第二抓取任务对待抓取数据进行数据抓取。针对大规模的待抓取数据，本申请通过数据特征和网站特征快速制定初步的第一抓取任务，再通过时间轮为多个爬虫程序合理分配第二抓取任务，实现多个爬虫程序协同高效抓取数据，从而能够有效提高数据抓取的效率。
