发明 一种基于动态分区的高能效Spark任务调度方法
大数据云计算/分布式数据中心 【大数据云计算/分布式数据中心】 3人
G06F9/48 G06F9/50 G06K9/62
摘要：本发明涉及大数据处理领域，具体涉及一种基于动态分区的高能效Spark任务调度方法，包括：对服务器进行初始化，得到任务信息参照表；用户发起任务调度请求；服务器接收任务调度请求后获取任务数据信息；判断该任务是否限制任务完成时间以及任务是否为首次执行；根据判断结果确定分区数；根据分区数进行服务器的任务调度与运行；任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗，并记录入任务信息参照表中，完成任务调度；本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况，实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度，达到了节能的效果。
