发明 一种基于成本效益的storm任务调度方法
数据流处理 数据分析 内存处理 流式计算系统 通信技术 数据流处理 数据分析 内存处理 流式计算系统 通信技术 【数据流处理 数据分析 内存处理 流式计算系统 通信技术】 13人
G06F9/48 G06F9/455 G06F9/50
摘要：本发明涉及大数据流处理领域，特别涉及一种基于成本效益的storm任务调度方法，包括基于Storm流处理框架，构建出基于流处理的成本效益模型；判断成本效益模型的数据库中是否有提交任务的成本信息，若有则获取该任务所需要的资源需求，若当前任务的资源需求超载，则调整worker阈值，并重新提交任务；否则根据数据库中的任务优先级序列表，以成本最小化的方式分配任务；若没有该任务的成本信息，则通过监控脚本和通信探针来获取对应的数据，通过成本效益的模型，来计算集群中各个节点的总成本信息，再将其写入到成本效益模型数据库；本发明将网络绑定作业的节点间通信最小化，从而提高了系统的性能以及系统集群的总成本效益。
