发明 一种基于Partition结构的编码分布式计算方法
分布式计算 网络通信 通信 大规模数据 数据分析 机器学习 神经网络的学习 分布式 神经网络 Par 分布式计算 网络通信 通信 大规模数据 数据分析 机器学习 神经网络的学习 分布式 神经网络 Par 【分布式计算 网络通信 通信 大规模数据 数据分析 机器学习 神经网络的学习 分布式 神经网络 Par】 【刀具】 1人
H04L1/00
摘要：本发明公开了一种基于Partition结构的编码分布式计算方法，在编码分布式计算中，对于N个输入文件，使用K个分布式计算节点来计算Q个输出函数的值，整个计算过程分三个阶段进行：Map阶段、Shuffle阶段和Reduce阶段，以K个节点共同计算Q个函数s次的分布式计算的方法，包括如下步骤：A.Map阶段；B.Shuffle阶段；C.Reduce阶段。这种方法所实现的通信负载几乎约等于最优通信负载，并且在此基础上，所需的输入文件个数N及输出函数个数Q的最小要求相比Ali的方案明显减少。
