发明 一种基于Spark下并行超网络的分类方法
大数据平台/分布式计算/数据挖掘 【大数据平台/分布式计算/数据挖掘】 3人
G06F16/953 G06F16/35
摘要：本发明涉及一种基于Spark下并行超网络的分类算法，具体包括以下步骤：步骤S1.把文本数据部署到Spark平台上；步骤S2.在Spark平台上对文本数据进行并行化预处理；步骤S3.在Spark平台上，对超网络算法的演化学习进行并行化实现。本发明主要解决在大规模文本数据量的情况下，演化超网络分类算法的并行处理问题，通过分布式数据存储阶段，数据预处理阶段，并且通过改变超边结构以及超网络演化计算方式，修改目标函数，完成对超网络算法的并行化处理，提高传统超网络的分类算法性能和效率，解决在海量数据中，传统的超网络模型已经难以满足时间和空间的限制。
