发明 一种基于BERT-base网络的带噪半监督文本分类方法
数据处理 互联网 大数据 （数据处理 大数据） 1人
G06F40/284 G06F40/30 G06K9/62 G06N3/04 G06N3/08
摘要：本发明公开了一种基于BERT‑base网络的带噪半监督文本分类方法。本发明步骤：S1、用模型对无标签样本经回译后产生的新样本做出预测并构造预测标签；S2、将带标签和无标签样本再次输入模型后，在BERT中特定Transformer隐藏层做扰动和插值处理，最终得到插值模型输出；S3、构造损失函数loss＝ls+lsce，第一项为针对带标签样本的交叉熵，第二项为插值标签 与插值模型输出的对称交叉熵；S4、训练更新模型参数；S5、用训练好的模型对新样本进行预测分类。本发明将带噪学习领域的对称交叉熵和插值方法融合，使得带标签和无标签样本协同训练的同时，降低了标签预测过程中模型误判的影响，减少了训练过程中带标签数据的过拟合现象。
