发明 基于Bert模型的意图识别与槽值填充联合预测方法
文本处理 信息处理 数据分析 自然语言处理 软件算法 （文本处理 软件算法） 1人
G06F16/332 G06F16/35 G06F40/211 G06F40/279 G06K9/62 G06N3/04 G06N3/08
摘要：本发明涉及智能问答技术领域，具体涉及一种基于Bert模型的意图识别与槽值填充联合预测方法，该方法包括：输入目标文本，得到目标文本的词向量、段向量和位置向量，将词向量、段向量和位置向量拼接作为Bert模型的输入向量，输入训练好的Bert模型中，训练好的Bert模型输出意图表示向量和槽值序列表示向量，将意图表示向量和槽值序列表示向量在Gate层通过权重计算，计算出联合作用因子，将联合作用因子作用于槽值序列表示向量，最终输出预测的意图分类和槽值序列。本发明在Bert层上使用Gate机制，充分利用意图识别和槽值填充的内在联系，降低任务错误预测率。
