(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210532499.5 (22)申请日 2022.05.10 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市学源街258号 (72)发明人 周娟　吴宗欢　王强　 (51)Int.Cl. G06Q 30/00(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 40/30(2020.01) (54)发明名称 一种BERT融合胶囊网络的电梯故障投诉文 本分类方法 (57)摘要 本发明公开了一种BERT融合胶囊网络的电 梯故障投诉文本分类方法， 所述方法首先利用预 训练语言模型BERT强大的词句表达能力和抽取 长距离依赖关系的能力对文本进行语义特征提 取， 取BERT最后一层输出层中的第一个字符对应 的向量， 将其经过一个线 性层和Tanh激活层处理 后得到投诉文本句向量表示， 从而降低句向量维 度， 提高分类效率； 然后利用过采样与欠采样结 合的混合采样方法解决数据类别分布不均衡的 问题； 最后借助胶囊网络实现特征二次提取及融 合， 获取文本局部与整体的关系并保留词语顺序 和语义， 最终实现对电梯故障投诉文本的智能分 类， 为电梯定期维护提供参考价值， 也为故障投 诉文本数据的高效利用提供了解决方案 。 权利要求书2页 说明书7页 附图2页 CN 114819999 A 2022.07.29 CN 114819999 A 1.一种BERT融合胶囊网络的电梯故障投诉文本分类方法， 其特 征在于， 包括以下步骤： 步骤1： 准备和处理数据集， 首先收集并整理电梯用户投诉文本内容， 投诉文本大都是 100字以内的中文短文本， 投诉内容为用户在 使用电梯过程中碰到的问题或故障， 这些给用 户带来不好的体验或对用户的生命健康和财产安全产生威胁或伤害。 不同用户有不同的语 言习惯， 有的有强烈情感因素， 有的语言逻辑混乱， 有的内容模糊， 其中也包括一些恶意或 错误的投诉。 在整理数据集时先剔除恶意或错误的投诉； 然后对样本进 行预处理， 一个样本 就是一个句子， 设置句子的最大长度， 每个句子要以[CLS]开头， 以[SEP]结尾， 不足最大长 度的以[PAD]进行填充， 这样的形式是为了能正确输入到BERT模 型中； 最后确定电梯故障类 型， 用户投诉的故障类型共计9种， 分别是开关门不正常、 电梯运行异响、 操作按钮失灵、 其 他、 电梯运行抖动、 电梯管理差、 运行中出现下坠情况、 紧急呼叫按钮无人接听和使用登记 标记超期， 给故障类型进行编号， 样本与故障类型一 一对应； 步骤2： BERT 文本句向量表示， 将处 理后的样本 输入到BERT模型中生成最终的句向量； 步骤3： 数据集的采样与划分， 经过BERT文本句向量表示后的数据集， 一个句向量表示 一个用户的投诉样本， 利用过采样与欠采样结合的混合采样方式解决数据类别分布不均衡 的问题； 将采样后的数据集以7： 1： 2的比例随机划分为训练集、 验证集和测试集， 训练集和 验证集用于训练本发明建立的BERT融合胶囊网络(BERT ‑CapsNet)的电梯 故障投诉文本分 类模型， 测试集用于 评估BERT ‑CapsNet投诉文本分类模型的性能； 步骤4： 构建胶囊网络(capsule  network， CapsNet)结构， 设置各项参数； 步骤5： 利用训练集和验证集训练建立好的胶囊网络， 计算损失函数(误差)， 利用误差 反向传播 来更新CapsNet网络 权重， 得到性能较好的BERT ‑CapsNet投诉文本分类模型； 步骤6： 利用测试集评估BERT ‑CapsNet模型的投诉文本分类性能， 评价分类性能的指标 通常有准确率A、 精确率P、 召回率R和F值等， 假设共有M种故障类型， nij表示把真实类型i预 测为类型j的样本个数， 评价指标计算公式如下： Fi＝2PiRi/(Pi+Ri)                            (4) 本发明取准确率和Macro  F1为模型分类性能的评价指标。 2.根据权利要求1所述的一种BERT融合胶囊网络的电梯故障投诉文本分类方法， 其特 征在于， 所述步骤2中BERT文本句向量表示， 采用的是BERT ‑Base‑Chinese模型(Chinese_L ‑ 21_H‑768_A‑12)， 模型具有12层Transformer层， 隐含层具有768个结点， 12头注意力机制， 取最后一层transformer层的第一个Token也就是[CLS]对应的向量作为BERT输出的句向量 (维度为768)， 将此句向量输入到线性层并经过Tanh函数激活最终得到维度为100的句向 量， 该句向量 就代表对应投诉文本的语义信息 。 3.根据权利要求1所述的一种BERT融合胶囊网络的电梯故障投诉文本分类方法， 其特 征在于， 所述 步骤3中数据集的混合采样方法， 采样步骤如下： (1)统计数据集中每种故障类型对应的样本量， 假设经过处理后的电梯故障投诉数据权　利　要　求　书 1/2 页 2 CN 114819999 A 2集共有M种故障类型， Ni表示类型i采样前的样本量； (2)确定各故障类型的采样方式， Nmean表示采样前总样本量的均值， 若Ni大于Nmean则采 取欠采样方式， 采样标记为0， 反 之采取过采样方式， 采样标记为1； (3)确定各故障类型采样后的理论样本量， 对于需要欠采样的故障类型进行随机采样， 对于需要过采样的故障类型进行SMOTE(Synthetic  Minority  Oversamplin g Technique， SMOTE)采样， 各故障类型采样后的理论样本量如式(6)所示： N_newi表示类型i采样后的样本量， a表示采样平衡系数， 此处取a＝0.5 。 4.根据权利要求1所述的一种BERT融合胶囊网络的电梯故障投诉文本分类方法， 其特 征在于， 所述步骤5中损失函数计算方法， 由于胶囊网络允许多个分类同时存在， 故采用间 隔损失(margi n loss)函数， 间隔损失表示 为： Li＝Ti·max(0， m+‑||vi||)2+λ(1‑Ti)max(0， | |vi||‑m‑)2                (7) 式(7)中vi表示类别i的输出向量， Li表示类别i的损失， Ti是分类的指示函数(存在为1， 不存在为0)； m+为上界， 惩罚假阳性； m‑为下界， 惩罚假 阴性； λ是比例系数， 调整 两者比重， 本 发明取m+＝0.9， m‑＝0.1， λ＝0.5； 重构是用预测的类别构造出该类别的实际数据， 重构损失计算方法为胶囊层后构造出 3层全连接层， 得到重构后的输出数据； 将原数据与输出数据距离平方和作为损失值， 总体 损失＝间隔损失+α ·重构损失， 本发明取α ＝0.01。权　利　要　求　书 2/2 页 3 CN 114819999 A 3