(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210371315.1 (22)申请日 2022.04.11 (65)同一申请的已公布的文献号 申请公布号 CN 114444479 A (43)申请公布日 2022.05.06 (73)专利权人 南京云问网络技 术有限公司 地址 210000 江苏省南京市 鼓楼区建宁路 65号2楼203室 (72)发明人 杜振东　 (74)专利代理 机构 南京瑞华腾知识产权代理事 务所(普通 合伙) 32368 专利代理师 胡海 (51)Int.Cl. G06F 40/232(2020.01) G06F 40/30(2020.01)G06F 16/35(2019.01) G10L 15/06(2013.01) 审查员 郭俊 (54)发明名称 一种端到端中文语音文本纠错方法、 装置和 存储介质 (57)摘要 本发明提出了一种端到端中文语音文本纠 错方法、 装置和存储介质， 该方法包括如下步骤： 基于语音识别数据集构建语音纠错数据集， 语音 纠错数据集包括待纠错样本和正确样本； 获取纯 文本数据， 并对纯文本数据进行预处理； 采用预 处理后的纯文本数据进行模型训练， 获得融入语 音信息的预训练语 言模型； 从待纠错样本的句子 中提取拼音和字， 输入至融入语音信息的预训练 语言模型， 获得语义序列表征； 采用语义序列表 征进行模型训练， 获得端到端语音文本纠错模 型； 将待纠错文本输入至端到端语音文本纠错模 型中， 获得纠错后文本。 本发明实现了语音信息 的融入， 语义和拼音信息的双重编码， 以及针对 语音文本的实时纠错， 同时提升了针对语音文本 的纠错效果。 权利要求书3页 说明书7页 附图5页 CN 114444479 B 2022.06.24 CN 114444479 B 1.一种端到端中文语音 文本纠错方法， 其特 征在于， 包括如下步骤： 基于语音识别数据集构建语音纠错数据集， 所述语音纠错数据集包括待纠错样本和正 确样本； 获取纯文本数据， 并对所述纯文本数据进行预处理； 其中， 对所述纯文本数据进行预处 理， 包括： 采用多种字符替换策略对所述纯文本数据的句子进 行替换， 将替换后的错误文本 作为待纠错样本， 替换 前的纯文本作为 正确样本； 采用预处 理后的纯文本数据进行模型训练， 获得融入语音信息的预训练语言模型； 从所述待纠错样本的句子 中提取拼音和字， 输入至所述融入语音信 息的预训练语言模 型， 获得语义序列表征； 采用所述语义序列表征进行模型训练， 获得端到端语音 文本纠错模型； 将待纠错文本 输入至所述端到端语音 文本纠错模型中， 获得纠错后文本； 其中， 所述融入语音信息的预训练语言模型的训练过程， 包括： 通过词表将所述待纠错样本编码为独热序列向量； 使用词嵌入将所述独热序列向量映射 为固定长度的字序列向量； 将所述字序列向量输入至Transformer编码模块中， 输出待纠错样本的语义编码； 根据所述待纠 错样本的语义编码， 分别进行错误字符检测任务和错误字符纠 正任务， 获得字符检测损失和字符纠正损失； 根据所述字符检测损 失和字符纠 正损失计算两者损 失之和， 即模型损 失， 根据所述模 型损失进行模型梯度更新。 2.根据权利要求1所述的端到端中文语音文本纠错方法， 其特征在于， 所述基于语音识 别数据集构建语音纠错数据集， 包括： 获取语音识别数据集， 所述语音识别数据集包括音频 数据及与其对应的参 考文本； 基于语音转文本 工具将所述音频 数据转化为中文文本； 比对所述中文 文本及其对应的参 考文本， 判断是否一 致； 若一致， 则通过拼音替换规则对所述中文文本进行随机替换， 生成待纠错样本， 并将参 考文本作为 正确样本； 若不一致， 则将所述中文 文本作为待纠错样本， 将参 考文本作为 正确样本； 将所述待纠错样本和正确样本作为样本对加入到语音纠错数据集中。 3.根据权利要求2所述的端到端中文语音文本纠错方法， 其特征在于， 所述拼音替换规 则， 包括： 替换拼音完全相同的字； 替换鼻音、 平卷舌的字； 替换拼音编辑距离为1的字 。 4.根据权利要求1所述的端到端中文语音文本纠错方法， 其特征在于， 所述字符替换策 略包括字音混淆词替换、 混淆字符拼音替换、 随机替换、 原词不变。 5.根据权利要求1所述的端到端中文语音文本纠错方法， 其特征在于， 所述语义序列表 征记为 ， 则 权　利　要　求　书 1/3 页 2 CN 114444479 B 2上式中， 表示融入语音信息的预训练语言模型的函数， 表示 第 个句子的字序列向量， 表示第 个句子的拼音序列向量。 6.根据权利要求1所述的端到端中文语音文本纠错方法， 其特征在于， 所述端到端语音 文本纠错模型包括检错网络和纠错网络， 则所述端到端语音文本纠错模型 的训练过程， 包 括： 在检错网络中， 将所述语义序列表征通过全连接层进行映射， 获得检错网络的隐层表 征， 然后通过Softmax函数得到检错的概率标签， 用于判断所述待纠错样 本的句子中每一个 字是否为 错别字； 在纠错网络 中， 将所述语义表征通过全连接层进行映射， 获得纠错网络的隐层表征， 然 后通过Softmax函数得到每个字纠错的词表概率标签， 用于将句子中错误的字修改为正确 的字； 根据所述检错的概 率标签和纠错的词表概 率标签， 判断是否进行文本纠错。 7.根据权利要求6所述的端到端中文语音文本纠错方法， 其特征在于， 所述检错网络的 隐层表征记为 ， 纠错网络的隐层表征记为 ， 则： 上式中，  表示检错的概率标签，   表示每个字纠错的词表概率标 签， 表示激活函数， 表示Softmax分类器函数， 和 分别为参数矩阵 和参数向量， 为待纠错样本的语义序列表征。 8.一种端到端中文语音 文本纠错装置， 其特 征在于， 包括： 数据集构建模块， 用于基于语音识别数据集构建语音纠 错数据集， 所述语音纠 错数据 集包括待纠错样本和正确样本； 预处理模块， 用于获取纯文本数据， 并对所述纯文本数据进行预处理； 其中， 对所述纯 文本数据进 行预处理， 包括： 采用多种字符替换策略对所述纯文本数据的句子进 行替换， 将 替换后的错 误文本作为待纠错样本， 替换 前的纯文本作为 正确样本； 第一训练模块， 用于采用预处理后的纯文本数据进行模型训练， 获得融入语音信息的 预训练语言模型； 序列表征模块， 用于从所述待纠 错样本的句子中提取拼音和词语， 输入至所述融入语 音信息的预训练语言模型， 获得语义序列表征； 第二训练模块， 用于采用所述语义序列表征进行模型训练， 获得端到端语音文本纠 错 模型； 文本纠错模块， 用于将待纠 错文本输入至所述端到端语音文本纠 错模型中， 获得纠 错权　利　要　求　书 2/3 页 3 CN 114444479 B 3