(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210260485.2 (22)申请日 2022.03.16 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 钱丽萍　叶萍　钱江　吴湾湾　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06F 40/30(2020.01) G06F 17/16(2006.01) G06K 9/62(2022.01) G10L 15/26(2006.01) H04B 1/69(2011.01) (54)发明名称 一种基于CCSK和深度学习的语义 通信方法 (57)摘要 为了克服大数据对传统通信系统带来的挑 战， 本发明提出了一种基于CCSK和深度学习的语 义通信方法， 实现了语音信号的语义传输； 发送 端将原始 语音转换为文本， 对文本进行特征矩阵 提取， 得到 特征矩阵； 对 征矩阵进行解码， 得到语 义信息； 对语义信息进行分组扩频， 得到扩频后 的信号并传输至接收端； 接收端获取发送端传输 的扩频后的信号并进行解扩， 得到语义信息， 并 将语义信息转成语音， 完成传输。 本发明在数据 传输方面依靠软件形式生 成扩频码， 对语义信息 进行分组组帧扩频， 能够节省硬件成本， 提高通 信的抗干 扰性。 权利要求书5页 说明书10页 附图3页 CN 114595698 A 2022.06.07 CN 114595698 A 1.一种基于 CCSK和深度学习的语义 通信方法， 其特 征在于， 包括以下步骤： 步骤(1)： 发送端将语音转换为文本； 步骤(2)： 对步骤(1)转换的文本进行 特征矩阵提取， 得到特 征矩阵； 步骤(3)： 对步骤(2)得到的特 征矩阵进行解码， 得到语义信息； 步骤(4)： 对步骤(3)得到 的语义信息生成256bit的扩频码， 通过该扩频码对语义信息 进行分组扩频， 得到扩频后的信号并传输 至接收端； 步骤(5)： 接收端生成与发送端一致的256bit扩频码， 通过识别同步位来获取发送端传 输的扩频后的信号并进行解扩， 得到语义信息； 步骤(6)： 将步骤(5)得到的语义信息转成语音， 完成传输 。 2.根据权利要求1所述的一种基于CCSK和 深度学习的语义通信方法， 其特征在于， 所述 步骤(2)包括以下子步骤： (2.1)对步骤(1)转换的文本做预处理， 所述预处理包括分词、 生成词向量和词向量位 置编码三部 分； 所述预 处理具体为： 1)分词： 对文本进行分词处理， 即将文本输入jieba中文 分词模型， 按文本原顺序得到w1,w2,…,wi,…,wn总计n个词语， 下标i表示第i个词语， i∈ [1,n]； 所述jieba中文分词模 型为一个常用的分词器模 型， 可以将句子分成多个词语； 2)生 成词向量： 随后将词语w1,w2,…,wi,…,wn输入到Word2vec中文预训练模型， 得到相 对应的 词向量x1,x2,…,xi,…,xn， 所述词向量x1,x2,…,xi,…,xn为维度为300的行向量； 所述 Word2vec中文预训练模型是一种常用的生成词向量的模型， 可以将词语映射为 向量； 3)词 向量位置编码： 使用正弦/余弦函数将词向量x1,x2,…,xi,…,xn生成位置向量t1,t2,…, ti,…,tn， 公式如下： 其中a指的是词向量xi的第a维度， a∈[1,300]； t(,)指的是位置向量ti第a个纬度的值； 将词向量x1,x2,…,xi,…,xn和对应的位置向量t1,t2,…,ti,…,tn相加得到词嵌入向量e1, e2,…,ei,…,en， 其中ei＝xi+ti， 将词嵌入向量e1,e2,…,ei,…,en记作矩阵E； (2.2)对步骤(2.1)得到的矩阵E进行自注意力机制操作， 所述自注意力机制操作过程 如下： 首先生成Query查询矩阵Q1、 Key键矩阵K1和Value值矩阵V1： 权　利　要　求　书 1/5 页 2 CN 114595698 A 2其中， 分别是维数为300的权重方阵， 方阵中元素的具体值经过预训练得 到， 预训练共确定 十八个权重方阵， 所述十 八个权重方阵都为 维数为300的权重方阵， 预训练使用的数据集在 正文开头加上了单词 “<start>”， 在对应摘要的结尾加上了单词 “<eos>”， 经过预训练之后， 权重方阵 会包含“<start>”和“<eos>”的特征信息； qi,ki,vi为维度为300的行向 量， 其中qi为矩阵E中第i个行向量的查询向量， ki为矩阵E中第i个行向量的键向量， vi为矩 阵E中第i个行向量的值向量； 令Query查询矩阵Q1中的查询向量分别与矩阵K1中的所有键向量进行score运 算； 以Query查询矩阵Q1中的查询向量q1为例， 查询向量q1与键向量ki(i∈[1,n])做score运 算， 结果记作α1,m,m＝i； 所述score运 算的公式为： 将所有结果 α1,1, α1,2,…, α1,m,…, α1,n进行soft‑max归一化操作得到 所述soft ‑max是深度学习中常用的函数， 可以把输入映射成0～1之间的实数， 并且保证所 有输入映射到的实数的和为1， soft ‑max归一化操作的公式为： 再将 分别与Value值矩阵V1中的对应的值向量v1,v2,…vi,…,vn 相乘得到加权向量z1,z2,…zm,…,zn， 相乘操作为 将加权向量z1, z2,…zm,…,zn相加得到思想向量b1； 将上述操作进行n次， 得到向量b1,b2,…,bi,…,bn， 公式如下： 至此， 生成了矩阵E中所有行向量对应的思想向量b1,b2,…,bi,…,bn； (2.3)将步骤(2.2)得到的思想向量b1,b2,…,bi,…,bn通过前馈神经网络输出向量f1, f2,…,fi,…,fn， 所述前馈神经网络由两次变换构成， 第一次通过ReLU激活函数做非线性映 射， 第二次使用线性激活函数恢复到原 始梯度； (2.4)将步骤(2.3)得到的向量 f1,f2,…,fi,…,fn记作矩阵F， 对矩阵F进行自注意力 机 制操作， 本次自注意力机制操作中， 将矩阵F分别与权重方阵 相乘来生成Query 查询矩阵、 Key键矩阵和Value值矩阵， 其余具体操作过程同步骤(2.2)， 得到矩阵F中所有行 向量对应的思想向量d1,d2,…,di,…,dn， 并将思想向量d1,d2,…,di,…,dn通过前馈神经网 络输出向量 将向量 记作特征矩阵 权　利　要　求　书 2/5 页 3 CN 114595698 A 3