(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210435917.9
(22)申请日 2022.04.24
(71)申请人 京东科技信息技 术有限公司
地址 100176 北京市大兴区北京经济技 术
开发区科创十一街18号院2号楼6层
601
(72)发明人 李泽州 张静 张宪波
(74)专利代理 机构 北京路浩知识产权代理有限
公司 11002
专利代理师 乔慧
(51)Int.Cl.
G06F 11/34(2006.01)
G06F 40/30(2020.01)
G06K 9/62(2022.01)
G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称
基于词性分析的日志异常检测方法、 装置和
电子设备
(57)摘要
本公开提供一种基于词性分析的日志异常
检测方法、 装置和电子设备。 通过 获取原始日志,
根据原始日志和词性分析策略得到合成词向量,
实现通过词性分析策略对原始日志进行词性分
析, 将原始日志转化为具有语义信息的合成词向
量, 同时也根据单词在原始日志中的重要程度进
行优化, 达到提升判别准确度的效果。 此外, 该合
成词向量还 可以优化原始日志解析的工作量, 即
省去对无关紧要单词的人工剔除工作, 根据合成
词向量和日志异常检测模型得到预测分类结果,
提升日志 异常检测的准确性。
权利要求书4页 说明书17页 附图4页
CN 114780365 A
2022.07.22
CN 114780365 A
1.一种基于词性分析的日志 异常检测方法, 其特 征在于, 包括:
获取原始日志;
根据所述原 始日志和词性分析 策略得到合成词向量;
根据所述 合成词向量和日志 异常检测模型 得到预测分类结果;
其中, 所述日志异常检测模型为根据原始日志样本和所述词性分析策略对所述初始日
志异常检测模型进行训练得到 。
2.根据权利要求1所述基于词性分析的日志异常检测方法, 其特征在于, 所述日志异常
检测模型 是通过如下步骤训练得到:
获取原始日志样本;
根据所述原 始日志样本和所述词性分析 策略得到合成词向量样本;
根据所述合成词向量样本和初始日志异常检测模型得到分类结果样本并根据所述分
类结果样本计算损失函数;
根据所述损失函数将所述初始日志 异常检测模型确定为所述日志 异常检测模型。
3.根据权利要求2所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据 所
述原始日志样本和词性分析 策略得到合成词向量样本的步骤, 包括:
根据所述原 始日志样本生成原 始日志模板样本;
根据所述原 始日志模板样本生成初始词向量样本和词性权 重向量样本;
根据所述初始词向量样本和所述词性权 重向量生成所述 合成词向量样本 。
4.根据权利要求3所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据 所
述原始日志模板样本生成初始词向量样本和词性权 重向量样本的步骤, 包括:
通过词向量提取工具对所述原始日志模板样本进行词向量提取, 生成所述初始词向量
样本;
将所述原 始日志模板样本 输入词性分析模型进行词性分析, 输出词性向量样本;
根据所述词性向量样本和权 重系数表确定词性权 重向量样本 。
5.根据权利要求4所述的基于词性分析的日志异常检测方法, 其特征在于, 所述通过词
向量提取工具对所述原始日志模板样本进行词向量提取, 生成所述初始词向量样本的步
骤, 包括:
通过所述词向量提取工具根据所述原始日志模板样本对应的原始日志序列样本数量
和原始日志模板样本长度, 以及预设的原始日志模板样本标准长度和词向量维度, 对所述
原始日志模板样本进行词向量 提取, 生成所述初始词向量样本 。
6.根据权利要求5所述的基于词性分析的日志异常检测方法, 其特征在于, 所述通过所
述词向量提取工具根据所述原始日志模板样本对应的原始日志序列样本数量和原始日志
模板样本长度, 以及预设的原始日志模板样本标准长度和词向量维度, 对所述原始日志模
板样本进行词向量 提取, 生成所述初始词向量样本的步骤, 包括:
通过所述词向量提取工具根据所述原始日志模板样本标准长度对所述原始日志模板
样本长度进行处 理, 得到处 理后的原 始日志模板样本 长度;
通过所述词向量提取工具根据 所述原始日志序列样本数量、 所述词向量维度和所述处
理后的原 始日志模板样本 长度生成所述初始词向量。
7.根据权利要求6所述的基于词性分析的日志异常检测方法, 其特征在于, 所述通过所权 利 要 求 书 1/4 页
2
CN 114780365 A
2述词向量提取工具根据所述原始日志模板样本标准长度对所述原始日志模板样本长度进
行处理, 得到处 理后的原 始日志模板样本 长度的步骤, 包括:
在所述原始日志模板样本长度小于所述原始日志模板样本标准长度的情况下, 根据 所
述原始日志模板样本标准长度与所述原始日志模板样本长度的差值, 对所述原始日志模板
样本长度进行补充, 得到所述处 理后的原 始日志模板样本 长度;
在所述原始日志模板样本长度 大于所述原始日志模板样本标准长度的情况下, 根据 所
述原始日志模板样本长度与所述原始日志模板样本标准长度的差值, 对所述原始日志模板
样本长度进行删除, 得到所述处 理后的原 始日志模板样本 长度;
在所述原始日志模板样本长度等于所述原始日志模板样本标准长度的情况下, 直接将
所述原始日志模板样本 长度作为所述处 理后的原 始日志模板样本 长度。
8.根据权利要求2所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据 所
述合成词向量样本和初始日志异常检测模型得到分类结果样本并根据所述分类结果样本
计算损失函数的步骤, 包括:
将所述合成词向量样本输入所述初始日志异常检测模型, 输出多个具有概率的分类结
果样本;
根据所述多个具有概率的分类结果样本和所述原始日志样本对应的真实分类计算所
述损失函数。
9.根据权利要求8所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据 所
述多个具有概率的分类结果样本和所述原始日志样本对应的真实分类计算所述损失函数
的步骤, 包括:
根据预测分类样本和所述原始日志样本对应的真实分类计算交叉熵, 将所述交叉熵作
为所述损失函数, 其中, 所述预测分类样本为所述多个具有概率的分类结果样本中概率最
大的分类结果样本 。
10.根据权利要求2所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据
所述损失函数将所述初始日志 异常检测模型确定为所述日志 异常检测模型的步骤, 包括:
在所述损失函数未达到预设阈值范围的情况下, 调整所述初始日志异常检测模型的参
数, 并返回重新执 行所述获取原 始日志样本的步骤;
在所述损失函数达到预设阈值范围的情况下, 确定所述初始日志异常检测模型为所述
日志异常检测模型。
11.根据权利要求1所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据
所述原始日志和词性分析 策略得到合成词向量的步骤, 包括:
根据所述原 始日志生成原 始日志模板;
根据所述原 始日志模板生成初始词向量和词性权 重向量;
根据所述初始词向量和所述词性权 重向量生成所述 合成词向量。
12.根据权利要求11所述的基于词性分析的日志异常检测方法, 其特征在于, 所述根据
所述原始日志模板生成初始词向量和词性权 重向量的步骤, 包括:
通过词向量 提取工具对所述原 始日志模板进行词向量 提取, 生成所述初始词向量;
将所述原 始日志模板 输入词性分析模型进行词性分析, 输出词性向量;
根据所述词性向量和权 重系数表确定词性权 重向量。权 利 要 求 书 2/4 页
3
CN 114780365 A
3
专利 基于词性分析的日志异常检测方法、装置和电子设备
文档预览
中文文档
26 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共26页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 17:49:51上传分享