(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110589792.0 (22)申请日 2021.05.28 (65)同一申请的已公布的文献号 申请公布号 CN 113312843 A (43)申请公布日 2021.08.27 (73)专利权人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 李建欣　周号益　彭杰奇　张帅　 王栋　朱天晨　 (74)专利代理 机构 北京中创阳光知识产权代理 有限责任公司 1 1003 专利代理师 尹振启 (51)Int.Cl. G06F 30/27(2020.01) G06F 17/16(2006.01)G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 119/12(2020.01) (56)对比文件 CN 111080032 A,2020.04.28 CN 112418409 A,2021.02.26 CN 112801355 A,2021.0 5.14 Haoyi Zhou 等.I nformer: Beyo nd efficient transformer for l ong sequence time-series forecasti ng. 《https:// arxiv.org/abs/2012.0743 6》 .2021,第1-15页. 审查员 付琦 (54)发明名称 一种大型多变压器极限负载预测系统和装 置 (57)摘要 本发明通过人工智能领域的方法， 尤其是长 序列时空预测领域， 实现了一种大型多变压器极 限负载预测系统。 系统分为编码器和解码器两部 分， 所述编码器是使用结合了历史相关性信息的 邻接矩阵数据以及加入了位置编码与额外编码 的时序数据， 并通过采用了邻近空间结构感知增 强后的注 意力机制， 得到的时空特征表征经过多 层编码器后输出至解码器； 所述解码器是由非自 回归预测器构成， 使用一步推理这种高效的预测 方式对未来一段时间内的多电网负载进行预测。 在大型多变压器极限负载预测的工业场景下的 落地。 使用计算机的深度学习算法对 大型多变压 器的历史负载进行分析， 并对未来一段时间内的 极限负载进行预测， 加强了模型在多电网负载长 期预测中的能力。 权利要求书1页 说明书4页 附图2页 CN 113312843 B 2022.12.30 CN 113312843 B 1.一种大型多变压器极限负载预测系统， 其特征在于： 系统分为编码器和解码器两部 分， 所述编 码器是使用结合了历史相关性信息的邻接矩阵数据以及加入了位置编 码与额外 编码的时序数据， 并对其进行特殊处理后， 采用邻近空间结构感知增强后的注 意力机制， 得 到时空特征表征， 然后经过多层编码器后输出至解码器； 所述解码器由非自回归预测器构 成， 使用一 步推理预测方式预测得到未来 一段时间内的多电网负载； 所述特殊处理为， 将递归机制引入所述邻接矩阵的构 建中， 具体构建方式如下： θ'＝SG ( θc‑1, τ ) 其中， 表示松弛的邻接矩阵， 表示经特殊处理后更新的邻接矩阵， 为加入了历史 信息的邻接矩阵， α表示更新权重， θ表示特征图， 下标c表示第c层， τ表示时序上的第τ个切 片， SG(·)表示停止梯度， θ' θ'T表示上一个特征图结构的点积相似度， 在时序数据的输入 处理上， 除运用标准编码器中的位置信息编码之外， 还在原本的时序数据中添加了额外的 标记信息编码， 用于代 表特殊时间信息 。 2.如权利要求1所述的一种大型多变压器极限负载预测系统， 其特征在于： 所述增强后 的注意力机制的具体定义如下： 其中 为加入了历史信息的邻接矩阵， 下标c表示第c层， 上标h表示多头注意力机制中 的分支h， v表示时空 图的节点， q表示注意力机制中的查询， K和V则分别表示注意力机制中 的键值矩阵和值矩阵， φ( ·)为特征映射函数， ψ(·)表示elu激活函数。 3.如权利要求2所述的一种大型多变压器极限负载预测系统， 其特征在于： 所述一步推 理预测方式为选择非自回归预测器作为时空长序列预测任务的解码 器， 使用可以调整到与 输出长度一 致的全连接层来 一步生成预测结果。 4.一种大型变压器极限负载预测装置， 其特征在于： 应用如权利要求1 ‑3中任一所述的 一种大型多变压器极限负载 预测系统。权　利　要　求　书 1/1 页 2 CN 113312843 B 2一种大型多变压器极限负载预测系统和装 置 技术领域 [0001]本发明涉及时空序列预测领域， 特别是长序列时空预测领域， 尤其涉及一种大型 多变压器极限负载 预测系统和装置 。 背景技术 [0002]电力系统的主要任务是为各类用户提供经济、 可靠和高质量的电能， 可随时满足 用户的负载需求和负载特性的要求。 为此， 在整个电力系统规划设计、 运行管 理和电力市场 交易中， 必须对多电力变压器负载需求变化和负载 特性有一个准确的预测。 [0003]电力变压器(尤其是油浸式电力变压器)作为电力系统中的核心设备， 其运行负 载 直接影响着整 条电网的输电能力， 而不同区域的电网之 间又存在影响与 依赖关系。 因此， 多 电力变压器负载预测作为电力系统调度、 用电、 计划、 规划的重要工作， 可以对发电提出预 告， 使得发电出力变化可以得到预先估计， 经济合理的安排 发电启动与 停止， 同时可以预测 与防御事故， 为电网的状态评估、 安全预警等提供重要保障， 而且在电力市场运营模式下， 负载预测的精度也关系到电力部门的经济利益， 它已成为现代化电力系统运行和管理中的 一个重要领域。 [0004]当前， 很多方法都是在有限的预测需求下设计的， 例如预测两天或者更少的负载， 亦或是单一变电站的预测而非多变电站的预测。 其中更长的序列长度会使得模型的预测能 力受到很大影响， 而多变电站的预测考虑了复杂的空间相关性与依赖性， 一方面预测误差 越来越大， 另一方面预测速度也会很慢； 长期多变电站负载预测 面临的主要挑战是提高预 测能力， 以满足日益增长的长序列需求， 这就需要模型具有非凡的远程对齐能力， 对长序列 输入输出的高效操作能力以及能够有效捕捉空间的依赖性。 [0005]在最近的研究中， 基于Transformer的模型在捕捉远程依赖关系方面表现出了优 异的性能， 其中自注意力机制可以讲网络信号的最大路径长度间小道理论最短的O(1),避 免使用递归的结构， 从而在该问题中表现出极大的潜力。 在空间方面， 则主要使用图卷积层 作为图形结构表示和特征的提取， 并使用控制信息流的门机制 融入时序预测神经网络模 型。 但另一方面， 自注 意力机制的计算和内存开销是输入/输出长度L二次相关的， 这导致资 源的大量消耗， 昂贵的训练和部署成本也使得模型难以解决实际的负载 预测问题。 [0006]但用于时空序列预测的深度学习方法， 无论是将时间信息融入基于图卷积神经网 络的模型， 还是将空间特征融入时序预测模型， 都在解决长期时空负载预测问题时面临三 点限制： [0007]1)时间和空间维度的不同步传播影响预测准确度； [0008]2)过高的计算 开销； [0009]3)预测长期负载时输出速度缓慢。 [0010]我们针对这三点问题做了深入探讨， 在提出了新型注意力机制的同时， 轻量化了 解码器。 提出了用于解决多电网负载长序列预测的方法， 其试图解决其他深度学习方法在 解决该问题时的上述 弊病。说　明　书 1/4 页 3 CN 113312843 B 3