(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110571292.4 (22)申请日 2021.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 113312839 A (43)申请公布日 2021.08.27 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 (72)发明人 廖思阳　陈怡琳　徐箭　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 张凯 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06F 111/04(2020.01) G06F 113/04(2020.01)(56)对比文件 CN 108964042 A,2018.12.07 CN 111200285 A,2020.0 5.26 WO 20210 02966 A1,2021.01.07 Songkai Liu等. 《An i ntegrated sc heme for static vo ltage stabi lity assessment based on correlation detecti on and random bits forest》 . 《I nternati onal Journal of Electrical Po wer and Energy System s》 .2021, 彭刘阳等. 《基 于深度强化学习的自适应不 确定性经济调度》 . 《电力系统自动化》 .2020, 徐陶阳. 《多直 流馈入受端电网紧急切负荷 控制研究》 . 《万方学位 论文》 .2020, Jian Xu等. 《L oad Shed ding and Restorati on for Intentional Island w ith Renewable Distributed Generati on》 . 《Journal of Modern Po wer System s and Clean Energy》 .2021, 审查员 陈欢 (54)发明名称 一种基于强化学习的电网紧急辅助切负荷 决策方法及装置 (57)摘要 本申请涉及一种基于强化学习的电网紧急 辅助切负荷决策方法及装置， 包括步骤： 根据环 境因素对切负荷代价的影响建立切负荷辅助决 策模型以定义最小切负荷代价的约束条件； 基于 强化学习算法对所述切负荷辅助决策模型中的 参数进行优化， 以使所述切负荷辅助决策模型在 待切负荷节点存在重要负荷供电馈线时可根据 当前环境因素自适应地输出切负荷策略以满足 最小切负荷 代价的约束条件。 本发 明在切负荷控 制策略中考虑到环境因素的影响和存在少量重 要负荷不能切除或无法切除等情况， 能够在满足 切除要求的可控负荷节点中自适应地决策出当 前状态下切负荷代价 最小的方案 。 权利要求书4页 说明书14页 附图3页 CN 113312839 B 2022.05.06 CN 113312839 B 1.一种基于强化学习的电网紧急辅助切负荷决策 方法， 其特 征在于， 其包括 步骤： 根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷代价 的约束条件； 基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化， 以使所述切负荷辅 助决策模型在待切负荷节点存在重要负荷供电馈线时可根据当前环境因素自适应地输出 切负荷策略以满足最小切负荷代价的约束条件； 所述根据环境因素对切负荷代价的影响建立切负荷辅助决策模型以定义最小切负荷 代价的约束条件， 包括 步骤： 基于时间因素和气象因素定义切负荷代价的目标函数； 根据负荷节点与电网的净交换功率和 切除率设置所述目标函数的约束条件； 在目标函数满足所述约束条件 且求解为最小切负荷代价时输出切负荷策略； 所述基于时间因素和气象因素定义切负荷代价的目标函数， 包括 步骤： 根据第一公式确定第n个负荷节点的实际负荷功率； 所述第一公式为： ， 其中， n为负荷节点编号， 为第n个负荷节点的分布式电源出力， 为第n个负荷节 点与电网的净交换功率； 根据第二公式确定所述切负荷代价； 所述第二公式为： ， 其中， n的范围为1 ‑N,且N为负荷节点总数， k是指用户的种类的总数， 为第i种用户的单位 功率切除代价值， 为第i种用户在第 n个负荷节点中所占的功率比值， 为第n个负荷 节点的切除率， 为第n个负荷节点的实际负荷功率； 所述约束条件为使 待切除的负荷量满足第一条件； 所述第一条件 包括： ， 其中， 为待切除的负荷量。 2.如权利要求1所述的一种基于强化学习的电网紧急辅助切负荷决策方法， 其特征在 于， 基于强化学习算法对所述切负荷辅助决策模型中的参数进行优化， 包括 步骤： 基于Deep Q Network算法建立强化学习模型； 基于所述切负荷辅助决策模型定义所述强化学习模型的状态空间、 动作空间、 奖励函 数和收敛 条件；权　利　要　求　书 1/4 页 2 CN 113312839 B 2根据历史运行数据将所述状态 空间、 动作空间和奖励函数所对应的数据样本输入到强 化学习模型进行离线训练以优化所述切负荷辅助决策模型中的参数； 基于优化后的参数使所述切负荷辅助决策模型输出最优切负荷策略。 3.如权利要求2所述的一种基于强化学习的电网紧急辅助切负荷决策方法， 其特征在 于， 基于所述切负荷辅助决策模型定义所述强化学习模型的输入、 输出、 奖励函数和收敛 条件， 包括 步骤： 以各负荷节点与电网的净交换功率 以及所述待切除的负荷量 建立状态空 间， 其中n=1,2,. ..,N； 以每个负荷节点对应M种不同比例的切除率 ， 并以所述每个负荷节点对应的M种不同 比例的切除率 建立动作空间， 其中M为大于或等于1的整数。 4.如权利要求3所述的一种基于强化学习的电网紧急辅助切负荷决策方法， 其特征在 于， 所述奖励函数满足 公式： ， 其中， R为奖励值， 为每个训练样本下N个节点中切除单个节点的代价估计值的中位 数，p为按照M种不同比例的切除率 组合出的能够满足所述约束条件 的最小实际切除节 点个数。 5.适用于权利要求1至4任一项所述方法的一种基于强化学习的电网紧急辅助切负荷 决策装置， 其特 征在于， 其包括： 切负荷辅助决策模块， 其用于根据环境因素对切负荷代价的影响建立切负荷辅助决策 模型以定义 最小切负荷代价的约束条件； 强化学习 优化模块， 其用于基于强化学习算法对所述切负荷辅助决策模型中的参数进 行优化， 以使 所述切负荷辅助决策模型在待切负荷节点存在重要负荷供电馈线时可根据当 前环境因素自适应地输出切负荷策略以满足最小切负荷代价的约束条件； 所述切负荷辅助决策模块还用于： 基于时间因素和气象因素定义切负荷代价的目标函数； 根据负荷节点与电网的净交换功率和 切除率设置所述目标函数的约束条件； 在目标函数满足所述约束条件 且求解为最小切负荷代价时输出切负荷策略； 所述基于时间因素和气象因素定义切负荷代价的目标函数， 包括 步骤： 根据第一公式确定第n个负荷节点的实际负荷功率； 所述第一公式为： ， 其中， n为负荷节点编号， 为第n个负荷节点的分布式电源出力， 为第n个负荷节点 与电网的净交换功率； 根据第二公式确定所述切负荷代价；权　利　要　求　书 2/4 页 3 CN 113312839 B 3