(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111083186.8 (22)申请日 2021.09.15 (71)申请人 中海油能源发展股份有限公司 地址 100010 北京市东城区东 直门外小街6 号 (72)发明人 曲晓慧　冯高城　郑毅　尹彦君　 马良帅　彭红涛　李明江　王伟　 田迪　刘欢　冯毅　孟维康　 袁斯明　 (74)专利代理 机构 天津创智天诚知识产权代理 事务所(普通 合伙) 12214 代理人 王秀奎 (51)Int.Cl. G06F 30/27(2020.01) G06F 111/04(2020.01) (54)发明名称 一种使用深度强化学习模型进行油藏最优 注采方案预测模型及其预测方法 (57)摘要 本发明提供一种使用深度强化学习模型进 行油藏最优注采 方案预测模型及其预测方法， 仿 真水驱油藏模 型， 用于拟合真实生产环境的历史 数据， 从而仿真实际的生产环 境供智能体模型学 习； 水驱注采方案优化模型， 用于与仿真水驱油 藏模型和智能体模型进行交互， 进而实现对智能 体模型进行优化的目的； 智能体模型， 用于根据 当前的生产状态来设计相应的注采 方案， 并根据 水驱注采方案优化模型反馈的奖励值来不断优 化， 从而输出最优的注采方案； 注采指标迁移优 化方案模型， 用于提高仿真水驱油藏模型预测结 果的准确性。 本发明利用通过训练得到的模型来 对未来的油田生产提供最优注采 方案， 从而达到 产油最大化。 权利要求书3页 说明书6页 附图1页 CN 114218848 A 2022.03.22 CN 114218848 A 1.一种使用深度强化学习模型进行油藏最优注采方案预测模型， 其特征在于： 包括仿 真水驱油藏模型、 水驱注采方案优化模型、 智能体模型和注采指标迁移优化方案模型， 仿真水驱油藏模型， 用于拟合真实生产环境的历史数据， 从而仿真实 际的生产环境供 智能体模型 学习； 水驱注采方案优化模型， 用于与仿真水驱油藏模型和智能体模型进行交互， 进而实现 对智能体模型进行优化的目的； 智能体模型， 用于根据当前的生产状态来设计相应的注采方案， 并根据水驱注采方案 优化模型反馈的奖励值 来不断优化， 从而输出最优的注采方案； 注采指标迁移优化方案模型， 用于提高仿真水驱油藏模型 预测结果的准确性。 2.根据权利要求1所述的一种使用深度强化学习模型进行油藏最优注采方案预测模 型， 其特征在于： 仿真水驱油藏模型包括Ver ticalNet、 Horizo nNet和LiftNet三个子模型； VerticalNet的输入数据是仿真水驱油藏模型的输入为日注水量与井口压力， VerrticalNet的输出数据为注水井的纵向劈分、 注水井在各小层的压力、 注水井在各小层 周围的地层压力和各小层的驱油总量； HorizonNet的输入数据为VerticalNet的输出数据， HorizonNet的输出数据为各小层 的横向劈 分、 各生产井在不同小层上的压力、 不同小层周围的地层压力、 各生产井在不同小 层的产油量与驱油量； LiftNet的输入数据为HorizonNet的输出数据， LiftNet的输出数据即为仿真水驱油藏 模型的输出 数据， 为生产井的日产液与日产油。 3.根据权利要求2所述的一种使用深度强化学习模型进行油藏最优注采方案预测模 型， 其特征在于： 水驱注采方案优化模 型的输入数据为智能体模型的注采方案， 水驱注采方 案优化模型经过SIP模型 的训练之后的输出数据为生产井的产油量， 并以此作为奖励值反 馈给智能体模 型， 同时， 水驱注采方案优化模 型会将仿真水驱油藏模 型VerticalNet输出数 据中的纵向劈分和 HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的 输入数据。 4.根据权利要求3所述的一种使用深度强化学习模型进行油藏最优注采方案预测模 型， 其特征在于： 智能体模型的输入数据即为水驱注采方案优化模型传递过来的 VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分， 智能体模型的 输出数据为生成的注采方案， 同时， 再获取水驱注采方案优化模型的输出数据作为奖励值， 利用强化学习D DPG算法来优化智能体模型， 从而获得最优的注采方案 。 5.根据权利要求4所述的一种使用深度强化学习模型进行油藏最优注采方案预测模 型， 其特征在于： 注采指标迁移优化方案模型是根据实际生产情况和业务逻辑， 利用现有 数 据和仿真水驱油藏模型计算得到的数据来给仿真水驱油藏模型提供约束条件， 具体如下： loss_mse_v： 计算日注水量与注水劈分量的均方误差损失， 根据业务逻辑日注水量与 注水劈分量的值应相等； loss_ploss： 日产液损失， 利用产能公式计算的日产液与仿真水驱油藏模型拟合的日 产液应相等； reg_poilloss： 产油损失， 利用产能公式计算得到的日产油与仿真水驱油藏模型拟合 的日产油应相等；权　利　要　求　书 1/3 页 2 CN 114218848 A 2reg_abse： 注采平衡损失， 根据业 务逻辑得到， 在一段时间内注水量与产液量应相等； reg_mse_vhl： 仿真水驱油藏模型损失， 实际产液量与仿真水驱油藏模型预测的产液量 应相等； reg_mse_v_1： 注水量损失， 日注水量需近似等于驱油总量与边水侵入量之和。 6.根据权利要求5所述的一种使用深度强化学习模型进行油藏最优注采方案预测模 型， 其特征在于： 边水侵入量的计算方法： 根据 物质平衡方程和历史数据来计算历史边水侵 入量， 得到历史边水侵入量的分布情况， 由于历史边水侵入量的分布情况满足Beta函数分 布， 故利用Beta函数来拟合 边水侵入量作为注采指标迁移优化方案模型的值。 7.一种使用深度强化学习模型进行油藏最优注采方案预测方法， 其特征在于： 按照下 述步骤进行： 步骤1， 将日注水量和井口压力的历史数据输入到仿真水驱油藏模型中来拟合真实生 产环境的历史生产数据； 步骤2， 将步骤1拟合得到的历史生产 数据和真实历史生产 数据输入到注采指标迁移优 化方案模型中计算损失值， 并将损失值返回给仿真水驱油藏模型进行 下一轮训练； 步骤3， 将训练好的仿真水驱油藏模型隐藏层输出的注水劈分和产液劈分值传入水驱 注采方案优化模型； 步骤4， 智能体模型从水驱注采方案优化模型获得注水劈分与产 液劈分作为输入， 并给 出注采方案； 步骤5， 将智能体模型的注采方案输入给水驱注采方案优化模型， 并输出产油量作为奖 励值返回给智能体模型； 步骤6， 智能体模型根据返回的奖励值利用强化学习DDPG算法来优化自身的注采方案， 直到方案 达到最优为止 。 8.根据权利要求7所述的一种使用深度强化学习模型进行油藏最优注采方案预测方 法， 其特征在于： 仿真水驱油藏模型， 按照下述 步骤进行： 步骤(1)， 对智能体输出的注采方案数据进行 数据预处 理； 步骤(2)， 将预处 理后的数据输入到Ver ticalNet并进行网络训练； 步骤(3)， 将Ver ticalNet的输出 数据传给Horizo nNet作为输入数据并进行网络训练； 步骤(4)， 将训练好的HorizonNet的输出数据传 给LiftNet作为输入数据并进行网络训 练； 步骤(5)， 计算历史边水侵入量， 根据历史边水侵入量分布拟合未来的边水侵入量； 步骤(6)， 定义损失函数， 约束各网络层的输出值。 9.根据权利要求8所述的一种使用深度强化学习模型进行油藏最优注采方案预测方 法， 其特征在于： 水驱注采方案优化模型， 按照下述 步骤进行： 步骤(1)， 智能体生成注采方案； 步骤(2)， 将智能体生成的注采方案作为输入数据传进水驱注采方案优化模型； 步骤(3)， 经 过水驱注采方案优化模型的训练输出 各生产井的产油量； 步骤(4)， 将输出的产油量作为奖励返回给智能体模型并进行 下一轮的训练。 10.根据权利要求9所述的一种使用深度强化学习模型进行油藏最优注采方案预测方 法， 其特征在于： 智能体模型， 按照下述 步骤进行：权　利　要　求　书 2/3 页 3 CN 114218848 A 3