(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110572664.5 (22)申请日 2021.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 113286314 A (43)申请公布日 2021.08.20 (73)专利权人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 柴蓉　高艺帆　赵兰馨　陈前斌　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 代理人 廖曦 (51)Int.Cl. H04W 16/22(2009.01) H04W 24/02(2009.01)G06F 30/18(2020.01) G06F 30/27(2020.01) G06N 20/00(2019.01) G06F 111/10(2020.01) (56)对比文件 CN 111666149 A,2020.09.15 CN 112118556 A,2020.12.2 2 CN 10413 5436 A,2014.1 1.05 CN 111683375 A,2020.09.18 CN 110809274 A,2020.02.18 CN 108040 353 A,2018.0 5.15 CN 111786713 A,2020.10.16 US 2021144517 A1,2021.0 5.13 谭俊杰.面向智能通信的深度强化学习方 法. 《电子科技大 学学报》 .2020, 审查员 杨险峰 (54)发明名称 一种基于Q学习算法的无人机基站部署及用 户关联方法 (57)摘要 本发明涉及一种基于Q学习算法的无人机基 站部署及用户关联方法， 属于无线通信技术领 域。 该方法包括： S1： 建模用户关联标识； S2： 建模 用户及基站位置； S3： 建模用户移动模型； S4： 建 模用户传输速率； S5： 建模系 统回报函数； S6： 建 模用户关联及传输速率限制条件； S7： 建模满足 限制条件的系统长期回报函数优化问题； S8： 基 于Q学习算法确定优化策略。 本发明可 以有效保 证用户数据速率要求前提下， 实现无人机部署及 用户关联策略的优化设计 。 权利要求书2页 说明书5页 附图2页 CN 113286314 B 2022.03.08 CN 113286314 B 1.一种基于Q学习算法的无人机基站部署及用户关联方法， 其特征在于， 该方法包括以 下步骤： S1： 建模用户关联 标识； S2： 建模用户及基站位置； S3： 建模用户移动模型； S4： 建模用户传输 速率； S5： 建模系统回报函数； S6： 建模用户关联及 传输速率限制条件； S7： 建模满足限制条件的系统长期回报函数优化问题； S8： 基于Q学习算法确定优化策略； 步骤S1中， 建模用户关联标识， 具体包括： 令Q＝{UE1， ...， UEm， ...， UEM}表示用户集合， 其中UEm表示第m个用户， 1≤m≤M， M为用户数目； 令Γ＝{BS1，…， BSn，…， BSN}表示蜂窝基站 集合， 其中BSn表示第n个蜂窝基站， 1≤n≤N， N为 蜂窝基站数目； 令βmn∈{0， 1}表示用户关联 蜂窝基站标识， βmn＝1表示用户UEm关联蜂窝基站BSn进行数据传输， 否则βmn＝0； 令 表示用户关联无人机基站标识， 表示用户UEm关联无人机基站进行数据传输， 否则 步骤S2中， 建模用户及基站位置， 具体包括： 将系统空间进行三维离散化处理， 令xmax、 ymax、 hmax分别为三维网格中行、 列、 高的最大点数， 用户与蜂窝基站的高度均为0， 故用二维 网格点描述， 令(xm， ym)表示用户UEm的二维空间位置， 0≤xm≤xmax， 0≤ym≤ymax； 令 表 示蜂窝基站BSn的位置， 建模无人机基站位置为(xu， yu， hu)， 0≤ xu≤xmax， 0≤yu≤ymax， hmin≤hu≤hmax， hmin为无人机允许的最低高度； 步骤S3中， 建模用户移动模型为随机移动模型， 令vm， t表示时隙t用户UEm的移动速率， θm， t表示时隙t用户U Em的移动方向， vm与 θm均为均匀分布随机变 量， vm取值范围为[0， vmax]， θm 取值范围为[0， 2 π ]； 步骤S4中， 建模用户传输 速率， 具体包括： 1)建模时隙t用户UEm与蜂窝基站BSn之间链路的传输速率为Rm， n， t＝B log2(1+ SINRm， n， t)， 其中B为蜂窝基站BSn分配给用户UEm的信道带宽， SINRm， n， t表示t时刻用户UEm与 蜂窝基站BSn之间链路的信干噪比， 定义为 其中Pm表示用户UEm的发 送功率， σ2表示噪声功率， hm， n， t表示时隙t用户UEm与基站BSn之间的信道增益， 定义为hm， n， t ＝c(dm， n， t)‑2， c为常数， Im， n， t表示基站间的同频干扰， 建模为 2)建模时隙t用户UEm与无人机基站之间的传输速率为 其权　利　要　求　书 1/2 页 2 CN 113286314 B 2中 表示t时刻用户UEm与无人机基站之间链路的信干噪比， 表示t时刻用户UEm与无人机基站之间的信道增益， 定义为 c为常数， 为无人机基站处的干扰， 建模为 步骤S5中， 建模系统回报函数， 具体包括： 建模t时刻系统回报函数为t时刻用户总传输 速率Rt， 即 建模系统长期的平均回报函数 步骤S6中， 建模用户关联及传输速率限制条件， 具体包括： 用户关联标识需满足 用户传输速率限制条件为 其中 为满足用户UEm需求的 门限值， Rm， t建模为 步骤S7中， 建模满足限制条件的系统长期回报函数优化问题， 具体包括： 在满足用户关 联标识及传输速率限制条件下， 以系统长期平均回报函数R最大化为目标， 确定无人机基站 的最优位置及用户关联 策略， 即 步骤S8中， 确定优化策略， 具体包括： 基于Q学习算法求解满足限制条件的系统长期平 均回报函数最大化问题， 建模系统动态变化为马尔可夫决策过程模型； 定义状态空间S＝ {(xm， t， ym， t， 0)}为时隙t各用户的位置， 定义动作空间为A＝{(z1， z2，…， zM)， (xu， yu， hu)}， 其 中， 若βmn＝1， zm＝n； 若 zm＝N+1， 1≤m≤M； 定义Q函数为Q(st， at)＝α[Rt+1+γmax Q (st+1， a)‑Q(st， at)]， 其中st为t时刻系统状态， at为t时刻采取的动作， a为系统采取的动作， α ∈(0， 1)为学习速率， γ∈(0， 1)为折扣因子， 各时刻对Q函数迭代更新， 确定对应长期平均 回报函数优化的无 人机基站部署及用户关联 策略， 即 权　利　要　求　书 2/2 页 3 CN 113286314 B 3