华西医院康复医学中心何成奇教授、刘思佳团队：强化学习驱动膝骨关节炎动态治疗优化研究 ...

2026-8-13 21:20| 发布者: 沙鑫| 查看: 13| 评论: 0

摘要: 四川大学华西医院康复医学中心何成奇教授、刘思佳团队于2025年5月在Journal of NeuroEngineering and Rehabilitation发表文章“Optimizing the dynamic treatment regime of outpatient rehabilitation in patients ...

四川大学华西医院康复医学中心何成奇教授、刘思佳团队于2025年5月在Journal of NeuroEngineering and Rehabilitation发表文章“Optimizing the dynamic treatment regime of outpatient rehabilitation in patients with knee osteoarthritis using reinforcement learning”（扫描二维码阅读原文）。该研究基于2 836例膝骨关节炎患者的临床数据，利用深度强化学习算法构建动态治疗推荐系统，BCQ算法以79.1%的优化成功率实现个性化康复方案的实时调整，为慢性病精准管理提供了新路径。

膝骨关节炎（knee osteoarthritis，KOA）是全球最常见的慢性关节疾病之一。流行病学数据显示，KOA所致的伤残损失寿命年高达968人年/10万，且预计至2050年全球患者将增加74.9%。KOA管理需要长期、个体化的综合干预，包括药物治疗、物理治疗和注射治疗等，然而传统治疗模式多依赖静态指南和医生经验，缺乏基于患者实时状态动态调整的能力。AI在KOA影像诊断领域已取得显著进展，但治疗决策支持系统的发展相对滞后——如何为不同病程、不同功能状态的患者推荐最优的动态治疗方案，仍是待解决的关键科学问题。
针对上述问题，本研究提出核心假设：基于患者多维临床数据，深度强化学习能够学习最优的动态治疗策略，实现比传统经验性治疗更优的长期预后。围绕这一假设，研究构建了清晰的技术路线：① 建立KOA专病数据库（KOADB），纳入2 836例患者、52周随访数据；② 从122项临床变量中筛选20个核心特征；③ 采用3种深度强化学习算法构建动态治疗推荐模型，并对比其优化效果。
在测试集上，BCQ算法的治疗优化成功率最高，达79.1%，优于深度确定性策略梯度算法（deep deterministic policy gradient，DDPG）和深度Q网络（deep Q-network，DQN），分别为76.2%和68.1%，3种算法均显著优于患者的实际治疗策略。进一步分析发现，不同算法的决策逻辑存在差异：BCQ推荐的方案更贴近真实临床选择，尤其在第5种治疗组合（氨基葡萄糖+非甾体抗炎药+电动自行车）、第7种治疗组合（氨基葡萄糖+非甾体抗炎药+电动自行车+超声治疗+注射疗法）的推荐频率与实际高度吻合；DQN在推荐多样性上表现较好，但部分组合存在明显偏倚；DDPG则表现出过度保守的倾向，强烈偏好单一治疗方案（仅氨基葡萄糖）。Shapley值分析进一步揭示，BCQ算法更关注患者日常生活活动能力相关的特征，而DDPG和DQN更依赖年龄、体质量等基础生理参数。图1～3展示了3种算法在测试集中所有时间点推荐行为与实际行为的分布差异，图4展示了3种强化学习与模仿学习算法的ΔR分布。这些差异提示，算法选择需结合具体临床应用场景。
本研究首次将强化学习引入KOA动态治疗决策领域，验证了AI驱动的个性化治疗推荐在慢性病管理中的可行性。成果为构建“评估-决策-反馈-调整”的闭环康复管理模式提供了技术基础，未来可与可穿戴设备、居家康复结合，实现真正的实时动态优化。
图1　DQN推荐与实际行为分布

图2　BCQ推荐与实际行为分布

图3　DDPG推荐与实际行为分布

图4　3种强化学习及模仿学习算法的ΔR分布
专家点评

吕建成教授：从方法学角度看，本研究的创新性体现在“数据驱动+动态决策”的医工结合。与既往基于静态基线数据预测疾病进展的AI研究不同，本研究将治疗优化建模为序贯决策问题，通过强化学习框架实现了“根据患者实时状态动态调整方案”的目标。深度强化学习算法（DRL）作为离线强化学习算法，能够在无需与环境在线交互的情况下，从历史数据中学习最优策略，这一设计兼顾了临床安全性与算法效能，对同类研究具有方法学示范意义。
在临床转化层面，本研究回应了一个核心实践问题：传统康复方案多为“固定疗程、固定组合”，难以适应KOA这类慢性病长期、不断变化的病程特征。研究所提出的动态治疗推荐系统，并非替代临床决策，而是为医生提供基于数据驱动的“第二意见”——在治疗路径的每个决策节点，算法推荐的方案可作为参考，辅助医生结合个体化判断做出更优选择。此外，研究对3种算法决策逻辑的对比分析，为未来选择适合不同临床场景的算法提供了实证依据。期待后续研究能推进前瞻性临床验证，将该系统真正落地于门诊场景。

吕建成，四川大学计算机学院（软件学院）院长，国家杰出青年基金获得者，国务院政府特殊津贴专家，国务院学科评议组成员，“111计划”学科创新引智基地负责人，教育部“新世纪优秀人才”，四川省“天府青城”计划创新团队负责人。主要研究神经网络基础理论，以及自然语言处理、工业智能化、智慧医学、智慧文创等应用。研发类脑超大规模神经网络、颅骨重建人脸检索、核电表面缺陷检测等系统；联合研发华西口腔智联、制造工艺、反应堆故障诊断等大模型。在TPAMI、NeurIPS等发表论文200余篇，出版英文专著1部，授权国家发明专利30余项（美国3项）。获国家自然科学二等奖、教育部自然科学一等奖、四川省自然科学一等奖、科技进步一等奖。担任IEEE TAI、TNNLS等期刊编委。
作者心得

研究心得
KOA的管理是一个漫长的动态过程。医生在每个随访节点做出调整，但多数决策依据是“患者当前怎么样”，而非“这一决策对患者未来几年的功能结局意味着什么”。这种“当下导向”的思维惯性，让我意识到KOA治疗优化的本质其实是一个序贯决策问题。直到一次文献阅读中接触强化学习，才豁然开朗——其核心恰恰是在每个时间步依据当前状态选择动作，以最大化累积回报。这与我脑海中的KOA管理困境形成了强烈映射：为什么不能把每次随访的用药、康复、手术建议，看作强化学习中的“动作”，把患者长期功能状态看作“累积收益”？于是，我们将这一框架引入，试图让每个随访节点的决策都指向全局最优路径，而非仅仅缓解眼前症状。
研究实施中面临多重挑战，集中在数据处理、特征筛选和奖励函数设计3个方面。数据处理是首要难题，11年跨度、2 224例历史追溯与612例前瞻性招募、122项变量、52周每周随访，缺失与异质性突出。我们采用双人独立插补、交叉验证确保一致性，连续缺失≥2周视为失访，最终2 836例成功随访。时间对齐是另一难点——患者就诊时间不统一，我们以首次就诊为基准，将随访数据映射至对应治疗周数。此外，7种治疗行为理论上有128种组合，但回顾临床数据可见仅有9种组合被实际使用，据此实现行为空间的有效简化。
其次，特征筛选方面，我们比较了决策树、XGBoost、Lasso回归等多种算法，最终选择随机森林，因其能捕捉非线性关系、对多重共线性容忍度高、且重要性排序直观可读。结合迭代特征消除，当特征降至20个时模型准确率达99.99%，锁定年龄、体质量、平地行走能力、疼痛评分等核心变量，并逐一核对了每项特征的临床逻辑合理性。
最后，奖励函数设计是另一关键难点——它直接决定了模型优化方向。经多轮临床与方法学团队讨论，我们基于疼痛评分变化构建阶梯式奖惩机制：改善给予正奖励、恶化给予惩罚、稳定则根据当前疼痛水平区别对待，确保模型追求长期稳定改善而非短期波动。不同算法推荐策略的差异也值得关注，BCQ推荐更贴近临床实际，DQN和DDPG则分别存在过度偏倚和过度保守的倾向。这提示算法选择本身就是一种临床决策，需根据应用场景匹配。
研究的主要优势在于问题导向的学科交叉与大规模真实世界数据的支撑。局限方面，富血小板血浆（platelet-rich plasma，PRP）和透明质酸（hyaluronic acid，HA）虽同为关节腔注射，但生物学机制和疗效存在差异，被归为同一类别虽基于临床实际，但简化了个体差异。这些反思为下一阶段研究指明了方向：开展前瞻性随机对照验证，并引入因果推断方法解析各治疗成分的独立贡献。

投稿心得
本研究选择Journal of NeuroEngineering and Rehabilitation作为首投期刊。该期刊是康复工程领域的权威期刊，聚焦“工程技术+康复临床”的交叉研究，与本研究“AI算法赋能康复决策”的主题高度契合。投稿前我们调研了该刊近2年AI相关论文的发表情况，确认其对方法学创新和临床转化均有较高关注度。选刊策略上，我们倾向于“细分领域权威期刊优先”——专业对口的审稿人能给出更有建设性的意见。
投稿周期方面，稿件提交后约4周进入外审，邀请2位审稿专家。首轮审稿约6周，2位专家提出了方法学细节和临床可解释性方面的修改建议。经过1轮大修，补充了各算法决策逻辑的Shapley值分析，并强化了结果对临床实践的启示，历时约4个月接收。
审稿意见中感受最深的是审稿人对“数据可信度”的严苛追问：要求以流程图形式详细呈现数据收集流程和缺失值处理策略。我们补充了数据收集流程图并详细阐述了双人独立插补等质控措施。这让我们意识到，对于AI+临床交叉类研究，数据的“来龙去脉”比算法的“技术细节”更易受到审稿人的审视。另一个重要意见是关于治疗分类的合理性——审稿人指出PRP和HA虽同为注射治疗但机制差异较大。我们在回复中诚恳说明分类依据（共享临床适应证、临床实践中常交替使用、模型目标是优化整体治疗轨迹而非区分单药机制），并在讨论中补充了此项局限。
这次经历给我们的最大启示是：交叉学科研究要成功发表，必须在临床合理性与技术可行性之间找到清晰的平衡，并在写作中主动回应潜在争议点，而非回避。
通信作者
何成奇，博士研究生导师，四川大学二级教授、华西医院一级专家，华西医院康复医学中心学科主任，国务院政府特殊津贴专家。中国康复医学会副会长、中华医学会物理医学与康复学分会前任主任委员、中国医师协会康复医师分会副会长、四川省学术技术带头人、四川省卫健委首席专家。主持科技部0305国家重点科技项目（攻关）计划1项、国家自然科学基金项目7项；培养硕士、博士研究生85人，博士后21人。获中国医师奖、中国优秀科技工作者、香港理工大学荣誉教授、华夏医学科技一等奖、中国康复医学会科技一等奖、教育部科技进步二等奖、亚洲医院管理银奖等。以第一与通信作者发表SCI论文126篇，主编专著与本科教材23部。
第一作者
刘思佳，医学博士，硕士生导师，四川大学华西医院康复医学中心副主任医师。中国康复医学会科普专委会常务委员、中国康复医学会骨伤专委会委员、成都内分泌协会青年委员、成都市康复医学会骨质疏松骨病专委会委员兼秘书长、《华西医学》康复专栏特邀学术编辑。擅长：骨质疏松与骨关节炎康复，人工智能康复，面部与毛发再生医学。研究领域：人工智能与康复、再生医学与康复（干细胞、PRP在组织损伤修复、皮肤毛发再生的应用）。长期从事骨科康复与智能康复研究。主持人工智能康复方向国家自然科学基金、四川省科技厅重点研发3项，参与多项省部级课题。主要研究方向为膝骨关节炎人工智能诊疗、人工智能康复及多模态评估。以第一/通信作者发表论文20余篇，参编专著7部，申报专利10项，软著数项。

团队简介
华西医院康复医学中心/智慧康复研究所团队长期致力于智能康复与数字医学研究，聚焦机器人康复、人工智能辅助评估及多模态数据融合分析。团队依托华西医院临床资源及生物医学大数据平台，累计构建多疾病数据库10万余例。近年来主持国家自然科学基金等项目多项，在人工智能康复领域发表高水平论文多篇，推动康复医学向精准化与数字化方向发展。