布里斯托尔大学(University of Bristol)的科学家们已经证明，强化学习(reinforcement learning)在安全性和有效性方面明显优于商业血糖控制器。强化学习是一种机器学习，计算机程序通过尝试不同的动作来学习做出决定。通过使用离线强化学习(算法从患者记录中学习)，研究人员改进了先前的工作，表明良好的血糖控制可以通过从患者的决定中学习而不是通过反复试验来实现。

1型糖尿病是英国最常见的自身免疫性疾病之一，其特征是负责血糖调节的激素胰岛素不足。

许多因素会影响一个人的血糖，因此在特定情况下选择正确的胰岛素剂量是一项具有挑战性和繁重的任务。目前的人工胰腺设备提供自动胰岛素剂量，但受其过于简单的决策算法的限制。

然而，今天发表在《科学》杂志上的一项新研究生物医学信息学杂志，表明离线强化学习可能代表着对患有这种疾病的人的护理的一个重要里程碑。改善最大的是儿童，他们每天在目标血糖范围内增加了一个半小时。

儿童是一个特别重要的群体，因为他们往往无法在没有帮助的情况下控制自己的糖尿病，而这一规模的改善将导致明显更好的长期健康结果。

该研究的主要作者、布里斯托尔大学工程数学系的哈里·爱默生解释说:“我的研究探讨了强化学习是否可以用于开发更安全、更有效的胰岛素剂量策略。

“这些机器学习驱动的算法已经在下棋和驾驶自动驾驶汽车方面展示了超人的表现，因此可以从预先收集的血糖数据中学习执行高度个性化的胰岛素剂量。

“这项特别的工作特别关注离线强化学习，其中算法通过观察血糖控制良好和不良的例子来学习采取行动。

“在这一领域，先前的强化学习方法主要利用试错过程来确定良好的行为，这可能会使现实世界的患者暴露于不安全的胰岛素剂量。”

由于不正确的胰岛素剂量与高风险相关，实验使用fda批准的UVA/Padova模拟器进行，该模拟器创建了一套虚拟患者来测试1型糖尿病控制算法。最先进的离线强化学习算法与最广泛使用的人工胰腺控制算法之一进行了评估。这项比较是在30名虚拟患者(成人、青少年和儿童)中进行的，并考虑了7000天的数据，并根据当前的临床指南对表现进行了评估。该模拟器还被扩展到考虑现实的实施挑战，如测量误差、不正确的患者信息和有限数量的可用数据。

这项工作为葡萄糖控制的持续强化学习研究提供了基础;展示了该方法改善1型糖尿病患者健康结果的潜力，同时强调了该方法的缺点和未来必要发展的领域。

研究人员的最终目标是在现实世界的人工胰腺系统中部署强化学习。这些设备在有限的患者监督下运行，因此需要大量的安全性和有效性证据才能获得监管部门的批准。

Harry补充说:“这项研究证明了机器学习从预先收集的1型糖尿病数据中学习有效胰岛素剂量策略的潜力。这种探索的方法优于最广泛使用的商业人工胰腺算法之一，并展示了利用人的习惯和时间表来更快地应对危险事件的能力。”