标题:麻省理工学院的工程师开发了一种机器学习系统，可以远程分析患有运动或神经系统疾病的人的视频，并实时评估他们的运动。斯坦福大学小组通过姿势估计算法运行视频，以生成骨架姿势数据，如下所示，麻省理工学院小组随后将其用作研究的起点。

制作人员:图片：麻省理工学院新闻，数据由研究人员提供

去医生办公室可能会很麻烦。对于脑瘫等运动障碍儿童的父母来说，这项任务尤其具有挑战性，因为临床医生必须定期亲自评估孩子，通常一次一个小时。进行这些频繁的评估可能是昂贵的、耗时的，而且是一种精神上的负担。

麻省理工学院的工程师希望通过一种远程评估患者运动功能的新方法来减轻一些压力。通过结合计算机视觉和机器学习技术，该方法实时分析患者的视频，并根据在视频帧中检测到的某些姿势模式计算运动功能的临床评分。

播放视频

研究人员在 1000 多名脑瘫儿童的视频中测试了该方法。他们发现该方法可以处理每个视频并分配一个临床评分，该评分与临床医生之前在亲自就诊期间确定的准确度超过 70% 相匹配。

视频分析可以在多种移动设备上运行。该团队设想，只需将患者的手机或平板电脑设置为在患者在家中走动时拍摄视频，即可评估患者的进展情况。然后，他们可以将视频加载到一个程序中，该程序可以快速分析视频帧并分配临床分数或进展水平。然后可以将视频和分数发送给医生进行审查。

该团队目前正在定制方法来评估患有异染性脑白质营养不良的儿童，这是一种影响中枢和周围神经系统的罕见遗传性疾病。他们还希望调整该方法来评估经历过中风的患者。

“我们希望不必每次评估都去医院，从而减轻患者的压力，”麻省理工学院机械工程系首席研究科学家 Hermano Krebs 说。“我们认为这项技术有可能用于远程评估影响运动行为的任何状况。”

Krebs 和他的同事将在 10 月份的 IEEE 身体传感器网络会议上展示他们的新方法。该研究的麻省理工学院作者包括第一作者赵培军、联合首席研究员 Moises Alencastre-Miranda、Zhan Shen 和 Ciaran O'Neill，以及武田美洲开发中心的 David Whiteman 和 Javier Gervas-Arruga。

网络培训

在麻省理工学院，克雷布斯开发了机器人系统，可以与患者进行身体工作，帮助他们恢复或增强运动功能。他还对系统进行了改造，以衡量患者的进展并预测哪些疗法最适合他们。虽然这些技术运作良好，但它们的可及性受到很大限制：患者必须前往机器人所在的医院或设施。  

“我们问自己，如何才能将康复机器人取得的良好成果扩展到无处不在的设备上？” 克雷布斯回忆道。“由于智能手机无处不在，我们的目标是利用它们的功能来远程评估运动障碍人士，以便他们可以在任何地方接受评估。”

麻省理工学院的一种新方法结合了如图所示的实时骨骼姿势数据，远程分析脑瘫儿童的视频，并自动分配运动功能的临床水平。

图片：斯坦福神经肌肉生物力学实验室与吉列儿童专业医疗保健公司合作创建的数据集

研究人员首先研究了估计人类运动的计算机视觉和算法。近年来，科学家开发了姿势估计算法，旨在拍摄视频（例如，一个女孩踢足球的视频），并将她的动作实时转换为一系列相应的骨骼姿势。由此产生的线和点序列可以映射到科学家可以进一步分析的坐标。

克雷布斯和他的同事旨在开发一种方法来分析脑瘫患者的骨骼姿势数据，这种疾病传统上是根据粗大运动功能分类系统（GMFCS）进行评估的，这是一个代表儿童一般运动功能的五级量表。（数字越低，孩子的活动能力越高。）

该团队使用了斯坦福大学神经肌肉生物力学实验室生成的一组公开的骨骼姿势数据。该数据集包含 1000 多名脑瘫儿童的视频。每个视频都显示一个孩子在临床环境中进行一系列练习，每个视频都标记有临床医生在亲自评估后为孩子分配的 GMFCS 分数。斯坦福大学小组通过姿势估计算法运行视频以生成骨架姿势数据，然后麻省理工学院小组将其用作研究的起点。

然后，研究人员寻找自动破译脑瘫数据模式的方法，这些模式是每个临床运动功能水平的特征。他们从时空图卷积神经网络开始，这是一种机器学习过程，训练计算机处理随时间变化的空间数据，例如一系列骨骼姿势，并分配分类。

在将神经网络应用于脑瘫之前，他们使用了一个在更通用的数据集上进行过预训练的模型，其中包含健康成年人进行各种日常活动（如步行、跑步、坐着和握手）的视频。他们采用了这个预训练模型的主干，并添加了一个新的分类层，专门针对与脑瘫相关的临床评分。他们对网络进行了微调，以识别脑瘫儿童运动中的独特模式，并将其准确地分类到主要的临床评估级别中。

他们发现，经过预训练的网络学会了正确分类儿童的活动水平，而且比仅根据脑瘫数据进行训练的网络更加准确。

“因为网络是在一个非常大的更一般动作的数据集上进行训练的，所以它对如何从一系列人体姿势中提取特征有一些想法，”赵解释道。“虽然更大的数据集和脑瘫数据集可能不同，但它们共享一些人类行为的共同模式以及如何编码这些行为。”

该团队在多种移动设备上测试了他们的方法，包括各种智能手机、平板电脑和笔记本电脑，发现大多数设备都可以成功运行该程序并从视频中近乎实时地生成临床评分。

研究人员目前正在开发一款应用程序，他们设想有一天父母和患者可以使用该应用程序自动分析在自己舒适的环境中拍摄的患者视频。然后结果可以发送给医生进行进一步评估。该团队还计划调整该方法来评估其他神经系统疾病。

费城莫斯康复医院首席医疗官阿尔贝托·埃斯奎纳齐 (Alberto Esquenazi) 表示：“一旦使用适当的成人指标在该人群中进行测试，这种方法就可以轻松扩展到其他残疾，例如中风或帕金森病。”学习。“它可以改善护理并降低医疗保健的总体成本以及家庭失去生产性工作时间的需要，我希望它可以提高依从性。”

“将来，这也可能有助于我们更快地预测患者对干预措施的反应，”克雷布斯说。“因为我们可以更频繁地评估它们，看看干预措施是否产生影响。”

这项研究得到了武田美洲开发中心有限公司的支持。