人工智能（AI）技术在医疗领域的应用越来越深入，然而，AI 模型的「黑盒」特性导致医疗专家很难直观理解模型决策背后的逻辑，已有的「可解释 AI」方法（包括大语言模型）均无法如实准确的描述模型决策机制，引发了业界对医疗 AI 模型潜在错误、失控风险、偏向性等重大隐患的严重担忧。如何实现医疗专家和 AI 模型的「 零距离」对接，成为当前医疗 AI 推广的痛点。

文章上线截图

5 月 18 日，中国科学院深圳先进技术研究院（以下简称「深圳先进院」）蔡云鹏研究团队在国际权威期刊 Nature Biomedical Engineering 发表最新研究论文「Bridging the Interpretability Gap for Medical Artificial Intelligence Models using Class-Association Manifold Learning」。同时，该研究还被邀请撰写研究简报（Research Briefings）进行推介（每期仅 1 篇）。该研究提出了一种称为「类关联流形学习」（Class-Association Manifold Learning）的数学方法，高效地将黑盒 AI 模型决策规律转化为低维空间的可视化流形，并且用生成式 AI 方法按需灵活的对数据样本进行定向修改并产生虚构对比样本，从而让医生直观理解 AI 所发现的隐藏知识规律，并总结为临床知识。

包括诺奖得主、DeepMind 掌门人 Demis Hassabis 在内的许多科学家均认为，自然规律应该可以容纳在一个低维流形结构中，这为 AI 模型可解释性提供了可能。然而，至今未有方法可以产生这样一个低维流形来有效表达 AI 模型决策及其背后的数据自然规律。研究团队创造性地提出了一种「可重组的流形分解」的思路，运用流形学习，将自然数据分布分解为两个流形子空间，一个低维的类关联子流形编码与 AI 模型决策相关的所有特征，几乎决定 AI 模型的所有行为，另一个高维子流形编码与模型决策无关的个性化特征，并且两个子流形的内点可以进行两两任意组合而产生逼真的新样本。研究团队设计了求解满足上述特性子流形的机器学习算法。这种方式不仅实现了将 AI 模型决策规律压缩到低维流形结构的目标，而且能够产生一系列按特定趋势连续变化的修改样本，让用户可以直接观察 AI 决策变化与样本特征变化的关联规律，进一步总结获得决策面分布、亚型分布、病灶特征等医学知识发现，还可以检测短路学习等模型漏洞。Nature BME 主编 Rita Strack 评价该工作 「提出了一种聪明的方法，以使用者能理解的方式探究黑盒模型内部工作机制」。

图 1 类关联流形学习算法基本框架

研究团队在包括眼科眼底影像和 OCT 造影、X 光胸透影像、脑肿瘤 MRI 影像、心电图、基因表达谱等在内的多种生物医学数据集上对该方法进行了充分评测，证明所提出的方法能够将深度学习模型决策压缩到仅 8 维的低维空间且只损失约 1%-3% 的精确度，损失率仅为传统可解释方法的 1/10，维度仅为 1/3-1/10，并且局部特征解释的准确率也明显超越传统方法。所提取的知识规律与已有的医学知识概念在数据分布上呈现了高度对齐的效果。此外，多名医疗专家的盲测结果一致表明，新方法产生的解释图压倒性的更为专家所认可，为临床辅助诊断和医学科学发现提供了更有力的计算工具。

图 2 类关联流形学习算法通过流形投影和连续生成变化样本的联动，实现 AI 提取临床规律的可视化展示，并实现已知医学概念规律的对齐。

近年来，包括欧盟、美国 FDA 及我国卫健委在内的监管机构纷纷出台了关于人工智能可解释性的推荐性甚至强制性指导意见。另一方面，AI for Science 日益受到科研界的广泛关注。团队上述工作对增强 AI 医疗器械的安全性和合规性、提升 AI 辅助诊疗的质量和认可度、提高 AI 辅助医学科学发现的效率，具有非常重要的应用价值。

深圳先进院蔡云鹏研究员、深圳理工大学潘毅教授、唐金陵教授为论文共同通讯作者。深圳先进院博士生谢锐涛（现为深圳理工大学-深圳先进院联培博士后）为论文第一作者。深圳先进院李烨研究员、香港中文大学王涵研究员等共同参与了研究。中山大学眼科中心多名医疗专家为方法评测提供了重要支持。深圳先进院为第一完成单位。该项研究得到了中国科学院战略性先导科技专项、深圳市高层次人才团队项目、深圳市智能生物信息学重点实验室、国家自然科学基金项目的资助。