摘要

The study presents an early diagnostic model for mycosis fungoides and five inflammatory skin conditions, utilizing a convolutional neural network (CNN) that integrates multi-modal data. The motivation behind this research stems from the clinical challenge posed by the accurate and timely diagnosis of these skin diseases. By leveraging advanced data processing techniques, the model aims to enhance diagnostic precision and improve patient outcomes.

1. 论文基本信息

1.1. 标题

中文译名： 基于多模态数据卷积神经网络的菌状肉芽肿及五种炎症性皮肤病早期诊断模型 英文原名： Early diagnosis model of mycosis fungoides and five inflammatory skin diseases based on multi-modal data-based convolutional neural network

1.2. 作者

第一作者： Zhaorui Liu (北京协和医院皮肤科)
通讯作者： Fengying Xie (北京航空航天大学宇航学院图像处理中心)
其他作者： Yilan Zhang, Ke Wang, Jie Liu
隶属机构： 中国医学科学院北京协和医院（疑难重症及罕见病国家重点实验室）、北京航空航天大学

1.3. 发表期刊/会议

来源： 根据文中版权信息 "Published by Oxford University Press on behalf of British Association of Dermatologists"，该文发表于皮肤科领域的顶级期刊 British Journal of Dermatology (BJD) 或其关联刊物。
地位： BJD 是皮肤科学界极具影响力的权威期刊，发表高水平的临床和实验研究。

1.4. 发表年份

年份： 2024 (根据文中提到的基金编号及引用格式推断为近期发表，具体年份以原文发布时间为准)

1.5. 摘要

本研究旨在解决早期菌状肉芽肿（MF）与常见炎症性皮肤病难以区分的临床难题。研究团队收集了包含临床图像、皮肤镜图像及患者元数据的多模态数据集，构建了一个基于卷积神经网络（CNN）的深度学习模型。该模型采用了 RegNetY-400MF 作为主干网络。实验结果表明，该 AI 模型的诊断能力优于参与测试的皮肤科医生，且 "医生 + AI" 的协作模式显著提升了诊断的准确率、敏感性和特异性，证明了该模型在辅助早期 MF 诊断方面的临床价值。

1.6. 原文链接

链接: /files/papers/691c3dde25edee2b759f32d2/paper.pdf
状态: 已正式发表

2. 整体概括

2.1. 研究背景与动机

核心问题： 菌状肉芽肿 (Mycosis Fungoides, MF) 是最常见的皮肤 T 细胞淋巴瘤（一种恶性肿瘤）。其早期临床表现（如红斑、鳞屑）与湿疹、银屑病等良性炎症性皮肤病非常相似，极易误诊。
现有挑战： 目前确诊主要依赖有创的病理活检。在无创检查方面，尽管皮肤镜（Dermoscopy）有一定帮助，但缺乏能综合利用临床图像、皮肤镜图像和患者信息的高效自动化诊断工具。
研究切入点： 既然单一模态（仅看外观或仅看皮肤镜）信息有限，能否利用 多模态学习 (Multi-modal Learning) 技术，结合宏观（临床图）、微观（皮肤镜图）和背景信息（年龄/性别），来训练一个 AI 模型以提高早期 MF 的诊断率？

2.2. 核心贡献/主要发现

首创性应用： 这是首个将多模态数据（临床信息、临床照片、皮肤镜图像）用于 早期 MF 与炎症性皮肤病鉴别诊断的 AI 研究。
模型优选： 在对比了 13 种网络架构后，确定了 RegNetY-400MF 为最佳特征提取器，兼顾了性能与计算效率。
人机协作验证： 实验证明，AI 辅助显著提升了皮肤科医生的诊断水平。在 "医生 + AI" 模式下，平均准确率从 71.52% 提升至 82.94%，敏感性从 74.56% 提升至 86.16%。
临床价值： 模型在早期 MF 的筛查中表现出高敏感性，有助于减少漏诊，避免延误治疗。

3. 预备知识与相关工作

3.1. 基础概念

为了理解本文，初学者需要掌握以下概念：

菌状肉芽肿 (MF): 一种低度恶性的皮肤淋巴瘤。早期很难诊断，被称为“伟大的模仿者”，因为它长得像很多普通皮肤病。
皮肤镜 (Dermoscopy): 皮肤科医生的“听诊器”。它使用放大镜和偏振光观察皮肤表面的微细结构（如血管模式、色素分布），能看到肉眼看不到的特征。
多模态学习 (Multi-modal Learning): 机器学习的一种形式。就像医生看病不仅看（视觉模态），还要问诊（文本/数据模态）。模型同时处理多种类型的数据（如图像 + 表格数据）来做出更准确的判断。
卷积神经网络 (CNN): 深度学习中处理图像的核心技术。它通过“卷积核”在图像上滑动，提取边缘、纹理等特征，是目前图像识别的主流方法。
主干网络 (Backbone): 深度学习模型中负责“提取特征”的基础部分。本文对比了 ResNet, EfficientNet 等多种主干网络，最终选择了 RegNet。

3.2. 前人工作

AI 在皮肤科的应用： 现有的研究主要集中在 黑色素瘤 (Melanoma) 的识别上，相关数据集（如 Derm7pt）和算法较为成熟。
现有局限： 大多数模型仅使用单一模态（只用临床照片或只用皮肤镜照片）。虽然在黑色素瘤领域已有少量多模态研究，但针对 MF 和炎症性皮肤病 的多模态 AI 诊断模型几乎是空白。
MF 诊断现状： 传统上依赖医生经验识别特定的皮肤镜特征（如“精子样血管”），但主观性强。

3.3. 技术演进与差异化

本文处于 医学图像分析 从“单模态”向“多模态”演进的趋势中。
核心差异： 与以往只关注良恶性素痣区分的研究不同，本文解决的是一个更细分的难题——区分一种特定的恶性肿瘤（MF）与五种特定的炎症性疾病（湿疹、银屑病、扁平苔藓、玫瑰糠疹、脂溢性皮炎）。

4. 方法论

4.1. 方法原理

该模型的核心思想是模拟皮肤科专家的诊断过程：专家会综合观察皮损的宏观外观（临床图）、微观结构（皮肤镜图），并参考患者的年龄性别（元数据）。模型通过构建并行的神经网络通道分别处理这些信息，然后在高层将特征融合，最后输出疾病分类概率。

下图（原文 Figure 1）展示了该多模态诊断模型的整体架构：

该图像是示意图，展示了一种基于多模态数据的卷积神经网络模型的架构，用于早期诊断真菌性皮肤病及五种炎症性皮肤疾病。图中包括皮肤镜图像、临床图像以及元数据的处理流程。

4.2. 核心方法详解 (逐层深入)

4.2.1. 数据预处理与输入

模型接收三种输入：

元数据 (Metadata): 患者的年龄和性别。
- 处理方式：首先进行 独热编码 (One-hot Encoding)。例如，性别可能编码为 [0, 1] 或 [1, 0]。
临床图像 (Clinical Images): 使用数码相机拍摄的宏观照片。
- 处理方式：裁剪掉背景，仅保留病灶区域；应用数据增强（如随机对比度、Gamma 调整）以模拟不同的光照条件。
皮肤镜图像 (Dermoscopic Images): 使用皮肤镜系统拍摄的放大照片。

下图（原文 Figure 2）详细展示了数据的收集、划分和预处理工作流：

该图像是包含患者选择标准和数据处理流程的示意图，展示了早期诊断模型的构建过程。该模型基于1157例经过验证的病例，包括临床图像、皮肤镜图像及相关元数据，分为训练集、验证集和测试集，以提高诊断精度。

4.2.2. 特征提取 (Feature Extraction)

这是模型“理解”数据的关键步骤。

元数据处理分支： 使用标准的 多层感知机 (Multi-Layer Perceptron, MLP) 处理编码后的元数据向量，提取语义特征。
图像处理分支 (Backbone): 作者选择了 RegNetY-400MF 作为图像特征提取的主干网络。
- RegNet 简介： RegNet 是一类基于 神经架构搜索 (Neural Architecture Search, NAS) 设计空间的卷积神经网络。与传统的人工设计网络（如 ResNet）不同，RegNet 是通过在大规模搜索空间中寻找最佳设计参数（如深度、宽度、分辨率）而得到的。
- 选择理由： RegNetY-400MF 具有极高的计算效率（400MF 代表 400 MegaFLOPs，即 4 亿次浮点运算），参数量仅 5.3M（百万），在轻量级的同时保持了强大的特征提取能力。
- 权重共享集成模块 (Weight Sharing Integration): 为了捕捉临床图像和皮肤镜图像之间的共性信息，作者设计了一个权重共享模块（参见 4.2.3 融合）。

4.2.3. 多模态特征融合 (Multimodal Fusion)

这是将“看”到的和“读”到的信息结合起来的步骤。

操作： 模型将 MLP 提取的元数据特征、RegNetY 从临床图像提取的特征、以及从皮肤镜图像提取的特征进行 拼接 (Concatenation)。
逻辑： 设临床特征为 $F_{clin}$ ，皮肤镜特征为 $F_{derm}$ ，元数据特征为 $F_{meta}$ ，融合后的特征向量 $F_{fused}$ 可以表示为： $F_{fused} = \mathrm{Concat}(F_{clin}, F_{derm}, F_{meta})$ 通过这种方式，分类器可以同时利用所有维度的信息进行决策。

4.2.4. 模型训练与优化

优化器 (Optimizer): 使用 Adam 优化器进行参数更新。Adam 结合了动量法和自适应学习率。文中明确给出了其超参数：
- 一阶矩估计的指数衰减率 $\beta_1 = 0.9$
- 二阶矩估计的指数衰减率 $\beta_2 = 0.999$
学习率 (Learning Rate): 初始学习率设为 $2 \times 10^{-4}$ ，并采用 余弦退火 (Cosine Annealing) 策略进行学习率衰减，这有助于模型在训练后期更好地收敛到最优解。
训练配置： 批次大小 (Batch Size) 为 64，训练 80 个 Epoch。

5. 实验设置

5.1. 数据集

来源： 北京协和医院皮肤科门诊（2016年1月至2020年12月）。
规模： 共 1157 个病例。
- MF (菌状肉芽肿): 114 例
- Eczema (湿疹): 347 例
- Psoriasis (银屑病): 213 例
- Lichen Planus (扁平苔藓, LP): 243 例
- Pityriasis Rosea (玫瑰糠疹, PR): 131 例
- Seborrheic Dermatitis (脂溢性皮炎, SD): 109 例
图像数量： 2452 张临床图像，6550 张皮肤镜图像。每个病例包含 6-10 张不同角度或部位的图像。
测试集： 包含 118 个独立病例，用于最终的人机对比测试。

5.2. 评估指标

为了量化模型性能，使用了以下标准医学统计指标：

准确率 (Accuracy):
- 概念定义: 模型正确分类的样本占总样本的比例。
- 数学公式: $\mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$
- 符号解释: TP 为真阳性，TN 为真阴性，FP 为假阳性，FN 为假阴性。
敏感性 (Sensitivity / Recall):
- 概念定义: 在所有真正的患者中，模型成功检测出的比例。对于 MF 这种恶性病，高敏感性意味着不容易漏诊。
- 数学公式: $\mathrm{Sensitivity} = \frac{TP}{TP + FN}$
特异性 (Specificity):
- 概念定义: 在所有非该病（健康或患其他病）的样本中，模型正确判断为阴性的比例。
- 数学公式: $\mathrm{Specificity} = \frac{TN}{TN + FP}$
精确率 (Precision):
- 概念定义: 在模型预测为阳性的样本中，真正是阳性的比例。
- 数学公式: $\mathrm{Precision} = \frac{TP}{TP + FP}$
F1 分数 (F1-score):
- 概念定义: 精确率和敏感性的调和平均数，用于综合评估模型性能，特别是在类别不平衡时。
- 数学公式: $\mathrm{F1} = 2 \times \frac{\mathrm{Precision} \times \mathrm{Sensitivity}}{\mathrm{Precision} + \mathrm{Sensitivity}}$
Kappa 系数:
- 概念定义: 用于衡量一致性的统计量。这里用于衡量 AI 与医生诊断结果的一致性，或者诊断结果与 真值 (Ground Truth) 的一致性。 $>0.75$ 表示高度一致。

5.3. 对比基线

基线模型: 对比了 13 种主流 CNN 架构作为图像特征提取器，包括 ResNet18/50, DenseNet121, EfficientNet, Swin Transformer 等。
人类对照组: 23 位皮肤科医生，分为初级、中级和高级职称，进行“仅医生”和“医生+AI辅助”两轮测试。

6. 实验结果与分析

6.1. 核心结果分析

实验结果强有力地证明了 AI 模型的辅助作用。

模型选择结果： 在 13 种网络中，RegNetY-400MF 表现最佳，在敏感性 (73.69%)、特异性 (94.26%)、F1分数 (72.18%) 和准确率 (73.33%) 四项指标上均排名第一，且参数量极小。

人机对比结果：

AI 独战： AI 模型的各项指标均优于医生平均水平。
AI 助战 (Doctor + AI): 当医生参考 AI 的预测概率后，诊断能力得到全面提升。

具体提升： 医生组的平均准确率提升了 11.42%，Kappa 系数提升了 14.72%。

以下是原文提及的关键对比数据总结（基于文中 Results 部分的描述）：

指标 (Metrics)	仅医生 (Doctor-only)	医生 + AI (Doctor + AI)	提升幅度
准确率 (Accuracy)	71.52%	82.94%	+11.42%
敏感性 (Sensitivity)	74.56%	86.16%	+11.60%
特异性 (Specificity)	94.06%	96.45%	+2.39%

下图（原文 Figure 3）展示了各疾病的 ROC 曲线。其中，紫色的点（代表 AI 辅助后的医生表现）明显比黄色的点（仅医生表现）更靠近左上角（性能更好），这直观地展示了 AI 的增益效果。

Figure 3 168x85 mm (x DPI) 该图像是一个图表，展示了六种皮肤疾病的敏感度与特异性的关系，包括菌状真菌病（MF）、盘状红斑狼疮（LP）、银屑病（PSO）、湿疹（ECZ）、皮肤病（SD）和脓疱疮（PR）。每种疾病的曲线显示了AI模型与皮肤科医生的诊断效果对比。

6.2. 不同职称医生的表现差异

研究发现，AI 对不同经验水平的医生都有帮助，但对 初级医生 (Junior Clinicians) 的帮助最大。

初级医生： 准确率提升约 14.48%。
高级医生： 虽然准确率提升幅度较小，但在 MF 的诊断敏感性上有显著提高，这意味着即使是专家，AI 也能帮助他们减少漏诊。

6.3. 可解释性分析 (Grad-CAM)

为了探究 AI 是如何做出判断的，作者使用了 Grad-CAM 技术生成热力图。

成功案例： 如下图（原文 Figure 4）所示，在准确预测的案例中，模型的热力图（高亮区域）精准地聚焦在了具有诊断意义的皮肤镜特征上，如非典型血管结构和淋巴细胞聚集区域。
失败案例： 当病灶特征不明显（如弥漫性红斑）或图像质量较差时，模型可能会关注到非特异性的炎症特征，导致误判。

该图像是插图，展示了不同患者在真诊断和AI预测下的表现，对比了五种不同的皮肤状态（图A至E）。每个图像下方附有真诊断信息及AI预测的准确率，其中MF（mycosis fungoides）的预测准确率均在99%以上，显示了该模型的有效性。

7. 总结与思考

7.1. 结论总结

本研究成功开发并验证了一个基于 RegNetY-400MF 的多模态深度学习模型，用于辅助诊断早期菌状肉芽肿（MF）及五种易混淆的炎症性皮肤病。这是该领域首个整合临床、皮肤镜和元数据的 AI 研究。结论表明，AI 辅助诊断不仅可行，而且能显著提高各层级皮肤科医生的诊断准确率和敏感性，为临床提供了一个强有力的“第二意见”工具。

7.2. 局限性与未来工作

作者在文中坦诚了以下局限性：

回顾性研究： 数据来源于既往病例，可能存在选择偏差。未来需要前瞻性研究（即在实际临床流程中实时测试）来进一步验证。
可解释性有限： 虽然使用了 Grad-CAM，但模型只能给出“概率”和“关注区域”，无法像医生一样用自然语言解释“为什么是这个病”。作者提出未来可以结合 大语言模型 (LLM) 来生成诊断描述。
数据规模： 尽管收集了 1000 多例，但对于深度学习而言数据量仍不算巨大，且仅来自单一中心。未来计划进行多中心、大规模的验证。

7.3. 个人启发与批判

多模态的必要性： 这篇论文很好地证明了在医学诊断中，模拟医生“多源信息综合判断”的思路（多模态）比单一视觉识别更有效。这一思路可以迁移到其他通过多种检查手段确诊的疾病（如结合放射影像 + 血液指标）。
主干网络的选择： 作者没有盲目追求最大最深的网络（如 ResNet152），而是选择了轻量高效的 RegNetY，这是一个非常务实的工程选择，更利于模型在实际医疗设备上的部署。
人机协作的范式： 论文不仅比较了 AI vs 人类，更重点强调了 AI + 人类 > 单独 AI 或单独人类。这是医疗 AI 落地最切合实际的路径——AI 不是取代医生，而是作为增强医生能力的工具。

Early diagnosis model of mycosis fungoides and five inflammatory skin diseases based on multi-modal data-based convolutional neural network

TL;DR 精炼摘要

摘要

思维导图

论文精读

中文精读约 12 分钟读完 · 6,661 字