Differential Diagnosis of Benign and Malignant Ovarian Tumors Based on Convolutional Neural Network
-
摘要:
目的 建立卷积神经网络卵巢肿瘤超声诊断模型，探讨其在卵巢良恶性肿瘤鉴别诊断中的价值。 方法 收集2015年6月至2022年9月于昆明医科大学第二附属医院接受超声检查，并获得细胞学或组织病理证实的卵巢良性、恶性肿瘤超声图像各200张，共400张卵巢肿瘤超声图像。图像以1∶3的比例分为训练集和验证集。基于卷积神经网络构建训练并验证VGG16、MobileNet-V2 2个诊断模型，同时选取高年资、低年资2名超声医生进行训练集超声图像诊断，以病理结果为金标准，评估2个诊断模型和超声医生鉴别卵巢良恶性的效能。 结果 VGG16模型诊断卵巢肿瘤良恶性的灵敏度、特异度、准确度分别为80.67%，79.33%，80.00%；MobileNet-V2模型诊断卵巢肿瘤良恶性的灵敏度、特异度、准确度分别为89.33%，93.33%，91.33%；MobileNet-V2模型诊断效能最优，且MobileNet-V2、VGG16模型诊断效能均优于超声医生（P < 0.05）。 结论 卷积神经网络卵巢肿瘤诊断模型具有较好诊断价值，其中MobileNet-V2模型能准确地判断卵巢肿瘤超声图像的良恶性。 Abstract:Objective To establish a convolutional neural network model for ultrasound diagnosis of ovarian tumors and explore its value in distinguishing between benign and malignant ovarian tumors. Methods A total of 400 ovarian tumor ultrasound images, including 200 benign and 200 malignant tumors, were collected from June 2015 to September 2022 at the Second Affiliated Hospital of Kunming Medical University. These images were confirmed by cytology or histopathology. The images were divided into a training set and a validation set in a 1∶3 ratio. Two diagnostic models, VGG16 and MobileNet-V2 were constructed based on convolutional neural networks for training and validation. A senior and a junior sonographers were selected to diagnose the ultrasound images in the training set. The performance of the two diagnostic models and the ultrasound doctors in distinguishing between benign and malignant ovarian tumors was evaluated using the pathological results as the gold standard. Results The sensitivity, specificity and accuracy of VGG16 model in diagnosing the benign and malignant nature of ovarian tumors were 80.67%, 79.33% and 80.00% respectively. The sensitivity, specificity and accuracy of MobileNet-V2 were 89.33%, 93.33% and 91.33% respectively. The MobileNet-V2 model had the best diagnostic performance, and both the MobileNet-V2 and VGG16 models had better diagnostic performance than ultrasound doctors （P < 0.05）. Conclusion The convolutional neural network ovarian tumor diagnostic model has good diagnostic value, with the MobileNet-V2 model accurately determining the benign or malignant nature of ovarian tumor ultrasound images. -
Key words:
- Convolutional neural network /
- Ovarian tumors /
- Ultrasonic diagnosis
-
卵巢癌在女性生殖系统恶性肿瘤中发病率居第3位，病死率位列首位[1]，GLOBOCAN数据[2]显示2020年全球约有31万卵巢癌新发病例。由于卵巢癌早期缺乏典型临床特征，且无有效的筛查手段，超过70%的患者被诊断时已在Ⅲ期或Ⅳ期，预后较差，严重威胁妇女生命健康[3-4]。因此发现卵巢癌早期诊断的有效策略成为亟待解决的问题。
超声图像因其成本低廉、便捷迅速以及无创侵入等优点广泛运用于临床，2022年国家卫生健康委员会发布的《卵巢癌诊疗指南》[5]指出现阶段超声检查是卵巢癌筛查的首选方法，可明确卵巢有无占位性病变，但高诊断准确率对超声医师的检查能力、临床经验及综合分析能力要求较高。近年来，深度学习作为前沿技术逐渐运用于医学影像学领域，其中卷积神经网络（convolutional neural network，CNN）的应用最为广泛。CNN技术可通过计算机辅助诊断系统自动学习提取超声图像特征，检测医师难以发现的深层成像特征，更好地辅助医生诊断疾病，提高诊断效率[5]。其与肝脏超声、乳腺超声、甲状腺超声图像等结合，协助提高结节良恶性诊断水平[6-8]。本研究选取VGG16与MobileNet-V2 2个CNN模型与卵巢肿瘤超声图像结合，以提高卵巢肿瘤超声图像鉴别诊断水平，提高卵巢癌早期诊断效率。
1. 资料与方法
1.1 病例选择与图像收集
纳入标准[9]：细胞学或组织病理证实的卵巢恶性肿瘤、卵巢良性肿瘤患者；可获取疾病负荷状态的超声图像。排除标准[9]：虽病理证实为符合条件的卵巢病变但在昆明医科大学第二附属医院超声检查时已无疾病负荷；超声图像未存档或超声图像模糊无法辨认、包含无效信息过多。本次研究经昆明医科大学第二附属医院伦理委员会审查批准（伦理批件号审-PJ-2020-100），共收集 2015年6月至2022年9月卵巢肿瘤患者365例（良性患者200例，恶性患者165例），共400张卵巢肿瘤超声图像，均取得患者本人或家属知情同意。具体病理类型，见表1。患者中位年龄为（48.34±13.47）岁。
表 1 收集图片病理结果统计表（$ \bar x \pm s$ ）Table 1. Statistical tables of pathological results from collected image （$ \bar x \pm s$ ）病理结果 超声图片例数（n） 年龄（岁） 良性肿瘤 200
33.84 ± 9.15成熟畸胎瘤 64 子宫内膜异位囊肿 57 纤维瘤 4 纤维-卵泡膜细胞瘤 1 囊腺瘤 73 炎性病变 1 恶性肿瘤 200
54.32 ± 10.70浆液性癌 68 黏液性癌 10 子宫内膜样腺癌 8 透明细胞癌 22 未分类腺癌 31 上皮内癌 2 生殖细胞恶性肿瘤 8 性索-间质恶性肿瘤 10 转移性肿瘤 6 交界性肿瘤 35 合计 400 48.34 ± 13.47 超声图像集均来自Philips-Affiniti 50彩色多普勒超声诊断仪，探头为 C9-4v腔内超声探头，探头频率22～42 Hz。采集图像存储为JPG格式。图像预处理流程，见图1。挑选肿瘤清晰的图像，由工作经验5 a以上的超声科医生选取肿瘤感兴趣区域。另外，B超图像上病灶标注等信息，利用Matlab图像处理的方式去除。将图像统一调整为 224×224像素大小便于模型训练。随后超声图片数据集以1∶3比例分为训练集及验证集，选取100例超声图片（恶性50例，良性50例）作为训练集用于模型的训练与建立，余300例超声图片（恶性150例，良性150例）作为验证集用于模型验证。
1.2 卷积神经网络模型搭建与训练
采用VGG16和MobileNet-V2构建CNN模型，对卵巢超声图像进行分类。VGG模型作为经典的CNN网络，可以从B超图像中提取肿瘤尺寸、位置、 纹理等空间特征信息以实现分类任务。本研究选择VGG16模型进行第1轮搭建，它包含5段卷积，每段卷积有1到3个卷积层，每段卷积后接1个最大池化层来缩小特征值尺寸和增强特征，后接3个全连接层，前2层均有4096个通道，第3层共1000个通道，对应1000个标签类别，最后1层为Softmax层，见图2。MobileNet-V2模型不仅借鉴VGG结构，堆叠卷积层以提高准确度，另外引入线性瓶颈结构和反向残差结构，实现模型参数少、计算速度快的优点，且适用于轻量级设备的应用部署。本研究应用的MobileNet-V2包含初始的32个卷积核的全卷积层，后接17个反向残差瓶颈模块，然后是2个全卷积层，2个全卷积层之间插入1个平均池化层以实现分类任务，见图3。
本次实验使用个人计算机训练神经网络。使用python 3.7，CUDA 10.1及包括Numpy、Pytorch、Torchversion等在内的多个Python组件，分别对VGG16网络和MobileNet-V2网络进行参数调整，学习率设置为0.001，Batchsize为32，epoch为200次。损失值代表训练数据输入VGG16及MobileNet-V2网络后，预测值和真实值之间的误差；准确率反映模型预测值与真实值之间的一致性。损失值越小，准确率越高则模型诊断效能更强。在每次训练结束时，将每次训练后的训练集损失函数值与训练集准确率进行记录保存，然后根据数据创建折线图表来直观地反应结果。使用CUDA加速，对数据集进行训练与前向推理。经过200周期的训练后，模型保存为CSV文件。最后用验证集来测试训练集得到的模型，以此作为评价诊断模型的性能指标。
1.3 比较 CNNs 卵巢癌诊断模型和超声医师诊断超声图像准确率
选择本院高年资和低年资2名超声科医生，其中高年资医师的选择标准为取得中级资格证，妇科超声检查超过10000例，低年资医师标准为从事超声工作小于3 a，妇科超声检查不到3000例。2名医师分别独立地对电脑屏幕所展示的验证集图像进行识别判断，记录结果。与模型诊断结果进行比较。
1.4 统计学处理
采用SPSS 26.0对数据进行统计描述和统计学分析，计数资料统计描述采用例数或百分比表示。分别计算Kappa系数、灵敏度、特异度、准确度、阳性预测值、阴性预测值，4种诊断方法各参数比较采用χ2检验，P < 0.05表明差异有统计学意义。
2. 结果
2.1 VGG16和MobileNet-V2诊断模型建立过程中的损失值与准确率
随着训练次数的增加，两模型训练集的损失值不断下降，但损失值下降趋势逐渐减缓，VGG16网络模型的损失函数值始终高于MobileNet-V2模型，见图4A。使用VGG16和MobileNet-V2进行训练后得到的准确率结果，见图4B。总的看来，随着训练次数增加，2模型训练集的准确率均呈上升的趋势，但实验次数100次之后，准确率提升便不再明显，最终VGG16、MobileNet-V2模型的准
图 4 VGG16和MobileNet-V2在训练过程中的损失函数值和准确率A：损失函数值；B：准确率。Figure 4. The loss and accuracy of VGG16 and MobileNet-V2 during training process2.2 VGG16和MobileNet-V2卵巢肿瘤诊断模型和超声医师诊断效能比较
统计4种诊断方法结果，VGG16模型有121例恶性肿瘤图片分类正确，119例良性肿瘤图片分类正确；MobileNet-V2模型有134例恶性肿瘤图片分类正确，140例良性肿瘤图片分类正确；高年资医生有113例恶性肿瘤图片分类正确，121例良性肿瘤图片分类正确；低年资医生有100例恶性肿瘤图片分类正确，99例良性肿瘤图片分类正确，计算统计各参数，见表2。分别比较MobileNet-V2、VGG16模型、超声医生与病理诊断的一致性、准确率，灵敏度、特异度，结果发现VGG16、MobileNet-V2模型诊断的准确率，灵敏度、Kappa值均高于超声医生（P < 0.05），而高年资超声医生的诊断效能又优于低年资超声医生（P < 0.05），其中MobileNet-V2模型各项指标均优于其他3种诊断方法，整体性能最佳（P < 0.05）。
表 2 Mobilenet-V2、VGG16、与超声医生诊断能力比较Table 2. Comparision of diagnosis performance among MobileNet-V2，VGG16 and ultrasound doctors in validation sets诊断模型 参数 Kappa值 准确率（%） 灵敏度（%） 特异度（%） 阳性预测值（%） 阴性预测值（%） Mobilenet-V2 91.33 89.33 93.33 93.06 89.74 0.827* VGG16 80.00 80.67 79.33 79.61 80.41 0.600* 高年资医生 78.00 75.33 80.67 77.93 78.06 0.560* 低年资医生 66.33 66.67 66.00 66.23 66.44 0.327 *P < 0.05。 3. 讨论
恶性肿瘤的筛查与诊断一直以来都是肿瘤研究领域的热点，研究者们很早就将人工智能方法应用到肿瘤影像学中，从早期计算机辅助诊断系统，到现在普遍运用的深度学习。人工智能正逐步表露其巨大的潜力不断为恶性肿瘤的诊断筛查，甚至治疗、预后研究提供新的思路。伴随CNN的迭代更新，拥有良好性能的CNN模型不断涌现。VGG的结构网络十分简洁，其利用小卷积核的堆叠，在减少网络参数的同时，能完成同大卷积核一样的感受野效果；另外每层卷积之后的非线性函数，提升网络对图片特征值的学习及表达。与之前的网络结构相比，VGG的错误率大幅下降，拓展性很强，并且在图像分类和目标检测任务中都取得了很好的效果[10-11]。VGG依据深度不同，划分为6种结构，其中VGG16具有良好的图片分类能力。Han等[12]使用10种机器学模型和 VGG算法对肺癌患者的PET/CT图像进行学习分析，以构建用于肺腺鳞癌鉴别诊断的最佳分类模型，最后VGG16算法曲线下面积0.903，优于结合放射组学的所有传统机器学习方法。Alshammari等[13]应用VGG16对数据库中脑转移病人的核磁图像进行分类，使用函数计算辅助增强效能，最终对脑转移图像的分类准确率达93.74%，除此之外，VGG16还用来辅助腰椎狭窄的影像学诊断，与其他深度学习方法相比VGG16分类成功率最高，为 87.70%[14]。可见，VGG16与影像学的结合应用比较灵活，且结果良好。本研究首先选用VGG16网络模型来构建训练超声图像诊断模型，最后VGG16模型的准确率为80.00%，灵敏度为80.67%，特异度为79.33%。鉴于VGG16模型验证数据未达到笔者对CNN鉴别附件包块超声图像良恶性的预期，因此本研究选用MobileNet-V2模型进行新一轮搭建。MobileNet-V2神经网络是轻量化卷积神经网络中表现较为优秀的网络，它不仅保留了VGG网络堆叠小卷积层以提高准确度的结构，还创新性地运用线性函数及反向残差模块来减少运算量，随着巨型网络一步步演变为轻量化网络，模型准确率也越来越高[15-16]。近年来MobileNet-V2广泛运用于医学影像辅助诊断，Palczynski等[17]应用MobileNet-V2协助白血病诊断，其分类平均准确率超过90%。Srinivasu等[18]利用MobileNet-V2模型对皮肤病进行分类，该模型比其他经典CNN模型有更高的准确性。台北大学学者[19]选择MobileNet-V2分析患者腹部超声图像对胆囊炎进行分类，最终曲线下面积分别达0.92和0.94。本研究搭建MobileNet-V2网络模型验证集最后准确率为91.33%，灵敏度为89.33%，特异度为93.33%。再选取本院1名高年资超声医生、1名低年资超声医生对验证集数据进行独立诊断，比较诊断结果显示MobileNet-V2诊断性能最优，VGG16、MobileNet-V2模型诊断的准确率，灵敏度、Kappa值均高于高、低年资超声医生（P < 0.05）。这与Martinez-Mas等[20]基于机器学习技术建立的卵巢肿瘤超声图像诊断模型准确率相当。
本研究证明了利用卷积神经网络实现对卵巢癌肿瘤分类的可行性，有望应用于临床辅助卵巢癌的诊断、改善预后。但本研究模型训练的图像数据偏少，在下一步的工作中，将逐渐扩大样本量，改善优化算法模型，发展基于超声影像的卵巢癌自动检测方法，以期为卵巢癌早期诊断困难寻求新的解决办法。
-
图 4 VGG16和MobileNet-V2在训练过程中的损失函数值和准确率
A：损失函数值；B：准确率。
Figure 4. The loss and accuracy of VGG16 and MobileNet-V2 during training process
表 1 收集图片病理结果统计表（
$ \bar x \pm s$ ）Table 1. Statistical tables of pathological results from collected image （
$ \bar x \pm s$ ）病理结果 超声图片例数（n） 年龄（岁） 良性肿瘤 200
33.84 ± 9.15成熟畸胎瘤 64 子宫内膜异位囊肿 57 纤维瘤 4 纤维-卵泡膜细胞瘤 1 囊腺瘤 73 炎性病变 1 恶性肿瘤 200
54.32 ± 10.70浆液性癌 68 黏液性癌 10 子宫内膜样腺癌 8 透明细胞癌 22 未分类腺癌 31 上皮内癌 2 生殖细胞恶性肿瘤 8 性索-间质恶性肿瘤 10 转移性肿瘤 6 交界性肿瘤 35 合计 400 48.34 ± 13.47 
下载: 导出CSV
表 2 Mobilenet-V2、VGG16、与超声医生诊断能力比较
Table 2. Comparision of diagnosis performance among MobileNet-V2，VGG16 and ultrasound doctors in validation sets
诊断模型 参数 Kappa值 准确率（%） 灵敏度（%） 特异度（%） 阳性预测值（%） 阴性预测值（%） Mobilenet-V2 91.33 89.33 93.33 93.06 89.74 0.827* VGG16 80.00 80.67 79.33 79.61 80.41 0.600* 高年资医生 78.00 75.33 80.67 77.93 78.06 0.560* 低年资医生 66.33 66.67 66.00 66.23 66.44 0.327 *P < 0.05。
下载: 导出CSV
-
[1] 狄文,胡媛. 卵巢癌的大数据研究[J]. 中国实用妇科与产科杂志,2018,34(1):18-22. doi: 10.19538/j.fk2018010105 [2] Reid F,Bhatla N,Oza A M,et al. The World Ovarian Cancer Coalition Every Woman Study: Identifying challenges and opportunities to improve survival and quality of life[J]. Int J Gynecol Cancer,2021,31(2):238-244. doi: 10.1136/ijgc-2019-000983 [3] La Vecchia C. Ovarian cancer: Epidemiology and risk factors[J]. Eur J Cancer Prev,2017,26(1):55-62. doi: 10.1097/CEJ.0000000000000217 [4] 张家雨,何昕晖,宫婷婷,等. 肉类摄入与卵巢癌发病及预后关系的研究进展[J]. 肿瘤防治研究,2019,46(5):490-496. [5] Trinidad C V,Tetlow A L,Bantis L E,et al. Reducing ovarian cancer mortality through early detection: Approaches using circulating biomarkers[J]. Cancer Prev Res (Phila),2020,13(3):241-252. doi: 10.1158/1940-6207.CAPR-19-0184 [6] Kim G R,Lee E,Kim H R,et al. Convolutional neural network to stratify the malignancy risk of thyroid nodules: Diagnostic performance compared with the American college of radiology thyroid imaging reporting and data system implemented by experienced radiologists[J]. AJNR Am J Neuroradiol,2021,42(8):1513-1519. doi: 10.3174/ajnr.A7149 [7] Hejduk P,Marcon M,Unkelbach J,et al. Fully automatic classification of automated breast ultrasound (ABUS) imaging according to BI-RADS using a deep convolutional neural network[J]. Eur Radiol,2022,32(7):4868-4878. doi: 10.1007/s00330-022-08558-0 [8] Mitrea D,Badea R,Mitrea P,et al. Hepatocellular carcinoma automatic diagnosis within CEUS and B-Mode ultrasound images using advanced machine learning methods[J]. Sensors (Basel),2021,21(6):1-31. doi: 10.1109/JSEN.2021.3057283 [9] 李睿,许祥丛,林静怡,等. 基于卷积神经网络的超声影像肝癌自动分类[J]. 生物化学与生物物理进展,2023,50(3):668-675. doi: 10.16476/j.pibb.2022.0101 [10] 曹宇,邢素霞,逄键梁,等. 基于改进的VGG-16卷积神经网络的肺结节检测[J]. 中国医学物理学杂志,2020,37(7):940-944. doi: 10.3969/j.issn.1005-202X.2020.07.026 [11] 高慧明. 基于卷积神经网络的肺结节检测及良恶性分类方法研究[D]. 太原: 太原理工大学, 2019. [12] Han Y,Ma Y,Wu Z,et al. Histologic subtype classification of non-small cell lung cancer using PET/CT images[J]. Eur J Nucl Med Mol Imaging,2021,48(2):350-360. doi: 10.1007/s00259-020-04771-5 [13] Alshammari A. Construction of VGG16 convolution neural network (VGG16_CNN) classifier with NestNet-Based segmentation paradigm for brain metastasis classification[J]. Sensors (Basel),2022,22(20):1-19. doi: 10.1109/JSEN.2022.3211123 [14] Altun S,Alkan A,Altun I. LSS-VGG16: Diagnosis of lumbar spinal stenosis with deep learning[J]. Clin Spine Surg,2023,36(5):E180-E190. doi: 10.1097/BSD.0000000000001418 [15] 刘雪纯,刘大铭,常佳鑫,等. 基于MobileNet V2迁移学习的中药材图像识别[J]. 长江信息通信,2022,35(7):33-37. doi: 10.3969/j.issn.1673-1131.2022.07.009 [16] 易振通,吴瑰,官端正,等. 轻量化卷积神经网络的研究综述[J]. 工业控制计算机,2022,35(10):109-111. [17] Palczynski K,Smigiel S,Gackowska M,et al. IoT application of transfer learning in hybrid artificial intelligence systems for acute lymphoblastic leukemia classification[J]. Sensors (Basel),2021,21(23):1-12. doi: 10.1109/JSEN.2021.3128120 [18] Srinivasu P N,SivaSai J G,Ijaz M F,et al. Classification of skin disease using deep learning neural networks with MobileNet V2 and LSTM[J]. Sensors (Basel),2021,21(8):1-27. doi: 10.1109/JSEN.2021.3063942 [19] Yu C J,Yeh H J,Chang C C,et al. Lightweight deep neural networks for cholelithiasis and cholecystitis detection by point-of-care ultrasound[J]. Comput Methods Programs Biomed,2021,211:106382. doi: 10.1016/j.cmpb.2021.106382 [20] Martinez-Mas J,Bueno-Crespo A,Khazendar S,et al. Evaluation of machine learning methods with Fourier Transform features for classifying ovarian tumors based on ultrasound images[J]. PLoS One,2019,14(7):e219388. -
下载:
点击查看大图
计量
- 文章访问数: 2029
- HTML全文浏览量: 1037
- PDF下载量: 21
- 被引次数: 0
