Applications of machine learning techniques for enhancing nondestructive food quality and safety det
TL;DR 精炼摘要
本文综述了机器学习在无损食品质量与安全检测中的应用,重点比较传统机器学习与深度学习技术,结合声学分析、机器视觉、电子鼻等无损技术,实现食品品种识别、分类及安全监测。结果表明,深度学习具备更强特征学习能力,是未来食品工业实时检测的关键方向。
摘要
Critical Reviews in Food Science and Nutrition ISSN: 1040-8398 (Print) 1549-7852 (Online) Journal homepage: www.tandfonline.com/journals/bfsn20 Applications of machine learning techniques for enhancing nondestructive food quality and safety detection Yuandong Lin, Ji Ma, Qijun Wang & Da-Wen Sun To cite this article: Yuandong Lin, Ji Ma, Qijun Wang & Da-Wen Sun (2023) Applications of machine learning techniques for enhancing nondestructive food quality and safety detection, Critical Reviews in Food Science and Nutrition, 63:12, 1649-1669, DOI: 10.1080/10408398.2022.2131725 To link to this article: https://doi.org/10.1080/10408398.2022.2131725 Published online: 12 Oct 2022. Submit your article to this journal Article views: 5243 View related articles View Crossmark data Citing articles: 129 View citing articles Full Terms & Conditions of access and use can be found at https://www.tandfonline.com/action/journalInformation?journalCode=bfsn20
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
利用机器学习技术增强无损食品质量与安全检测的应用 (Applications of machine learning techniques for enhancing nondestructive food quality and safety detection)
1.2. 作者
Yuandong Lin, Ji Ma, Qijun Wang & Da-Wen Sun
1.3. 发表期刊/会议
Critical Reviews in Food Science and Nutrition。该期刊在食品科学与营养领域享有较高声誉,通常发表对某一主题进行全面、深入批判性分析的综述性文章,对领域发展具有重要的指导意义。
1.4. 发表年份
2023年
1.5. 摘要
全球对高质量食品的需求日益增长,这使得对食品行业中无损、快速检测技术的研究兴趣显著增加。然而,大多数无损技术获取的数据分析复杂、耗时,且需要高技能的操作人员。同时,传统化学计量学或统计方法的普遍适用性受到噪声、样本变异性以及不同测试条件下数据复杂性的影响。机器学习 (ML) 技术,由于其在处理无关信息、提取特征变量和构建校准模型方面的强大能力,在食品工业中,特别是在无损技术和设备智能化方面,拥有广泛的应用。
本综述介绍了并比较了机器学习技术,将其总结为传统机器学习 (TML) 和深度学习 (DL)。此外,还介绍了声学分析、机器视觉 (MV)、电子鼻 (e-nose) 和光谱成像等几种新型无损技术,如何与不同的先进机器学习技术结合,并应用于食品质量评估(如品种识别和分类)、安全检测和过程控制。文中还讨论了现有的挑战和未来的展望。综述结果表明,无损检测技术与最先进的机器学习技术相结合,在监测食品质量和安全方面显示出巨大的潜力,并且不同的机器学习算法具有各自的特点和适用场景。由于其特征学习的本质,深度学习 (DL) 是最具前景和强大能力的实时应用技术之一,但其在食品工业的全面广泛应用仍需要进一步研究。
1.6. 原文链接
https://doi.org/10.1080/10408398.2022.2131725
2. 整体概括
2.1. 研究背景与动机
- 核心问题: 全球范围内对高质量食品的需求日益增加,但传统食品检测方法(如气相色谱、高效液相、PCR)存在破坏性、劳动密集、昂贵且耗时等缺点,不适用于快速在线质量评估。
- 重要性与挑战: 无损检测技术(如光谱成像、声学振动、机器视觉、电子鼻)作为替代方案,因其快速、可靠和相对经济的优势而受到关注。然而,这些技术也面临挑战:
- 数据复杂性: 无损技术采集的数据往往具有异构性、多样性、非结构化、噪声和高冗余度,难以分析和解释。
- 数据量大: 成像技术(MV、HSI)产生海量信息,限制了实时工业应用。
- 误差敏感性: 电子鼻等传感器阵列可能因传感器噪声、检测环境和样本异构性而产生误差。
- 特征提取需求: 所有无损技术都需要有效的特征提取方法来识别关键特征,以节省计算时间并构建数据与食品质量之间的校准模型。
- 现有研究空白: 传统化学计量学方法(如CARS、SPA、UVE、RC、LDA、PCA、PLS)通常只适用于线性和小规模数据集,对于复杂、非线性、高维数据集效率低下。尽管已有关于特定无损技术或特定食品加工环节结合机器学习的综述,但缺乏系统性地介绍传统机器学习 (TML) 和深度学习 (DL) 及其在多种新型无损技术中应用的比较性综述。
- 创新思路: 本文旨在填补这一空白,系统性地回顾和比较传统机器学习与深度学习这两种主要机器学习技术,及其如何与声学分析、机器视觉、电子鼻、光谱成像等多种新型无损技术结合,以提高食品质量与安全检测的效率和有效性。
2.2. 核心贡献/主要发现
- 系统性综述与比较: 首次系统性地介绍了传统机器学习 (TML) 和深度学习 (DL) 这两种主要机器学习技术,并对比了它们的特点和性能,为读者选择合适的算法提供了指导。
- 多维度应用场景分析: 详细探讨了机器学习技术与声学分析、机器视觉、电子鼻和光谱成像等多种新型无损技术结合,在食品掺假识别、食品分类、水果质量检测、肉类水产质量检测、化学污染检测和微生物污染检测等广泛应用场景中的具体实践。
- 挑战与未来展望: 识别并讨论了当前将机器学习应用于无损食品检测所面临的挑战,如缺乏标注数据、缺乏公共基准数据集、环境条件影响模型鲁棒性、深度学习计算资源需求大等,并提出了未来研究方向,包括迁移学习、终身学习、轻量级模型、以及将深度学习应用于电子鼻和声学分析等。
- 强调深度学习的潜力: 突出深度学习在特征学习方面的优势,认为其在实时应用中具有巨大的潜力,并呼吁进一步研究以促进其在食品工业的全面广泛应用。
3. 预备知识与相关工作
3.1. 基础概念
为了更好地理解本综述,需要对以下基础概念有所了解:
- 无损检测技术 (Nondestructive Technologies): 指在不损害被检测对象的前提下,对其内部结构、物理性能或化学成分进行检测和评估的技术。在食品领域,这些技术旨在快速、非侵入性地评估食品的品质和安全。
- 声学分析 (Acoustic Analysis): 利用声波在食品中传播、反射、吸收等特性,通过分析声信号(如传播速度、共振频率、阻尼比)来评估食品的机械和物理性质(如弹性模量、泊松比、质量、形状、水分)。
- 机器视觉 (Machine Vision, MV): 一种使计算机系统能够“看”和“理解”图像的技术。在食品检测中,通常使用RGB彩色摄像头捕获图像,通过分析图像的颜色、纹理、形状、大小和表面缺陷等特征来评估外部品质。
- 电子鼻 (Electronic Nose, E-nose): 模拟人类嗅觉系统,通过阵列式气体传感器检测食品挥发性物质,并结合模式识别算法来识别和量化气味,从而评估食品品质和新鲜度。
- 光谱成像 (Spectral Imaging): 将光谱技术和成像技术结合,同时获取空间和光谱数据。
- 高光谱成像 (Hyperspectral Imaging, HSI): 是一种先进的光谱成像技术,能够为图像中的每个像素点提供连续的、窄波段的光谱信息,形成“超立方体”数据。这使得它不仅能获取物体的空间信息,还能获取其独特的化学成分信息,常用于食品成分量化、内部缺陷检测和品质分级。
- 人工智能 (Artificial Intelligence, AI): 广义上指使机器能够模仿人类智能行为的技术。
- 机器学习 (Machine Learning, ML): 人工智能的一个子领域,通过训练算法从数据中学习模式,而非通过明确编程来执行任务。
- 传统机器学习 (Traditional Machine Learning, TML): 指相对较浅层的机器学习模型,通常需要人工进行特征工程(即手动提取有意义的特征),适用于中小规模数据集。
- 深度学习 (Deep Learning, DL): 机器学习的一个子领域,使用多层人工神经网络(即深度神经网络)从原始数据中自动学习和提取多层次的特征表示。
- 化学计量学 (Chemometrics): 是一套使用数学、统计学和计算方法处理化学数据,以最大化提取有用化学信息的工具。
- 主成分分析 (Principal Component Analysis, PCA): 一种常用的线性降维技术,通过正交变换将可能相关的高维数据转换成由彼此不相关的新变量(主成分)表示的低维数据,同时保留数据中的最大方差。常用于数据的分解、可视化、异常值检测。
- 偏最小二乘法 (Partial Least Squares, PLS): 一种结合了PCA和多元回归分析的方法,旨在找到两个变量集(如光谱数据和化学成分数据)之间的潜在线性关系,常用于高维数据回归和分类。
- 线性判别分析 (Linear Discriminant Analysis, LDA): 一种有监督的降维方法,旨在找到最佳的线性组合特征,使得不同类别之间的数据分离最大化,同时同一类别内部的数据紧凑性最小化。
3.2. 前人工作
本综述在引言部分提及了一些相关的先行综述:
- Rehman 等人 (2019) 综述了传统机器学习技术在机器视觉系统中的应用,分析了每种技术的潜力及其在不同食品领域的案例。
- Saha 和 Manickavasagan (2021) 概述了不同机器学习技术在高光谱图像分析中确定食品质量的应用。
- Liu, Pu, and Sun (2021) 总结了CNN模型在食品质量检测中的应用,并讨论了基于1D、2D和3D模型的特征提取方法。
- Sun, Zhang, and Mujumdar (2019) 综述了AI技术及其在食品干燥中的应用。
- D. Y. Wang 等人 (2022) 综述了基于AI的方法在浆果分选、干燥、消毒、杀菌和冷冻中的检测和预测应用。
3.3. 技术演进
随着传感技术、计算机科学和硬件(如GPU)的飞速发展,无损检测技术(如MV、HSI)变得更加适合快速、在线、可靠且相对经济的检测。同时,用户友好的软件库(如Scikit-learn, TensorFlow, PyTorch)的出现,极大地推动了机器学习技术在食品行业的应用。机器学习,特别是深度学习,因其强大的自学习、自适应、强容错性和非线性映射能力,能够有效处理无损技术产生的复杂、高维、非线性数据,从而弥补了传统化学计量学方法在处理这些数据时的不足。
3.4. 差异化分析
上述先行综述通常侧重于单一的无损技术(如机器视觉或高光谱成像)或单一的食品加工环节(如干燥、浆果处理)。本综述的独特之处在于:
- 系统性与全面性: 它系统性地介绍了传统机器学习和深度学习这两种主要机器学习技术,并对其进行了比较。
- 多技术融合: 它涵盖了声学分析、机器视觉、电子鼻和光谱成像等多种新型无损技术,并探讨了它们与机器学习技术的结合应用。
- 强调性能对比: 旨在比较不同机器学习技术在结合各种无损技术时,如何增强食品质量与安全检测的效率和有效性。
- 关注挑战与前景: 不仅总结了现有成就,还深入分析了当前面临的挑战,并提出了未来的研究方向,对该领域的整体发展提供了更全面的视角。
4. 方法论
本综述的“方法论”在于其对机器学习技术的分类、原理介绍以及与无损检测技术结合应用场景的组织方式。作者首先将机器学习划分为传统机器学习 (TML) 和深度学习 (DL) 两大类,然后详细介绍了各类算法的原理,并探讨了它们在声学分析、机器视觉、电子鼻和光谱成像这四种主要无损技术中的具体应用。
4.1. 方法原理
本综述的核心思想是论证机器学习技术如何通过处理复杂数据、提取特征变量和构建校准模型来增强无损食品质量与安全检测。其基本原理是:
- 数据采集: 通过无损技术(如MV、HSI、E-nose、声学分析)获取食品的物理、化学信息数据。这些数据通常复杂、高维、非结构化且可能包含噪声。
- 机器学习处理: 应用传统机器学习或深度学习算法对这些数据进行预处理、特征提取、降维,并构建预测或分类模型。
- 质量/安全评估: 利用训练好的模型对食品质量属性(如新鲜度、成熟度、成分含量)或安全指标(如污染物、微生物)进行快速、准确的评估。
4.2. 核心方法详解 (逐层深入)
4.2.1. 机器学习概述 (Overview of machine learning)
机器学习是一个涉及计算机科学和统计学的领域,它使机器通过反复迭代模型,逐步提高特定任务的性能。在无损技术中,数据(如MV系统的RGB图像、HSI系统的超立方体、E-nose和声学分析系统采集的电信号)通常以矩阵或向量形式存在,用于检测食品质量和控制食品安全。
机器学习技术可分为两大类:传统机器学习 (TML) 和深度学习 (DL),如图 2 所示。
该图像是一个示意图,展示了人工智能、机器学习和深度学习之间的包含关系,及其与无损检测技术的关联,突出深度学习在机器学习和人工智能中的核心地位。
图 2: 人工智能、机器学习和深度学习之间的包含关系示意图。
4.2.2. 传统机器学习 (Traditional machine learning, TML)
传统机器学习是人工智能的一个子领域,其算法通过从数据中学习模式来执行任务,而非通过明确编程。它从训练数据中学习并发现不同数据库中的数据趋势,从而实现数据分析自动化。TML涉及对小样本集进行手动特征提取,并在学习结果的有效性与学习模型的可解释性之间取得平衡,为样本有限时的学习问题提供框架。其理论基础主要是统计学,主要分析包括模式分类、回归分析、概率密度估计或其他分析。
TML根据训练方法和训练数据是否带标签,可细分为有监督学习 (supervised learning)、无监督学习 (unsupervised learning) 和半监督学习 (semi-supervised learning)。
4.2.2.1. 有监督学习 (Supervised learning)
如果输入和输出数据集的属性都完全带标签,那么TML算法的目标是构建一个将输入映射到输出的模型,这被称为有监督学习。相关算法包括支持向量机 (SVM)、逻辑回归 (LR)、K近邻 (KNN)、朴素贝叶斯 (NB)、决策树 (DT) 和人工神经网络 (ANNs)。
-
支持向量机 (Support Vector Machine, SVM) SVM用于分类和回归任务,通过迭代训练算法将对象映射到一个由支持向量描述的新空间,通过最大化最大间隔超平面来实现,从而使分离任务变得可行。 如图 3(a) 所示,SVM 识别出一个超平面,该超平面最大化了“红星”和“蓝星”类别之间的分离。这个超平面可以是分离二维数据的线,分离三维数据的平面,或分离四维数据的超平面。SVM 在分类方面表现出色,因为它能够通过使用不同的核函数(线性核、径向基函数 (RBF)、多项式核函数和 Sigmoid 核)来解决高维数据建模中常见的过拟合问题。在大多数高光谱图像分析研究中,RBF(一种非线性函数)通过优化两个参数(正则化参数/惩罚因子 (C) 和核参数 (γ))来降低训练过程的复杂性。 作为回归算法,SVM 也被称为支持向量回归 (Support Vector Regression, SVR),其采样原理与SVM的分类原理相同。然而,SVR的输出是实数而非类别,因此难以直接用于预测样本组成。设置惩罚项是使SVR预测模型更具容错性的一种方法。 SVM的优势在于不需要大量训练样本即可开发模型,且不易受异常值影响。但对于非常大的数据集,SVM的计算效率不高,训练时间长;当数据有噪声或类别重叠时,SVM表现也可能不佳。
-
逻辑回归 (Logistic Regression, LR) LR 是一种用于解决二分类(0或1)问题并估计特定场景概率的机器学习方法。逻辑回归的结果不是数学定义上的概率值,不能直接用作概率值。它表示预测类别发生与不发生的概率之比,称为优势比 (odds)。通过优势比可以确定类别,这对于使用概率辅助决策的任务很有帮助。 多项式逻辑回归 (Multinomial Logistic Regression, MLR) 是二项式逻辑回归的扩展,其中自变量可以是多个类别。
-
K近邻 (K-Nearest Neighbor, KNN) KNN 通过测量不同特征值之间的距离进行分类。KNN 的核心思想是简单地给出一个预测目标,然后计算预测目标与所有样本之间的距离或相似性,再根据这些距离或相似性进行投票决策。 如图 3(b) 所示,KNN 根据训练集中 K 个最近邻(红星和蓝星)的多数投票,将未分类点(黑星)分配一个类别。当 时,样本对象(“星”)被分类为“蓝色”,因为它获得了“蓝色”类别更多的投票。然而,当 时,同一个样本对象被分类为“红色”,因为它现在获得了“红色”类别更多的投票。因此,KNN 分类器高度依赖于 K 近邻,参数 对 KNN 模型的识别准确性有很大影响,因此需要对其进行优化以进行进一步分析。 KNN 算法因其简单性和高准确性,已与各种无损技术结合用于多种应用。
-
基于决策树的算法 (Algorithms based on decision trees) 决策树 (Decision Tree, DT) 是一种树状结构,其中每个内部节点代表对一个属性的判断,每个分支代表判断结果的输出,每个叶节点代表一个分类结果。根据问题的不同,决策树的叶节点可以是类别、概率或回归情况下的连续值。 决策树是两种广泛使用的集成方法的基础,即随机森林 (Random Forest, RF) 和梯度提升框架 (gradient boosting frameworks),它们的主要区别在于树的创建方式。 如图 3(d) 所示,对于 RF,算法构建数百或数千棵深层决策树(“强预测器”)。虽然这些树中的每一棵都可能过拟合,但可以通过结合多棵树的输出解决过拟合问题。 相比之下,在梯度提升算法(如 XGBoost 或 CatBoost)中,每棵树都是一个浅层决策树(“弱预测器”),算法通过添加越来越多的树来随时间减少分类误差。 集成树方法可用于分类和回归任务,在这两种情况下,树的输出都会被平均,从而创建平滑的输出函数。决策树的数量和每棵树中的特征是RF模型的主要变量。
-
朴素贝叶斯 (Naïve Bayes, NB) NB 与 DT 不同,它是一种强大的分类器,也是十大数据挖掘算法之一。它通过应用贝叶斯定理 (Bayes' theorem),基于变量之间独立的假设来预测给定变量集的值。在使用 NB 时,在训练期间,会为具有不同输入值的每个变量计算每个类别的概率,对于新的数据集,所有变量独立地对预测类别的概率做出贡献。NB有三种模型:多项式模型 (Multinomial model)、泊松模型 (Poisson model) 和伯努利模型 (Bernoulli model),适用于对数据分布和不同特征之间相关性有强先验知识的任务。 然而,NB 算法不能很好地处理不同特征的组合,因为该算法由于特征之间的相关性而无法学习交互。因此,在应用 NB 分类器时,应仔细进行特征选择以实现特征的条件独立性。当数据较少时,NB 是一种可以提供满意结果的简单分类器。
-
人工神经网络 (Artificial Neural Networks, ANNs) ANNs 代表一组受生物学启发的模型,常被计算科学家用于预测和分类问题。 如图 4(b) 所示,ANNs 的典型结构中,节点被称为人工神经元 (artificial neurons)。每个神经元实现一个简单的分类器模型,从先前的神经元输出一个决策信号。神经网络中从一层到另一层传输信息有多种类型的传递函数 (transfer functions),包括 Sigmoid 函数、线性传递函数、双曲正切函数和逻辑函数。数百个这样的基本计算单元组装起来构成一个人工神经网络。 ANNs 的训练阶段包括向网络呈现一组已知期望输出的输入,通过最小化计算输出与期望输出之间的差异来实现学习。反向传播 (Backpropagation) 是一种计算 ANN 中损失函数最小值的典型方法,它允许误差通过网络向后传播并持续更新权重和偏置。 ANNs 的主要优点是它们能够学习和建模非线性复杂系统,能够推广样本与有限数据之间的关系,并且对输入变量没有限制(如不需要对分布做假设),这意味着 ANNs 可以比传统统计方法更有效地处理非线性问题并应对噪声或漂移。然而,ANNs 需要大量数据进行训练才能构建一个好的模型。 由于 ANNs 表现得像一个“黑盒”,因此正确调整超参数 (hyperparameters),如学习率、衰减率和动量,以减少欠拟合或过拟合的可能性非常重要。最好的超参数被称为学习率曲线。此外,动量和衰减率分别用于加速学习速度并防止权重增长过大。
该图像是一个示意图,展示了图(a)支持向量机(SVM)分类,图(b) k近邻(k-NN)分类,图(c)单棵决策树分类,以及图(d)随机森林多棵决策树集成的基本原理和流程。
图 3: (a) 支持向量机 (SVM),(b) K近邻 (KNN),(c) 单棵决策树,以及 (d) 随机森林 (RF) 示意图。
该图像是三种神经网络结构的示意图,包括(a)卷积神经网络结构流程,(b)多层感知器结构,及(c)采用自编码器进行特征编码和解码的流程图。图中用表示感知器函数。
图 4: (a) 卷积神经网络 (CNN) 结构流程,(b) 多层感知器结构,(c) 自编码器 (AE) 的特征编码和解码流程图。
4.2.2.2. 无监督学习 (Unsupervised learning)
与有监督学习不同,无监督学习可以在数据点没有明确标签时,发现任何潜在的数据结构并描述数据集中变量之间的关系。聚类 (Clustering) 和降维 (dimensionality reduction) 方法是无监督学习中在通过无损技术进行食品质量监测方面的两个代表性应用。
-
降维 (Dimensionality reduction) 混乱或嘈杂的数据集可能需要清理,而复杂的高维数据集(如HSI获得的超立方体)通常需要降维,以将高维数据分解到低维空间中,同时保留相关数据结构以进行后续数据分析。这种高维数据集的分解对于无监督学习方法成功构建鲁棒模型至关重要。 主成分分析 (Principal Component Analysis, PCA) 是一种典型的数据分解和可视化方法,它通过线性投影和最大化低维空间中的方差来实现降维。它可以应用于任何数据矩阵,通过适当的转换和缩放,提取矩阵中的主要模式,表示为互补的分数和载荷图。因此,PCA 可用于查找对象之间的关系、划分类别、检测异常值或减少数据。当所选主成分的累计解释方差达到 时,这些主成分可以替代原始数据。 除 PCA 外,最小噪声分数 (Minimum Noise Fraction, MNF) 和独立成分分析 (Independent Component Analysis, ICA) 也得到了应用。这些方法都基于数据流形是线性的假设,并用于在不同优化准则下找到数据的最佳线性模型。然而,从无损技术获得的数据集具有固有的非线性结构。因此,线性特征提取方法无法反映此类数据集的非线性结构。
-
聚类 (Clustering) 图像或传感器信号处理中备受关注的问题之一是各种食品类型的分类。此外,当食品属性未知而无法进行区分时,分类只能是无监督的,这被称为聚类。聚类算法用于根据某种数学相似性度量,将未标记的数据项分类到不同的组中。一个簇是相似(彼此之间)但与数学上与其他数据簇中的项不同的项的集合。因此,可以在数据类别之间确定数学边界。此外,原始数据的质量是决定聚类算法计算效率和效力的关键因素。经过数据集的原始预处理后,可以使用不同类型的聚类算法,包括层次聚类 (hierarchical)(即树状图,通常带有热图)、分区聚类 (partitioning)(K均值聚类)、基于模型的聚类 (model-based)、基于网格的聚类 (grid-based) 和基于密度的聚类 (density-based)。 其中,K均值聚类 (K-means clustering) 是一种常见的无监督聚类算法,用于无损技术。它通过将数据随机划分为 个簇并计算每个簇的中心来初始化。计算每个点到每个 个质心的距离,并将每个对象重新分配给最近的簇质心。簇的数量 () 是簇分析最重要的参数之一,决定了应该划分多少个簇。不合适的 值可能导致非特异性区域划分( 太小)或减慢数据分析过程( 太大)。
4.2.2.3. 半监督学习 (Semi-supervised learning)
在实际应用中,无损技术在无标签样本干扰下检测不同食品质量并不容易。此外,无损技术的模型性能严重依赖于训练信息的指导,需要大量带标签的样本和准确的标签集来训练鲁棒且性能优异的模型。然而,获取大量准确标签既耗时又费力。尽管无监督方法不需要训练过程,可以直接使用数据进行建模和分析,但由于缺乏先验信息,其性能可能较差。
在这种背景下,半监督学习 (semi-supervised learning) 可以发挥作用,因为它只需要少量带标签的数据,因此可以处理大量无标签数据。半监督学习通常包括五种模型:生成模型 (generative model)、自学习模型 (self-learning model)、协同训练模型 (co-training model)、转导支持向量机 (transductive SVM, TSVM) 学习模型和基于图的学习模型 (graph-based learning model)。在众多半监督技术中,基于图的学习方法以更高的计算复杂性为代价,展现出更好的分类准确性,并逐渐成为模式识别中更活跃的技术。
4.2.3. 深度学习 (Deep learning, DL)
深度学习 (Deep learning),也称为深度神经网络 (deep neural network),可以理解为一种表征学习 (representational learning),它使机器能够从原始数据中提取特征,用于检测、分类或回归,并通过利用由多层神经元(非线性模块)组成的深度人工神经网络来完善多层次的表征。深度学习根据预先设计的特征提取规则从数据中提取特征模式,从而可以提取像素的深度特征,实现降维。在此背景下,深度学习非常适合机器视觉和高光谱图像分类的应用。由于深度神经网络 (DNN) 可以通过在人工神经网络的输入层和输出层之间添加多个隐藏层以及各种拓扑结构来构建,因此存在多种架构和算法来实现深度学习的概念。 其中,自编码器 (Auto-encoder, AE)、卷积神经网络 (Convolutional Neural Network, CNN) 和受限玻尔兹曼机 (Restricted Boltzmann Machine, RBM) 是三种典型的深度学习架构,其中 AE 和 CNN 是当前无损技术中最基本和常用的两种方法。
-
自编码器 (Auto-encoder, AE) AE 是一种基于无监督学习技术的神经网络,它使用反向传播算法。它是一个强大的特征提取器,将原始输入映射到特征向量,并使用特征向量重建原始输入。 如图 4(c) 所示,AE 接收原始输入,通过编码器进行压缩表示,然后通过解码器重建输入。在深层 AE 中,较低的隐藏层用于编码,而较高的隐藏层用于解码,并使用误差反向传播进行训练。由于网络的代表性,AE 可以堆叠和分层以产生深度学习网络。 AE 有几种类型,如去噪自编码器 (de-noising AE)、稀疏自编码器 (sparse AE)、变分自编码器 (variational AE) 和收缩自编码器 (contractive AE),它们总是用于处理高维数据,并通过降维解释一组数据的表示,类似于 PCA,但 AE 的灵活性高于 PCA。此外,AE 允许以线性和非线性方式编码数据集的表示,而 PCA 中只能进行线性变换。
-
卷积神经网络 (Convolutional Neural Network, CNN) CNN 于 1998 年提出,近年来已成为一种蓬勃发展的机器学习模型。由于其能够自动学习输入数字信息的深层特征以进行后续分类或回归任务,CNN 在许多领域取得了成功。与传统神经网络不同,CNN 在至少一个层中使用卷积操作。 如图 4(a) 所示,CNN 架构包括多个阶段或模块,由卷积层、池化层和全连接层三个主要组件组成。
- 卷积层 (convolutional layer) 作为这些网络的核心,旨在表示称为特征图 (feature maps) 的数组的特征资产。这是通过对图像进行二维对称操作(使用滤波器核 (filter core))并应用非线性传递函数来完成的。
- 池化层 (pooling layer) 通常跟在卷积层之后,用于减小特征图的维度,以减少网络参数数量和计算时间。
- 卷积层和池化层的输出被称为特征图,它作为后续连接层的输入,完成预测。 卷积阶段的最终输出被展平为一维数组,并连接到全连接层 (fully connected layer)。全连接层接收卷积过程的结果,并像传统神经网络一样使用它们将图像分类为标签。 此外,CNN 通常需要大量数据集才能实现高分类准确性,在各种学科中获取如此庞大的数据库通常具有挑战性。在这种问题背景下,使用迁移学习 (transfer learning) 方法,在更大数据库上使用已建立的深度卷积神经网络模型(如 ResNet-34 (50, 101 及更多层)、Visual Geometry Group (VGG)-16 或 19 层、AlexNet 和 MobileNetv2)进行预训练,可以显著增强对多学科图像分类问题的理解。通过采用这些具有预训练权重的模型并进行微调以降低过拟合的概率,CNN 因此具有强大的特征提取能力和表示能力。
-
受限玻尔兹曼机 (Restricted Boltzmann Machine, RBM) RBM 是一种无向图模型,表示了隐藏层、可见层以及层之间的对称连接。在 RBM 中,输入层和隐藏层之间没有连接。 深度信念网络 (Deep Belief Network, DBN) 代表一种多层网络架构,它结合了一种新颖的训练方法和许多隐藏层,每对连接层都是一个 RBM,也被称为堆叠受限玻尔兹曼机。输入层构成基本的感官输入,而隐藏层是该输入的抽象描述。输出层仅用于网络分类。 RBM 的应用已在高光谱成像 (HSI) 和机器视觉 (MV) 中发现,用于降维、分类和特征学习。
除了上述之外,还存在许多其他网络结构,包括循环神经网络 (RNNs)、长短期记忆网络 (LSTM) 或门控循环单元 (GRU) 网络、深度堆叠网络 (DSN) 和深度残差学习等,这些网络在无损技术中用于食品质量检测的应用可行性还需要进一步研究。
4.2.4. 传统机器学习与深度学习的比较 (Comparison of TML and DL)
从传感器收集数据集后,需要考虑数据大小、数据类型、数据分布、预处理方法、特征选择方法以及软硬件要求,这些都有助于选择 TML 或 DL 算法。例如,从机器视觉或高光谱成像技术获得的数据集通常是二维或三维矩阵(RGB 图像或超立方体),这更适合深度学习,因为它在图像识别方面表现出色,而不是手动提取图像特征(颜色、纹理、形状、大小)。因此,了解 TML 和 DL 算法的特点和差异,对于将它们应用于无损技术并提高模型性能非常有效。
DL 方法的主要优势在于提高模型准确性和鲁棒性,同时通过端到端分析减少对人类领域知识的依赖。TML 方法使用原始数据作为输入,或基于手工设计的特征处理分类任务,当需要高效处理大量数据时,这具有挑战性且耗时,而 DL 模型无需预处理即可从原始数据中自动提取信息丰富的特征表示。因此,使用 DL 方法可以节省手动预处理的人力和时间,并提高模型性能,这正成为当前最先进的方法。
此外,DL 是一种数据密集型技术,从头开始训练大型网络的权重需要非常大量的带标签样本才能实现准确分类。换句话说,DL 在处理大型数据集方面表现出色,而 TML 则不然。同时,与 TML 相比,使用 DL 方法训练数据集以构建鲁棒的校准模型可能需要相当长的时间。此外,模型的高度复杂性和多个超参数会使优化过程复杂化。为了解决这个问题,开发廉价的并行计算硬件(如图形处理单元 (GPU))是节省模型训练时间的一种常见方法。与使用传统中央处理器 (CPU) 相比,性能通常可提高 10 到 40 倍,使得训练包含 1000 万个参数的复杂模型可以在几天内完成,而不是几周或几个月。
TML 和 DL 之间的其他差异还包括模型性能、向预测模型输入新数据集时的模型灵活性、同时解决多个任务的性能等(如表 1 所示)。值得注意的是,选择一个能解决大多数问题的算法非常困难,因此,选择合适的算法对于模型的有效性非常重要。因此,未来的工作需要建立一个算法框架,能够为特定应用推荐算法,甚至可能满足实时应用的需求。
以下是原文 Table 1 的结果:
| Features | Deep learning (DL) | Traditional machine learning (TML) |
|---|---|---|
| Data dependency | Requirement of big data for training | Requirement of small or medium datasets for training |
| Hardware dependency | Dependency of graphics processing units (GPUs) and storage rooms for accelerating the training process | Dependency of low-end processors such as central processing units (CPUs) |
| Feature engineering | An end-to-end mapping from the input to output automatically | Requirement of hand-crafted features, human expertise and complicated task-specific |
| Training time | Taking much time | optimization Taking a relatively short time |
| Logical explanatory | A black-box method and confusion of the hyperparameters for designing the complex | Requirement of a certain mathematical theoretical |
| Multiple tasks | network Completing simultaneously | foundation Completing step by step Higher accuracy in a |
| Others | Higher accuracy in vision-based tasks such as objection detection, classification, and segmentation Having the premier flexibility and generalization ability | simple task with a small dataset Applications in a specific domain |
表 1: 深度学习 (DL) 与传统机器学习 (TML) 的比较。
5. 实验设置
由于本论文是一篇综述性文章,它没有传统意义上的“实验设置”部分,而是总结和分析了其他研究的实验设置和结果。因此,本节将根据综述内容,概述在结合无损检测技术和机器学习时,所涉及的数据类型、评估指标以及对比方法。
5.1. 数据集
本综述讨论了多种无损技术所产生的数据类型,这些数据是机器学习模型训练和评估的基础。
- 机器视觉 (MV):通常产生 RGB 图像,包含颜色、纹理、形状、大小和表面缺陷等信息。
- 示例数据形态: 一张彩色图片,如检测有缺陷的苹果(Fan et al., 2020),未洗涤的鸡蛋(Nasiri et al., 2020),或感染的芒果叶(Tan Nhat et al., 2020)。
- 高光谱成像 (HSI):生成“超立方体”数据,包含空间信息和连续、窄波段的光谱信息,可用于量化化学成分。
- 示例数据形态: 一个三维数据立方体,其中两个维度是空间(像素),一个维度是光谱波长,如检测肉制品的分类(Al-Sarayreh et al., 2020),谷物黄曲霉毒素水平(Han & Gao, 2019),或种子活力(Ma et al., 2020)。
- 电子鼻 (E-nose):输出是气体传感器阵列的时间变化电信号强度。
- 示例数据形态: 一系列电信号响应曲线或稳定后的电信号向量,用于区分中国白酒(X. H. Wu et al., 2019),评估番茄汁的新鲜度、掺假水平(Hong et al., 2014)。
- 声学分析 (Acoustic Analysis):包括接触式(如加速度计)和非接触式(如麦克风、激光多普勒振动计)传感器检测到的响应信号,可在时域(如传播速度)或频域(如共振频率、阻尼比)进行分析。
- 示例数据形态: 声波形或其频谱图,用于检测苹果的粉化程度(Lashgari et al., 2020),评估鱼产品的质量(Tokunaga et al., 2020)。
5.2. 评估指标
本综述中引用的研究使用了多种评估指标来衡量机器学习模型的性能。以下是对其中一些常见指标的详细解释:
-
准确率 (Accuracy)
- 概念定义: 准确率衡量的是模型正确预测的样本数量占总样本数量的比例。它是一个直观且常用的分类模型评估指标,表示模型做出正确判断的能力。
- 数学公式:
- 符号解释:
TP(True Positives): 真阳性,模型正确地预测为正类的样本数。TN(True Negatives): 真阴性,模型正确地预测为负类的样本数。FP(False Positives): 假阳性,模型错误地预测为正类的样本数(实际为负类)。FN(False Negatives): 假阴性,模型错误地预测为负类的样本数(实际为正类)。
-
决定系数 (, Coefficient of Determination)
- 概念定义: 衡量回归模型对因变量变化的解释程度。它的值介于 0 到 1 之间(或更低,如果模型非常差),值越接近 1 表示模型解释了因变量变异的更大比例,即模型拟合效果越好。
- 数学公式:
- 符号解释:
- : 样本总数。
- : 第 个样本的实际值。
- : 第 个样本的模型预测值。
- : 所有样本实际值的平均值。
- : 残差平方和 (Sum of Squares of Residuals, SSR),表示模型未解释的变异。
- : 总平方和 (Total Sum of Squares, SST),表示因变量的总变异。
-
预测均方根误差 (RMSEP, Root Mean Squared Error of Prediction)
- 概念定义: RMSEP 衡量回归模型预测值的准确性,表示预测值与实际值之间差异的平均大小。它是 MSE(均方误差)的平方根,单位与因变量相同,更易于解释。RMSEP 值越小,表示模型的预测性能越好。
- 数学公式:
- 符号解释:
- : 预测集中的样本数量。
- : 第 个样本的实际值。
- : 第 个样本的模型预测值。
-
性能偏差比 (RPD, Ratio of Performance to Deviation)
- 概念定义: RPD 是校准或预测模型的性能指标,通常用于近红外光谱分析中评估模型的预测能力。它表示样本标准差与预测均方根误差之比。RPD 值越大,表明模型的预测能力越强,因为模型在解释数据变异方面表现更好,且预测误差相对较小。
- 数学公式:
- 符号解释:
- (Standard Deviation): 样本实际值的标准差,衡量数据的分散程度。
- (Root Mean Squared Error of Prediction): 预测均方根误差。
-
F1-分数 (F1-score)
- 概念定义: F1-分数是精确率 (Precision) 和召回率 (Recall) 的调和平均值。它综合考虑了分类器的查准率和查全率,尤其适用于类别不平衡的数据集,因为它对这两个指标都敏感。F1-分数越高,表示模型的分类性能越好。
- 数学公式: 其中,
- 符号解释:
TP: 真阳性。FP: 假阳性。FN: 假阴性。
-
精确率-召回率曲线下面积 (PR-AUC, Area Under Precision-Recall Curve)
- 概念定义: PR-AUC 衡量的是精确率-召回率曲线下的面积。PR 曲线以召回率为横轴,精确率为纵轴,显示了分类器在不同阈值下的精确率和召回率之间的权衡关系。PR-AUC 特别适用于评估在类别不平衡数据集上的二分类模型,其中正类样本数量远小于负类样本。PR-AUC 值越高,表示模型的性能越好。
- 数学公式: PR-AUC 没有简单的封闭形式公式,它通过积分 PR 曲线来计算: 在实际应用中,通常通过对 PR 曲线上的点进行数值积分或使用梯形法则进行近似计算。
- 符号解释:
- : 在给定召回率下的精确率。
5.3. 对比基线
本综述通过引用大量研究,间接比较了不同机器学习算法和无损技术组合的性能。主要对比基线包括:
- 传统化学计量学方法: 与机器学习方法(特别是深度学习)进行对比,以突显机器学习在处理复杂、非线性、高维数据方面的优势。
- 不同传统机器学习算法之间: 比如 SVM、KNN、LR、NB、决策树(RF)和 ANNs 之间的性能比较。
- 不同深度学习架构之间: 例如 AE、CNN、RBM 及其变体(如 3D-CNN)之间的性能比较。
- 传统机器学习与深度学习之间: 例如在图像识别任务中,CNN 通常优于基于手工特征的传统机器学习方法。
- 单一无损技术与多传感器融合: 有些研究会比较单一传感器(如E-nose或MV)与多传感器数据融合(如E-nose+MV)的效果,以评估信息融合的优势。
- 带特征选择/降维与不带特征选择/降维: 比较使用 PCA、SPA、GA 等特征选择或降维方法前后模型性能的变化。
6. 实验结果与分析
本节将根据综述内容,总结无损分析技术结合机器学习技术在食品工业中检测和分析的应用,并对主要结果进行分析。
6.1. 核心结果分析
无损技术结合机器学习在食品掺假、分类、质量检测和安全检测方面展现出巨大潜力。
6.1.1. 识别与分类 (Recognition and classification)
-
食品掺假:
- 高光谱成像 (HSI) + PCA + 聚类分析 + PLS-DA: Bai 等人 (2020) 结合这些方法识别高粱掺假,通过绘制样本主成分分布图有效发现异常样本,PLS-DA 模型对五组不同掺假比例的样本达到了 的准确率。
- E-nose/HSI + TML: 其他研究也提出将不同传统机器学习方法与无损检测结合,检测掺假肉类(如猪肉、碎牛肉、香肠),取得了良好效果。
- 挑战: 无损技术采集的数据质量受光照、湿度、温度、背景复杂性和物品裁剪等多种因素影响。因此,数据预处理在降噪方面至关重要,特别是对于需要手动特征提取的传统机器学习。
-
食品分类:
- 可见光/近红外 HSI + 纹理特征 + PNN: Pu 等人 (2015) 结合最优波长和纹理特征,使用概率神经网络 (PNN) 模型对新鲜和冷冻解冻猪肉肌肉进行分类,校准集分类率高达 ,表明光谱特征与纹理特征结合可提高分类准确性。
- MV + TML: 对于散装葡萄干、醋栗和茶叶等其他产品的分类,MV 也与 TML 结合以提高分类准确性。
- DL 在分类中的潜力: Steinbrener 等人 (2019) 表明,DL 模型和迁移学习策略可以提高大麦分类的性能,平均分类准确率从 提高到 。这种方法通过深层网络架构提取高光谱图像提供的额外空间和光谱信息,从而提高了准确性。
6.1.2. 质量检测 (Quality detection)
-
水果:
- HSI/E-nose + ML: 在苹果、枇杷、黄桃等水果的质量检测中,HSI 或 E-nose 与有效的 ML 算法和预处理方法结合使用。
- HSI + PLSR + 特征选择: Wei 等人 (2020) 使用 HSI 系统结合三种特征选择方法开发 PLSR 模型进行蓝莓分析,在可溶性固形物 (SSC) 和硬度预测中表现良好。最终模型在预测 SSC 时, 达到
0.75,RMSEP 为 ;在预测硬度时, 达到0.876,RMSEP 为 。 - HSI + CNN/AE (DL): C. Zhang 等人 (2020) 使用近红外高光谱成像结合 CNN 模型和深度自编码器 (AE) 分别作为有监督和无监督特征提取方法,测定干黑枸杞中的总酚、总黄酮和总花青素。使用 CNN 作为特征选择方法的最佳结果在预测总花青素的预测集上取得了
0.897的高 。
-
肉类和水产品:
- HSI + PLSR + GA: Anderssen 等人 (2020) 证明 HSI 结合 PLSR 模型可以准确预测冷冻和解冻鳕鱼的液体流失,遗传算法 (GA) 略微改善了预测并减少了高光谱模型中所需的成分。PLSR 模型预测液体流失的 和 RMSEP 分别为
0.97和 。 - SVM, BP-ANN, KNN: 其他数据分析算法(如 SVM、BP-ANN 和 KNN)也可作为强大的工具,根据样本的光谱或传感器数据进行质量分类、新鲜度和营养预测。
- DL 在机器视觉中的应用: Xie 等人 (2021) 使用普通 RGB 摄像头捕获鲑鱼图像,通过三种不同的 CNN 模型(AlexNet、VGG-16 和 VGG-19)以高准确率(分别为
0.75, 0.87, 0.86)识别残留骨骼。尽管在实际工业应用中这些模型容易出现漏检,但深度学习为解决复杂检测问题开辟了新的可能性,促进了这些技术在食品行业的部署。
- HSI + PLSR + GA: Anderssen 等人 (2020) 证明 HSI 结合 PLSR 模型可以准确预测冷冻和解冻鳕鱼的液体流失,遗传算法 (GA) 略微改善了预测并减少了高光谱模型中所需的成分。PLSR 模型预测液体流失的 和 RMSEP 分别为
-
其他产品:
- E-nose + MV + 数据融合 + KNN/SVM: Li 等人 (2019) 证明联合利用 E-nose 和 MV 可以有效识别茶叶质量,通过特征级和决策级两种数据融合策略,并引入 KNN 和 SVM 作为分类器构建识别模型。多传感器数据使预测集的整体准确率从 提高到 。研究还表明,SVM 算法是一种很好的机器学习方法,因为它能够避免过拟合问题、避免陷入局部最优并解决非线性问题。
- E-nose, MV, HSI + PCA, KNN, SVM: 这些技术结合适当的算法成功应用于茶叶质量的定性和定量检测。
6.1.3. 安全检测 (Safety detection)
-
化学污染:
- E-nose + PCA, LDA, SVM: Tang 等人 (2021) 开发了一种方法,使用 E-nose 结合 PCA、LDA 和 SVM 三种数据识别算法检测和分类苹果上的农药残留,总准确率达到 。
- LIBS + HSI + PCA + PLSR: D. Wu 等人 (2019) 使用激光诱导击穿光谱 (LIBS) 和 HSI 结合 PCA 和 PLSR 方法检测桑葚果实上的多菌灵残留。PLSR 模型取得了
0.921的相关系数。 - DL 在重金属检测中的应用: Zhou 等人 (2020) 开发了一种深度学习方法,包括小波变换 (WT) 和堆叠卷积自编码器 (SCAE),用于提取生菜叶片上复合重金属的深层特征。WT-SCAESVR 模型在预测 Cd 和 Pb 含量时, 值分别达到
0.9319和0.9418。
-
微生物污染:
- HSI + CNN: Han 和 Gao (2019) 建立 HSI 系统结合 CNN 检测花生中的黄曲霉毒素。通过与 KNN、RF、RBF-SVM 和 BP-ANN 等传统识别模型进行比较,DL 方法在像素级别或核心级别取得了高准确率(像素级别高于 ,核心级别高于 ),优于传统识别模型。
- E-nose + PCA, PLSR, BP-ANN, SVM, LVQ: Gu, Wang, and Wang (2019) 使用 E-nose 结合这些算法检测大米中的曲霉菌污染。BP-ANN 以 的高准确率对大米中的真菌种类和数量进行了分类和预测,因为它能够更好地处理非线性问题和噪声或漂移。
6.2. 数据呈现 (表格)
以下是原文 Table 2 的结果:
| apliatinsL-aseructivuqualativnalyngrop. | |||||||
| Product | Purpose | Tools | Data processing | Feature selection | ML classifiers | Best results | Reference |
| Food adulteration Sorghum Adulteration | |||||||
| Minced beef | recognition Adulteration | HSI HSI | MSC MSC, SNV, 1st and 2nd derivatives, | PCA Stepwise regression | PLS-DA PLSR | Accuracy > 90% \$R{2}= 0.97, RMSEP = | Bai et al. (2020) Kamruzzaman, Makino, and |
| Pork | recognition Adulteration | E-nose | and SG The DWT and | Standard | SVM, ANNs, | 2.61%, RPD = 5.86 Accuracy = | Oshita (2016) Sarno et al. (2020) |
| recognition | several mother wavelets, PCA Box plot and | deviation, mean, kurtosis, skewness Time domain | LDA, KNN NB, SVM, | 98.10% | Zarezadeh, | ||
| Food classification Thawed pork | |||||||
| Fresh and frozen pork classification | HSI | PCA | HS, GLCM, GLGCM, SPA, | PNN | Accuracy = 94.14% | Pu et al. (2015) | |
| Meat product | Category classification | HSI | Graph-based post-processing | UVE 3D-CNN | 3D-CNN, PLS-DA, | Accuracy = 97.1% | Al-Sarayreh et al. (2020) |
| Chinese liquors | Category classification | E-nose | method Data correction, average value, normalization | FDPCA, DPCA, PCA | SVM KNN | Accuracy = 98.78% | X. H. Wu et al. (2019) |
| Bulk raisin | Category classification | MV | Image thesholding | GLCM, GLRM, LBP | PCA, SVM, LDA | Accuracy = 85.55% | Khojastehnazhand and Ramezani (2020) |
| Fruit quality detection | |||||||
| Gooseberry | Ripeness classification Defect | MV HSI | PCA SNV, SG, 1st and | Color feature extraction 200 random | ANNs, DT, SVM, KNN PLS-DA, RF, | Accuracy = 93.02% Accuracy > | Castro et al. (2019) Munera et al. |
| Loquat | discrimination | 2nd derivatives, gap segment derivative | models, Monte Carlo method CNN, RGB | XGBoost | 95.9% | (2021) | |
| Apples | Defect detection | MV | Otsu thresholding | color, GLCM | CNN, SVM | Recall = 91%, Specificity = 93%, Accuracy = 92% | Fan et al. (2020) |
| Kiwifruit | Ripeness prediction | E-nose | Time domain features | PLSR, SVM, RF | Accuracy > 99.4%, R² > 0.9143 | Du et al. (2019) | |
| Apple | Mealiness detection | Acoustic | STFT | CNN | AlexNet, VGG | Accuracy = 91.11% | Lashgari, Imanmehr, and Tavakoli (2020) |
| Aquatic and meat products quality detection Salmon fillet DHA and EPA | |||||||
| prediction | HSI | Image thesholding | GA, PNN | PLSR, MLR, PCR | DHA:R² = 0.829, RMSEP = 0.585, EPA: R²2 = 0.843, RMSEP = | Cheng et al. (2019) | |
| Crucian carp fillets | TVB-N, WHC, pH | HSI | Image thesholding | SPA, K-means | PLSR | 0.195 TVB-N: R² = 0.79, WHC: R² = 0.71, pH: | Wang et al. (2019) |
| Cod | Liquid loss of cod | HSI | PCA, 1st derivative | GA | PLSR, KNN | R {2 = 0.88 R {2}= 0.88, RMSEP = 0.62% | Anderssen et al. (2020) |
| Salmon | Bone residues detection | MV | Data augmentation, JEPG lossy | Faster-RCNN | AlexNet, VGG | F1-score = 0.87, PR-AUC = 0.76 | Xie et al. (2021) |
| Fish meat | Fast content and texture detection | Ultrasound | compression Low-pass filter, pre-emphasis, STFT, | SOM | RBF network | \$R{2} = 0.89 (p<0.05) | Tokunaga et al. (2020) |
| Other products quality detection Nuts | HSI | normalization PCA | CNN | CNN-SVM | Accuracy = | Han et al. (2021) | |
| Black tea | Quality grades classification | MV, MNIR | SNV, PCA | Color and | PCA-SVM | 94.29% Accuracy = | Li et al. (2021) |
| Tea | Quality identification | MV, E-nose | texture feature extraction Color and | KNN, SVM, | 100% | Xu, Wang, and Gu | |
| Seed | Viability prediction | HSI | PCA, SG, SNV, 2nd derivative | CNN | texture feature extraction MLR CNN, SVM | Accuracy > 90% | (2019) Ma, Tsuchikawa, and Inagaki (2020) |
| Chemical contamination Mulberry fruit | |||||||
| Thiophanate-methyl residue detection | LIBS, HSI | SNV, PCA | CARS | PLSR, PCA | Correlation coefficient = | D. Wu et al. (2019) | |
| Chlorella pyrenoidosa | Pesticide residues | HSI | WT, SG smoothing, | SPA | PLS-DA, LDA | 0.921 Accuracy = 90% | Shao et al. (2016) |
| Apples | detection Pesticide residue | E-nose | and baseline correction Radar map and | Heat map, PCA, | PCA, LDA, | Accuracy = | |
| Microbial contamination | detection | bar char | LDA | SVM | 99.37% | Tang et al. (2021) | |
| Agaricus bisporus | Fungal growth detection | HSI, NIR, MIR, E-nose | MSC, SNV, 1st and 2nd derivatives, normalization | PCA | PLSR, PLS-DA | \$R^{2 0.670 ~0.821, Accuracy = | Wang et al. (2020) |
| Peanuts | Mouldy identification | HSI | Image thresholding | KNN, RF, RBF-SVM, BP-ANNs, | 99% Accuracy = 97.26% | Han and Gao (2019) | |
| Rice kernels | Aspergillus spp. discrimination | E-nose | PCA | CNN PLSR, BP-ANN, | Accuracy = 96.4%, R² = | Gu, Wang, and Wang (2019) | |
| Bacteria | Species classifi cation | MV | PCA | SVM, LVQ SVM | 0.917 Accuracy = 93.3% | Kim et al. (2021) | |
表 2: 无损质量分析方法在食品工业中的应用。
6.3. 消融实验/参数分析
由于本文是一篇综述,它并未进行具体的消融实验或参数分析。然而,在讨论机器学习算法时,文中提到了一些算法的关键参数和优化过程,例如:
-
支持向量机 (SVM) 中 径向基函数 (RBF) 核的优化涉及正则化参数 和核参数 。
-
K近邻 (KNN) 算法的分类精度高度依赖于参数 的优化。
-
随机森林 (RF) 模型的主要变量是决策树的数量和每棵树中的特征数量,通常通过网格搜索 (GS) 算法进行优化。
-
人工神经网络 (ANNs) 的训练需要正确调整学习率、衰减率和动量等超参数,以减少欠拟合或过拟合的几率。
-
K均值聚类 (K-means clustering) 的簇数量 是影响分析效率和结果的重要参数。
这些提及表明,在实际应用中,对特定算法进行参数调优是提高模型性能的关键步骤,也是研究者在具体实验中会进行的“消融”或参数敏感性分析。
7. 总结与思考
7.1. 结论总结
本综述全面审视了新兴无损检测技术与机器学习技术相结合在食品质量与安全评估方面的巨大潜力。论文将机器学习算法分为传统机器学习 (TML) 和深度学习 (DL) 两大类,并详细介绍了每种算法的原理、特点及其在声学分析、机器视觉、电子鼻和光谱成像等多种无损技术中的具体应用。
核心发现包括:
- 机器学习,特别是深度学习,能够有效应对无损技术数据复杂、高维、非线性及噪声干扰的挑战,通过自动特征提取和模型构建,显著提升检测效率和准确性,克服了传统化学计量学方法的局限性。
- 在食品掺假识别、品质分级、缺陷检测以及化学和微生物污染监测等多个应用场景中,机器学习与无损技术的结合已取得了显著成果。
- 深度学习凭借其强大的特征学习能力,在处理大规模、复杂数据,尤其是在视觉任务中,展现出超越传统机器学习的潜力,被认为是未来实时应用最有前景的技术。
- 不同的机器学习算法具有各自的特点和适用场景,选择合适的算法对于提高模型性能至关重要。
7.2. 局限性与未来工作
作者指出了当前研究和应用中的几个关键局限性,并提出了未来的研究方向:
-
标注数据缺乏:
- 局限性: 无损技术(如 HSI)的数据量巨大,手动标注关键特征或最优光谱耗时耗力。同时,已标注数据通常不对外公开,限制了研究的推广和比较。
- 未来工作: 聚焦于迁移学习 (transfer learning) 的应用,包括归纳式 (inductive)、转导式 (transductive) 和无监督 (unsupervised) 迁移学习,以在只有少量标注数据或源域与目标域数据分布不同的情况下,降低对大规模标注数据的依赖。这可以通过重加权部分标注数据、寻找合适的特征表示、发现共享参数以及构建领域间的关系知识映射来实现。
-
公共基准数据集缺乏:
- 局限性: 尽管存在一些食品图像数据集(如 Food-101)和高光谱数据集(如 Hyperion),但公开可用的、针对无损食品检测的基准数据集较少。不同的研究通过修改实验设置创建数据集,导致难以进行大规模应用和比较分析。
- 未来工作: 建立标准操作程序 (SOP),为每种无损技术创建基准和开放数据集,以促进大规模应用和比较研究。
-
模型鲁棒性与环境条件:
- 局限性: 无损技术模型的性能受品种差异、检测仪器效应和环境条件(如湿度、温度)等多种因素影响,导致食品质量模式随时间动态变化。模型再校准耗时且成本高昂。
- 未来工作: 探索终身学习 (lifelong learning, LL) 与神经网络的结合,利用随着时间累积的知识,构建具有像人类智能系统一样学习能力的鲁棒模型。此外,还可以结合多种方法(如正则化、集成、重放和双记忆)来整合环境、设备老化、非线性不连续数据集和样本特性等因素,并对食品质量变化关键周期的基本机制进行建模,以改进后续学习任务的模型性能。
-
深度学习的计算资源需求:
- 局限性: 深度学习需要大量数据,并且训练鲁棒的校准模型依赖昂贵的 GPU 和存储空间,这尤其对 HSI 和 MV 的进一步发展构成了挑战。
- 未来工作: 投入更多精力缩短训练时间并简化深度学习模型架构。结合轻量级模型 (light-weighted models)(如 SqueezeNet、ShuffleNet、MobileNetV1/V2、GhostNet)与无损技术,既能实现更好的准确性并减少训练时间,又能满足便携式设备对低存储和低能耗的要求,从而实现现场和实时检测。
-
深度学习在 E-nose 和声学分析中的应用不足:
- 局限性: 尽管 MV 和 HSI 结合深度学习技术已显示出巨大优势,但电子鼻和声学分析结合深度学习的应用开发相对较少。
- 未来工作: 充分利用深度学习算法,例如将其作为自动漂移补偿方法,无需手动设置特定的模型规则即可在分类或回归之前进行域对齐,从而解决由环境条件(如湿度、温度)引起的传感器漂移问题。这在无损食品安全检测领域是一个有前景的研究方向。
7.3. 个人启发与批判
这篇综述为食品质量与安全检测领域提供了一个非常全面和前瞻性的视角。它启发了我以下几点:
-
多学科交叉的必然性: 现代工业问题的解决越来越依赖于多学科的交叉融合。食品科学与工程、计算机科学、统计学和传感技术等领域的结合,是推动食品行业智能化的关键。
-
数据驱动决策的演进: 从传统基于经验和实验室分析的决策,转向基于大规模无损数据和先进机器学习算法的智能决策,是食品行业未来发展的核心趋势。这种转变不仅提高了效率,也提升了客观性和准确性。
-
深度学习的普适性与挑战: 深度学习在处理复杂、高维、非结构化数据方面的强大能力令人印象深刻,但其对大量标注数据和高性能计算资源的依赖,以及模型“黑箱”的解释性问题,仍然是其广泛应用的主要障碍。这提示我们,在追求模型性能的同时,也需关注数据获取成本、计算效率和模型可解释性。
-
“最后一公里”的落地: 实验室研究成果到实际工业应用之间存在巨大的鸿沟。综述中提及的缺乏公共基准数据集、模型鲁棒性受环境影响、以及计算资源限制等问题,都反映了技术落地过程中的“最后一公里”挑战。未来研究不仅要关注算法创新,更要关注工程化、标准化和低成本部署。
批判性思考方面:
-
深度学习解释性问题: 尽管综述强调了深度学习的强大能力,但其“黑箱”特性在食品质量与安全这种高度敏感的领域可能是一个隐患。当模型做出错误判断时,难以追踪原因并进行修正。未来是否需要引入可解释人工智能 (Explainable AI, XAI) 技术,以提高深度学习模型在食品领域的可信度和接受度?
-
成本效益考量: 深度学习对 GPU 和大量数据的需求意味着较高的初始投资和运营成本。对于全球食品行业中大量的中小型企业,这种高门槛的技术是否具有普适性?轻量级模型虽然是解决方案之一,但其性能与大型模型相比的权衡也需深入探讨。
-
数据伦理与隐私: 随着数据收集的日益广泛,尤其是涉及到食品供应链的全程监控,如何确保数据的安全、隐私和负责任的使用,也是一个不可忽视的挑战。
-
算法选择的复杂性: 综述中提及了多种 TML 和 DL 算法,并强调选择合适算法的重要性。但对于非专业人士而言,如何基于特定应用场景、数据特性和资源限制来做出最优选择,仍是一个复杂的问题。未来的“算法推荐框架”可能需要更智能、更自动化的决策支持系统。
总而言之,这篇综述为我们描绘了一个充满希望的未来,即通过智能化的无损检测技术,能够更好地保障人类的食品质量与安全。同时,它也清晰地指明了前方的挑战,鼓励研究者在算法创新、工程化实践和伦理考量等多方面继续努力。
相似论文推荐
基于向量语义检索推荐的相关论文。