2025年1月，青岛农业大学信息学院韩仲志等在国际期刊《Computers and Electronics in Agriculture》（Q1，IF=7.7）发表题为“Potato disease detection and prevention using multimodal AI and large language models”的研究论文。

本研究系统梳理了马铃薯病害智能检测与防控领域中多模态人工智能与大语言模型的关键技术体系，重点分析了包括卷积神经网络、视觉Transformer、YOLO系列目标检测算法以及基于注意力机制的跨模态融合模型的原理、特点与前沿应用。文章详细阐述了多模态技术如何协同处理叶片图像、环境传感数据、气象资料与病理文本报告，实现叶斑病、晚疫病、早疫病等常见病害的精准识别与严重度分级；同时探讨了大语言模型在病害防控知识检索、多语言防治方案生成、交互式决策支持系统中的创新应用。在此基础上，论文进一步提出了融合视觉-语言预训练模型的跨模态知识迁移框架，并展望了边缘计算部署、轻量化模型适配、农业大模型构建等未来重点发展方向。

主要结论

马铃薯易受早疫病和晚疫病的侵害，严重影响其产量和质量。本研究提出了一种多模态人工智能模型，用于检测马铃薯的早疫病和晚疫病，表现出卓越的检测性能。

首先，从视觉分支角度提出了MSC-ResViT检测模型，在测试集上取得了92.15%的准确率，优于其他深度学习网络。

其次，提出了基于文本描述的MSC-TextCNN和基于图像统计特征（颜色和纹理）的CT-CNN，准确率分别达到96.86%和74.87%。基于MSC-ResViT、MSC-TextCNN和CT-CNN构建的多模态人工智能模型在测试集上实现了98.43%的准确率。

随后，将该模型推广至其他茄科植物（番茄和茄子）的病害检测，取得了令人满意的结果。

最后，基于多模态人工智能模型和大语言模型（GPT-4），开发了一个在线马铃薯病害诊断与防治平台（PotatoGPT）。该多模态人工智能模型能够在复杂场景中实现高精度的马铃薯病害检测，对于实现智能病害检测具有重要意义。

图文赏析

图1 多模态人工智能检测马铃薯病害流程图

图2 基于多尺度 TextCNN 的马铃薯叶病检测

图3 基于CT-CNN的马铃薯叶片检测

图4 MSC-ResViT 在检测马铃薯叶病中的表现

图5 多模态人工智能模型在马铃薯病害检测中的表现

图6 多模态人工智能模型在番茄病害检测中的表现

图7 多模态人工智能模型在茄子病害检测中的表现

韩仲志（通讯作者），副教授，青岛农业大学信息学院，数字农业研究中心农业信息化实验室负责人，青岛市科技特派员，青岛物联网协会会员，国家物联网专项评审专家，主持国家自然科学基金1项，山东省自然科学基金1项，青岛市科技发展计划项目2项，国家中小企业创新基金1项（与企业合作），企业委托横向课题1项，第一位申请专利11项，发明专利4项，授权专利7项，授权软件著作权6项，另外作为核心成员参加国家级、省级各类课题13项，有1项科技成果鉴定为国际先进水平，获山东省高校优秀科研成果二等奖1项（首位），第一作者发表论文20多篇，SCI/EI收录12篇，主要研究方向为：信号处理与模式识别。