2025年12月，Muhammad Owais等在国际期刊《Computers and Electronics in Agriculture》（Q1，IF=8.9）发表题为“SAMConvFormer+LLM: Exploring synergistic fusion of Segment Anything Model with joint convolutional transformer and large language model to advance dense agricultural crop analysis”的研究论文。

主要结论

密集农作物的准确检测对于产量估算、成熟度分析以及利用大语言模型进行优化作物管理的可行动建议至关重要。然而，现实世界的农业环境面临诸多重大挑战，包括光照变化、果实大小不一及背景高度复杂，使得稳健检测难以实现。现有农业领域的人工智能（AI）模型多基于受控数据集进行定制，难以泛化到真实田间条件，从而限制了其实际应用性。为解决这一问题，本文构建了一个涵盖密集作物复杂特性的实际田间数据集，该数据集可作为基准数据集，用于暴露现有模型的局限性并推动更稳健检测方法的研发。在此基础上，本文提出一种新型检测框架（SAMConvFormer），将分割一切模型（SAM）与联合卷积变换器相融合，结合二者独特优势实现稳健的农作物检测。SAM的融入进一步显著提升了边界分割精度，尤其针对果实重叠簇、模糊区域及不规则果实形态等复杂情况。此外，本文将所提SAMConvFormer框架与大语言模型（LLM）相集成，构建了一套完整的技术流程，可实现产量估算、成熟度分析及优化作物管理的可行建议输出。该模型取得了当前最优性能，灵敏度达79.32%、交并比（IoU）为62.64%、Dice系数为77.03%；相较于基准模型，上述指标的相对提升幅度分别为31%、18.79%和11.56%，凸显其在密集农作物检测任务中的稳健性与精准性。为推动该领域研究，本文将公开所提框架及相关资料，为后续研究提供坚实基础。

图文赏析

图1 提出框架的概要概述（左）及其相对于基线模型的性能提升（右），突出了其在密集作物分割方面的有效性及其作为精准农业基准的潜力。

图2 提出框架的工作流程包括使用SAMConvFormer对水果进行分割，通过统计算法进行产量估计和成熟度分析，以及通过LLM集成进行可操作的作物管理

图3 提出的SAMConvFormer框架的架构概述，该框架包括三个部分：1)联合编码器，2)联合解码器和3)SAM扩散器，可在复杂和现实农业场景中实现精确分割。

图4 将SAM扩散器的架构概述（包含部分对比视觉输出结果），集成为二级细化阶段，通过解决重叠簇、模糊区域和遮挡结构等挑战来提高分割精度。

图5 从商业蓝莓农场收集的四个数据集中的每个数据集的样本图像，展示了不同的真实世界环境条件。

图6 分割结果的视觉比较，说明从提出的ConvFormer模型（第一阶段模型）中去除单个组件（CNN编码器，ViT编码器和金字塔池块）的效果。

图7 可视化的LLM驱动框架的产出，旨在优化农业实践，并为提高产量、资源效率和可持续农业提供可操作的建议。

作者信息

Muhammad Owais（第一作者），现任阿联酋哈利法大学电气工程与计算机科学系博士后研究员（此前曾任韩国东国大学助理教授），长期深耕于人工智能与计算机视觉的交叉领域，在医学影像分析及智慧农业方向造诣深厚；作为多模态深度学习技术的探索者，他主导设计了将“Segment Anything Model (SAM)”与“联合卷积Transformer”及“大语言模型 (LLM)”进行协同融合的架构，旨在解决密集农作物场景下的检测与决策难题。