Prompt Engineering in the Segment Anything Model: Methodologies, Applications, and Emerging Challenges

方法

提出几何、文本语义、多模态融合提示的分类体系，并分析自动化提示方法。

发现

提示工程使SAM泛化至医学、遥感等领域，但存在提示敏感、跨模态错位等挑战。

机会点

可探索面向农业遥感场景的自动化提示生成与跨模态对齐方法，提升作物分割泛化性。

分割一切模型（Segment Anything Model, SAM）通过引入基于提示的范式实现了强大的零样本泛化能力，从而变革了图像分割领域。在该框架中，提示充当人类意图与机器感知之间的语义接口，使提示工程成为影响模型性能的核心因素。尽管其重要性不言而喻，但SAM及其变体中的提示工程尚未在文献中得到系统性综述。本综述填补了这一空白，对为SAM及其快速发展的生态系统所开发的提示工程技术进行了结构化且全面的梳理。我们提出了一种层次化分类体系，将相关方法组织为几何提示、文本语义提示和多模态融合提示，并分析了这些类别如何反映不同的设计原则和应用目标。此外，我们考察了从人工设计提示向基于检测器输出、原型学习、强化学习和视觉语言模型的更先进自动化方法的转变。除了对现有工作进行归类之外，我们还追溯了提示工程如何使SAM泛化至医学影像、遥感、工业检测和异常检测等领域。我们进一步识别了关键挑战——包括提示敏感性、跨模态失配和计算低效——并指出了具有前景的研究方向，如因果提示推理、协作式多智能体提示和基于扩散的渐进式精化。通过将这些进展整合为统一视角，本综述为理解提示工程在分割基础模型中的作用提供了及时参考，并为这一不断演进领域的未来进展奠定了基础。