bioRxiv (Cold Spring Harbor Laboratory)·9月14日 · 周一论文农业遥感与作物表型阅读 0
OneGrow: Unified Temporal Plant Image and Mask Generation
Mike Boss · Michele Volpi · Lukas Roth
论文解读
78精选
速览
提出OneGrow模型，联合生成小麦时序图像与器官分割掩码。
方法
潜在流匹配模型，共享冻结自编码器，滑动窗口滚动生成。
发现
同一模型可完成掩码到图像、图像分割和时序预测，保持长序列一致。
机会点
可探索多作物、多器官的时序联合生成，降低表型标注成本。
影响力18
信息增量21
专业深度18
信源权威13
时效性8
面向小麦时序图像与器官分割掩码联合生成的流匹配模型，方法新颖、数据规模可观，对作物表型自动化标注有实质推动，值得进入每日精选。
原文摘要
基于图像的作物表型分析受益于能够同时捕捉植物发育过程与器官级标签的图像序列。此类配对数据较为有限，因为器官标注成本高昂，且对同一植株进行长期追踪需要重复的配准成像。现有的植物生成模型要么合成不具备结构标签的时间序列图像，要么生成不具备时间维度的标注图像。我们提出OneGrow，一种潜在流匹配模型，可联合建模小麦图像及其器官分割掩码随时间的演变。图像与掩码共享一个冻结的图像自编码器。通过指定哪些内容作为观测上下文，同一模型即可覆盖掩码到图像合成、图像到掩码分割以及时间预测等任务。对于超出训练窗口的序列，采用滑动窗口展开方式，由前序帧生成每一新图像，从而保持长序列的时间一致性。我们在一个大型单帧小麦数据集和一个多年时间数据集上进行联合训练，使用预训练分割模型生成的伪标签。我们以留出参考数据评估分割和图像质量，并定性评估多任务与时间行为。