OneGrow: Unified Temporal Plant Image and Mask Generation

方法

潜在流匹配模型，共享冻结自编码器，滑动窗口滚动生成。

发现

同一模型可完成掩码到图像、图像分割和时序预测，保持长序列一致。

机会点

可探索多作物、多器官的时序联合生成，降低表型标注成本。

基于图像的作物表型分析受益于能够同时捕捉植物发育过程与器官级标签的图像序列。此类配对数据较为有限，因为器官标注成本高昂，且对同一植株进行长期追踪需要重复的配准成像。现有的植物生成模型要么合成不具备结构标签的时间序列图像，要么生成不具备时间维度的标注图像。我们提出OneGrow，一种潜在流匹配模型，可联合建模小麦图像及其器官分割掩码随时间的演变。图像与掩码共享一个冻结的图像自编码器。通过指定哪些内容作为观测上下文，同一模型即可覆盖掩码到图像合成、图像到掩码分割以及时间预测等任务。对于超出训练窗口的序列，采用滑动窗口展开方式，由前序帧生成每一新图像，从而保持长序列的时间一致性。我们在一个大型单帧小麦数据集和一个多年时间数据集上进行联合训练，使用预训练分割模型生成的伪标签。我们以留出参考数据评估分割和图像质量，并定性评估多任务与时间行为。