pxGPT: A schema-constrained multimodal LLM framework for plant phenotyping

摘要 深度学习能够扩展基于图像的植物表型分析，但通常针对预定义性状，而人工表型描述更为灵活却难以规模化。我们提出Phenotype eXplorer Generative Plant Traits（pxGPT），一个将多视角植物图像转换为结构化表型记录的Python框架。该工作流程结合了自由文本描述、数据集特定模式生成与人工审核，以及模式约束的信息提取。我们在三个芸薹属（Brassica）数据集上评估了提取阶段，使用了来自十名标注者的78,973条标注，这些标注者无法获取pxGPT的预测结果。对于每个数据集38-45个定性性状，pxGPT与人工标注者之间的一致性范围为0.572至0.712，而人工标注者之间的一致性为0.620至0.739。所有32,736个所需性状字段均已存在；93个值为空，未记录到定性描述符违规。对于选定的形态结构，合并假阳性率为0.5-8.0%，而在一个成熟植株数据集中，灵敏度因结构类型而异（37.5-100%）。经整理的模式在未作修改的情况下应用于两个商业模型和一个本地部署的开放权重模型，平均准确率差异不超过0.03。在所评估的芸薹属数据集中，这些结果支持在无需为每个性状单独训练模型的情况下，对可见植物性状进行模式引导的提取。人工引导的模式开发为将pxGPT扩展至其他作物和成像条件提供了途径，其准确性需在每个新设置中加以验证。可用性与实现 该软件可在https://github.com/YaoChengLab/pxgpt获取，源代码的存档版本可在Zenodo（https://doi.org/10.5281/zenodo.22931745）获取。本研究中使用的经整理模式、标注指南、表型记录和人工标注可在https://doi.org/10.5281/zenodo.22907554获取。补充信息 补充数据可在Bioinformatics在线获取。