BioCosmos: computer vision and large language models for large-scale image-based biodiversity data and trait exploration

方法

整合GBIF等标本图像，结合计算机视觉检索与大语言模型自然语言查询。

发现

开源低成本AI可使海量标本图像向公众开放，但南北半球数字化差距显著。

机会点

可将该图像检索与性状挖掘框架迁移至作物种质资源表型鉴定与智能育种。

如今已有数以百万计的自然历史标本图像上线，但可发现性差使得其丰富的表型与演化数据对大多数用户而言仍难以获取。我们开发了BioCosmos，这是一个将常规生物多样性数据库与新兴的计算机视觉和大语言模型相结合的网络平台，用于图像检索、视觉特征识别和自然语言查询。其首个实现LepiVerse（https://lepiverse.com）是一个蝴蝶网络门户，汇集了来自全球自然历史博物馆的逾60万幅标本图像，这些图像通过GBIF、SCAN和Ecdysis获取，并经分类学校准和地理参考验证流程整理。BioCosmos具备视觉相似性检索、交互式形态空间图以及基于文本和图像的搜索功能，同时提供物种页面，并辅以来自GenBank、LepTraits、Wikipedia和Crossref的数据。该平台展示了开源、低成本的新兴人工智能如何使海量图像藏品为广泛受众所用，同时凸显了全球北方与南方之间的数字化差距。