Evaluation of Concept-Probe Causal Sufficiency Audits for Computer Vision Agriculture Disease Classifiers Under Sparse Field-Scouting Ground Truth: An Interpretability Identification Bound for Fungicide Triage
Kossiwa Adjoavi Amégan · Afiwa Nyuikplé Dossou · Komlanvi Essohanam Agbékpé
该论文形式化分析了稀疏田间调查下概念探针因果充分性审计的识别力,并给出可解释性识别下界。
将审计建模为前后对照比较,基于ICC=0.64的方差结构做2000次重复的统计功
检测5个百分点充分性差距需54个聚类,超出多数田间调查能力,审计应报告最小可检测差距。
可研究在稀疏标签下如何设计更高效的审计采样方案或开发低聚类需求的替代可解释性评估指标。
方法学论文提出可解释性识别界,对稀疏田间标注下的审计结论给出设计约束,专业价值高但应用面窄,属细分领域进展。
概念探针因果充分性审计旨在检验视觉分类器对某种疾病概念的内部表征是否足以复现分类器自身的决策,并日益被提议作为模型获准用于杀菌剂施用分诊之前的一道关口。然而,在田间巡查地面真值稀疏的条件下,审计的判定并非仅由模型本身决定:它由探针的识别能力与产生标签的抽样设计共同决定,而充分性正是依据这些标签来评判的。本分析对这一依赖性进行了形式化。概念探针充分性审计被表述为探针隐含决策与分类器决策之间的前后对照-影响比较(before-after-control-impact comparison),并在设定的方差结构下推导其运行特征,该结构取组内相关系数为0.64、组间标准差为6.0、残差标准差为4.5。功效估计在每个设计单元2000次重复下进行,簇数取8、16、24和32,效应取3、5和8个百分点。分析得出一个可解释性识别界限:在80%功效下检测5个百分点的充分性差距需要54个簇,这一要求超过了所考察的每一个簇数,且大多数田间巡查项目无法满足。该界限被表述为对审计主张的设计约束,而非对任何特定分类器的判定,它意味着在稀疏巡查条件下的充分性审计应同时报告最小可检测差距与审计结果。