Design and Deployment of Multi-Class Image Classification Model on ESP32 Using a Lightweight CNN Approach
Abdul Hannan · Rao M. Asif
在ESP32微控制器上训练并部署轻量CNN多类图像分类模型，实现无云端的嵌入式视觉。
轻量CNN、TFLite INT8量化、五折交叉验证、ESP32-S3与OV26
模型验证准确率达99.34±1%，量化后仍保持性能，可在ESP32上实时准确分类。
可探索将此类轻量模型用于田间作物/病虫害实时识别，解决农业边缘设备算力与网络限制。
该论文聚焦ESP32微控制器上的轻量级CNN图像分类部署，属嵌入式计算机视觉通用技术研究，未涉及三农、农业信息化或智慧农业应用场景，与平台主题不相关。
近年来，在聊天机器人（Chatbots）和大语言模型（LLMs）等AI软件工具的推动下，智能自主系统的开发取得了巨大进展，并被应用于各种场景。这促进了智能技术解决方案的采用。然而，计算机视觉需要大量的计算能力，使其难以在ESP32等设备上运行。为了展示利用控制器平台开发智能技术的可行性，本研究在ESP32微控制器平台上训练并部署了一个最优多类图像分类模型，确保在四个类别（人、水果、汽车和未知）上具有可接受的预测性能。需要明确区分所提出的系统与执行图像分类和目标检测的系统。在模型训练方面，对图像进行了预处理以最小化计算成本。尽管如此，使用五折交叉验证评估时，训练模型达到了99.34±1%的最高验证准确率，在未改变模型或训练过程的情况下，平均验证准确率为98±1%，结果相似。此外，采用TFLite量化（TFLite Quantisation），即INT8量化技术的一种变体，来优化模型大小。模型被转换为C数组格式，同时保留了大部分特征。为了提高训练期间的准确率，训练数据集补充了此前被过滤掉的大尺寸高质量图像。本项目选用的硬件为内置OV2640摄像头的ESP32-S3 N16R8微控制器，以及3.2英寸TFT显示屏，用于实时可视化计算机视觉任务的执行过程。该模型运行流畅、预测准确，即使每帧仅有少量样本也能正常工作，从而降低响应时间延迟。在ESP32微控制器上成功运行多类图像分类模型，证明了嵌入式视觉解决方案的完全独立性，无需依赖云技术。