Files
NANOKVM-MaixCDK-MIRROR/projects/app_tof_camera/README.md

4.1 KiB
Raw Blame History

1. 简介

本应用基于MaixCam系列硬件平台开发集成TOF100深度传感器与摄像头模块实现了深度数据采集、视觉图像融合、数据可视化展示等功能。应用可实时采集TOF100的深度矩阵数据并支持将深度数据与摄像头图像进行融合处理后在显示屏上直观展示适用于近距离4cm-75cm深度感知与视觉融合的场景验证和功能演示。

2. 主要功能

  1. 深度数据采集通过TOF100传感器采集25×25/50×50/100×100分辨率的深度矩阵数据支持4cm-75cm的有效探测范围。
  2. 视觉融合处理可将摄像头采集的图像与TOF深度数据进行融合生成带深度信息的可视化图像。
  3. 多分辨率适配支持切换不同的深度数据分辨率25×25/50×50/100×100并自动适配显示效果。
  4. 实时可视化展示:将深度数据/融合图像缩放适配显示屏分辨率后实时显示,支持十字准星标注深度极值点(最小值、最大值、中心点)。
  5. 触控交互:通过触摸屏实现基础的交互控制,如设备未检测到时的退出操作。

3. 使用说明

3.1 硬件准备

  1. 确认硬件平台为MaixCAM/MaixCAM2不同平台SPI端口自动适配
  2. 正确连接TOF100传感器至对应SPI接口MaixCAM为SPI4MaixCAM2为SPI2
  3. 连接摄像头模块默认适配50×50分辨率支持分辨率动态调整
  4. 连接显示屏与触摸屏,确保硬件驱动正常。

3.2 启动应用

  1. 将编译后的应用程序部署至Maix硬件平台
  2. 执行应用程序,无需额外命令行参数,程序自动初始化硬件并启动;
  3. 启动后程序会自动检测TOF100传感器若未检测到则显示屏显示“Devices Not Found!”提示,触摸屏幕即可退出。

3.3 运行操作

  1. 默认模式启动后自动进入深度数据显示模式实时展示TOF100采集的深度数据可视化图像
  2. 融合模式切换:开启融合模式后,程序自动采集摄像头图像并与深度数据融合展示;
  3. 分辨率切换程序支持动态切换深度数据分辨率25×25/50×50/100×100切换后自动重新初始化深度映射表并适配显示
  4. 退出应用可通过系统信号如Ctrl+C或触摸屏操作设备未检测时退出应用。

3.4 异常处理

  1. 若硬件初始化失败(显示屏/摄像头/触摸屏/TOF100程序会输出错误日志并退出
  2. 运行过程中若深度矩阵数据为空,程序会跳过当前帧并继续运行,不中断整体流程;
  3. 摄像头分辨率调整时,程序会自动重置摄像头并重新初始化,期间短暂跳过部分帧数据。

4. 注意事项

  1. 硬件兼容性不同Maix平台MaixCAM/MaixCAM2的SPI端口不同程序已自动适配无需手动修改但需确保硬件接线对应
  2. 探测范围TOF100的有效探测范围为4cm-75cm超出该范围的数据可能无效程序已做阈值过滤
  3. 分辨率限制视觉融合模式仅支持50×50分辨率的深度数据切换其他分辨率会自动切回50×50
  4. 资源释放程序退出时会自动释放显示屏、摄像头、TOF100等硬件资源避免强制断电导致资源泄漏
  5. 性能提示:运行过程中若出现帧率过低,可降低深度数据分辨率或关闭视觉融合模式。
  6. 数据可视化逻辑深度数据通过颜色映射表cmap转换为RGB图像不同颜色对应不同深度值融合模式下叠加摄像头图像的亮度信息
  7. 显示适配:程序会根据显示屏的宽高比自动调整图像显示位置,确保画面居中展示;
  8. 调试预留:程序中保留了部分调试代码(如帧率打印、坐标打印、测试图像绘制等),可通过编译宏开启,便于功能调试和定制开发;
  9. 扩展能力可通过修改深度阈值OPNS_MIN_DIS_MM/OPNS_MAX_DIS_MM、融合权重等参数适配不同的应用场景需求。

5. 更多介绍

源码