人工智能视觉控制机器人
多维运动控制平台以四驱小车为基础,集成电机/舵机驱动控制器,支持小车和机械臂的精准运动控制,搭载丰富的传感器实现环境、预警、定位等各种数据的采集和监控,配合无线通信模块,实现人工智能感觉、动作系统的开发和学习。感控单元主控平台采用STM32 高性能处理器,可完成嵌入式与传感器、机器人控制技术课程的学习。配合智能边缘计算网关,能够完成基于ROS 系统的机器人协作开发课程的学习。
智能网关:
l 处理器:64位四核CORTEX-A57,128核MAXWELL GPU;
l 内存:4GBLPDDR,板载存储:64GB;
l 接口:USB3.0×4,Micro USB×1,HDMI×1,RJ45×1,DC5.5×2.1电源接口;
l 集成Linux、Python等运行环境,支持数字图像处理、机器视觉、深度学习等算法、硬件、应用的开发和学习。
l 搭载 7 寸 LVDS 高清屏。
l AI 自动驾驶平台车体不小于360mm*210mm*350mm,
l 采用高性能双路 ARMCortex-M4 STM32G4 控制器单元,
l 提供电机驱动及传感驱动。
l 四驱独立悬挂轮式驾驶底盘,大功率减速电机。
(1)运动控制模块
在机器人中用到很多控制器和外设,包括:处理器、激光雷达,STM32控制器,电机、编码器、双路驱动、蓝牙、PS2有线手柄、航模遥控、陀螺仪等,提供了串口1和CAN接口方便用户拓展控制,这些控制器与控制器,外设与控制器之间的连接,如图所示。
(2)ROS操作系统
ROS操作系统内置于中央处理器内,通过RTOS完成系统任务调度与管理。具体任务调度管理流程如图所示。RTOS任务调度器根据任务的优先级决定任务的执行顺序,每个任务执行的时间很短,几乎等效于所有任务执行,期间如果发生中断则去响应中断。串口2中断用于APP蓝牙控制,串口3中断用于接收ROS传过来的信息。
(3)JetsonNano边缘计算平台
NVIDIAJetson Nano是一个小巧却功能强大的计算机,它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,JetsonNano搭载四核cortex-A57处理器,128核MaxwellGPU及4GB LPDDR内存,带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法,比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
(4) 激光雷达
相较于传统技术,利用红外激光设备可实现超大屏幕的多点触摸,其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器,可快速获得环境轮廓信息,配合SLAMWARE使用,可以帮助机器人实现自主构建地图、实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。
测量半径:12米,测量频率:8000次/秒,扫描频率:5.5HZ,360度扫描测距
(5)机器视觉-双目深度体感摄像头
双目深度体感摄像头是VR/AR、机器人和无人驾驶Zui核心的技术支撑之一,而深度摄像头就是这类硬件的眼睛。只有机器对“看到的”东西,定位定姿精度更高时,才能更好地识别和做出判断,从而提升机器的可用性和产品化速度。利用双目立体视觉成像原理实现三维定位,即可进行手势、肢体动作的综
使用距离:0.8m至 3.5m之间,视野:58° H, 45 V, 70° D(水平,垂直,对角),传感器:深度,深度影像大小:VGA(640x480) :30fps,QVGA (320x240):60fps,接口:USB2.0
(7)六自由度机器臂
视觉机械臂以Jetson Nano为主控,Open Source CV为图像处理库,以主流的Jupyter Lab为开发工具,使用Python3为主要编程语言。摄像头与机械臂机身一体式设计,“手眼合一”的视觉识别让机械臂显得更加灵动,它不仅可以实现颜色识别追踪与抓取,还能人体特征识别互动,甚至进行垃圾分类模型训练垃圾分拣;通过RO5机器人操控系统,简化了6自由度串行总线舵机复杂运动控制。
1080P摄像头:感光元件尺寸:1/237”Zui高有效分辨率:1928*1088;数据格式:YUY2/MJPG;像素大小:3.0μm*3.0μm;宽动态范围:96DB;自动控制:饱和度,对比度,锐度,白平衡,曝光。
机械臂:Cortex-M3内核的处理器控制板,自由度桌面式机械臂,大功率串行总线智能舵机,臂展350mm,负载≥300g,带夹爪,阳极氧化处理铝合金机身,主要用于工业机械臂的控制。支持python编程,可灵活和精准调节每一关节角度和位置;支持PC上位机、手机APP、USB游戏手柄控制;