RoboMaster 2025 雷达站视觉定位程序。项目通过主/副海康相机或离线视频取流,使用 YOLOv5/TensorRT 模型检测车辆和装甲板,将图像坐标通过标定矩阵转换为赛场世界坐标,再经过滤波、盲区预测和串口通信发送给裁判系统/上位链路。
功能概览
- 支持主相机和副相机双路取流。
- 支持真实海康相机模式和本地视频回放测试模式。
- 使用
car.engine检测车辆,使用armor.engine检测装甲板。 - 根据标定得到的透视变换矩阵,将装甲板图像点映射到赛场坐标。
- 对识别结果做滑动窗口滤波、速度异常过滤和丢失后的盲区点位预测。
- 支持地图窗口可视化敌方机器人位置。
- 支持串口收发,包括坐标发送、易伤状态读取和哨兵辅助信息发送。
- 支持运行时录制主/副相机视频。
主要流程
相机/视频帧
-> 车辆检测 YOLOv5Detector(car.engine)
-> 装甲板检测 YOLOv5Detector(armor.engine)
-> 装甲板编号筛选/分类修正
-> 透视变换得到世界坐标
-> 主副相机结果合并去重
-> 坐标滤波和盲区预测
-> 地图显示
-> 串口发送
目录结构
.
├── app.py # Tkinter 启动面板
├── main_v3.py # 当前主程序
├── location_v2.py # 当前配套标定程序
├── backup_versions/ # 历史 main/location 版本备份
├── camera/ # 海康相机 SDK 封装、双目相机取流
├── model/ # YOLOv5/TensorRT 推理代码、模型文件和 yaml
├── serial_script/ # 串口通信、坐标滤波、预测和发送逻辑
├── Tools/ # 标定、地图、视频和测试工具脚本
├── info/ # 配置文件和标定矩阵
├── file_need/ # 地图高度表、多边形等辅助数据
├── image/ # 地图、mask、预测点等图像/文本资源
├── requirements.txt # Python 依赖
└── start_app.sh # Linux 启动脚本
环境要求
推荐环境:
- Linux
- Python 3.8/3.9
- NVIDIA GPU + CUDA
- TensorRT 8.6.1
- 海康 MVS SDK
- 可访问的串口设备,例如
/dev/ttyUSB0
安装 Python 依赖:
pip install -r requirements.txt
注意:torch、torchvision、tensorrt 建议按本机 CUDA/TensorRT 版本单独安装确认。海康相机 SDK 相关 .so 和运行环境需要在系统层面配置好。
关键配置
主配置文件为:
info/config_info.yaml
常用配置项:
global.IS_RED:我方颜色,True为红方,False为蓝方。global.camera_mode:取流模式,camera为真实相机,video为视频回放。global.USE_SERIAL_PORT:是否启用串口通信。global.USE_SUB_CAMERA:是否启用副相机。global.MAIN_VIDEO_FILE_PATH/SUB_VIDEO_FILE_PATH:视频测试路径。models.car_weight_path:车辆检测 TensorRT engine 路径。models.armor_weight_path:装甲板检测 TensorRT engine 路径。main.MainCamera_*_matrix/SubCamera_*_matrix:主/副相机标定矩阵。main.map_mask:地图 mask,用于选择不同高度层的透视矩阵。camera.Main_camera/Sub_camera:相机内参、畸变系数和图像尺寸。camera.R21/t21:主副相机外参。
当前主链路会按项目根目录解析相对路径。info/config_info.yaml 中的项目内资源建议使用相对路径;外部录像文件既可以填相对路径,也可以填本机绝对路径。
相机配置
camera/Binocular_camera.py 中默认设备标识为:
Main_Camera(device_identifier="MV-CE060-10UC")
Sub_Camera(device_identifier="MV-CS016-10UC")
如果现场相机的 UserDefinedName、型号名或序列号不同,需要修改这里的默认值,或在实例化时传入对应标识。
标定
运行标定程序:
python3 location_v2.py
标定窗口说明:
Start Calib./Stop Calib.:开始或暂停画面采集,用于固定当前帧后点选。Switch Height:切换不同高度层。- 在相机窗口中依次点击 4 个图像点。
- 世界坐标点来自
info/config_info.yaml中loaction配置。 Save & Exit:保存标定矩阵到info/location/homography_*_main.npy,启用副相机时也会保存homography_*_sub.npy。
标定前请确认:
global.IS_RED与当前阵营一致。global.Test_MODE是否符合当前地图。camera_mode是camera还是video。- 对应地图点坐标配置正确。
运行主程序
真实相机模式:
python3 main_v3.py --device cuda:0 --color 0 --record 0
参数说明:
--device:TensorRT/PyTorch 推理设备,常用cuda:0。--color:我方颜色,1为红方,0为蓝方。--record:是否录制原始视频,1开启,0关闭。
如果使用 GUI 面板:
python3 app.py
或使用启动脚本:
bash start_app.sh
start_app.sh 会尝试给 /dev/ttyUSB0 授权并启动 app.py。如需指定 Python 解释器,可通过 PYTHON 环境变量覆盖,例如 PYTHON=/path/to/python bash start_app.sh。
视频回放测试
在 info/config_info.yaml 中修改:
global:
camera_mode: 'video'
MAIN_VIDEO_FILE_PATH: '主相机视频路径'
SUB_VIDEO_FILE_PATH: '副相机视频路径'
然后运行:
python3 main_v3.py --device cuda:0 --color 0 --record 0
如果不需要副相机,设置:
global:
USE_SUB_CAMERA: False
串口
串口逻辑在 serial_script/commute.py 和 serial_script/Serial_communicate.py 中。
程序会枚举当前可用串口,并默认打开第一个串口:
serial.Serial(available_ports[0].device, 115200, timeout=None)
运行前建议检查:
ls /dev/tty*
必要时授权:
sudo chmod 777 /dev/ttyUSB0
如果只做视觉调试,不希望实际打开串口,可以在 info/config_info.yaml 中设置:
global:
USE_SERIAL_PORT: False
模型文件
当前模型路径配置为:
models:
car_weight_path: 'model/car.engine'
armor_weight_path: 'model/armor.engine'
版本 backup_versions/main/main_v4.py 曾加入装甲板分类器修正逻辑,但当前根目录保留的主程序为 main_v3.py,默认只使用车辆检测和装甲板检测两个 TensorRT engine。
致谢
感谢以下队伍在项目开发与交流过程中提供的帮助与支持:
- 西北工业大学 WMJ
- 成都大学 Ultra
- 厦门理工学院 PFA
- 安徽信息工程学院 Artisans
Hence's Blog