GitHub 项目仓库

RoboMaster 2025 雷达站视觉定位程序。项目通过主/副海康相机或离线视频取流,使用 YOLOv5/TensorRT 模型检测车辆和装甲板,将图像坐标通过标定矩阵转换为赛场世界坐标,再经过滤波、盲区预测和串口通信发送给裁判系统/上位链路。

功能概览

  • 支持主相机和副相机双路取流。
  • 支持真实海康相机模式和本地视频回放测试模式。
  • 使用 car.engine 检测车辆,使用 armor.engine 检测装甲板。
  • 根据标定得到的透视变换矩阵,将装甲板图像点映射到赛场坐标。
  • 对识别结果做滑动窗口滤波、速度异常过滤和丢失后的盲区点位预测。
  • 支持地图窗口可视化敌方机器人位置。
  • 支持串口收发,包括坐标发送、易伤状态读取和哨兵辅助信息发送。
  • 支持运行时录制主/副相机视频。

主要流程

相机/视频帧
  -> 车辆检测 YOLOv5Detector(car.engine)
  -> 装甲板检测 YOLOv5Detector(armor.engine)
  -> 装甲板编号筛选/分类修正
  -> 透视变换得到世界坐标
  -> 主副相机结果合并去重
  -> 坐标滤波和盲区预测
  -> 地图显示
  -> 串口发送

目录结构

.
├── app.py                         # Tkinter 启动面板
├── main_v3.py                     # 当前主程序
├── location_v2.py                 # 当前配套标定程序
├── backup_versions/               # 历史 main/location 版本备份
├── camera/                        # 海康相机 SDK 封装、双目相机取流
├── model/                         # YOLOv5/TensorRT 推理代码、模型文件和 yaml
├── serial_script/                 # 串口通信、坐标滤波、预测和发送逻辑
├── Tools/                         # 标定、地图、视频和测试工具脚本
├── info/                          # 配置文件和标定矩阵
├── file_need/                     # 地图高度表、多边形等辅助数据
├── image/                         # 地图、mask、预测点等图像/文本资源
├── requirements.txt               # Python 依赖
└── start_app.sh                   # Linux 启动脚本

环境要求

推荐环境:

  • Linux
  • Python 3.8/3.9
  • NVIDIA GPU + CUDA
  • TensorRT 8.6.1
  • 海康 MVS SDK
  • 可访问的串口设备,例如 /dev/ttyUSB0

安装 Python 依赖:

pip install -r requirements.txt

注意:torch、torchvision、tensorrt 建议按本机 CUDA/TensorRT 版本单独安装确认。海康相机 SDK 相关 .so 和运行环境需要在系统层面配置好。

关键配置

主配置文件为:

info/config_info.yaml

常用配置项:

  • global.IS_RED:我方颜色,True 为红方,False 为蓝方。
  • global.camera_mode:取流模式,camera 为真实相机,video 为视频回放。
  • global.USE_SERIAL_PORT:是否启用串口通信。
  • global.USE_SUB_CAMERA:是否启用副相机。
  • global.MAIN_VIDEO_FILE_PATH / SUB_VIDEO_FILE_PATH:视频测试路径。
  • models.car_weight_path:车辆检测 TensorRT engine 路径。
  • models.armor_weight_path:装甲板检测 TensorRT engine 路径。
  • main.MainCamera_*_matrix / SubCamera_*_matrix:主/副相机标定矩阵。
  • main.map_mask:地图 mask,用于选择不同高度层的透视矩阵。
  • camera.Main_camera / Sub_camera:相机内参、畸变系数和图像尺寸。
  • camera.R21 / t21:主副相机外参。

当前主链路会按项目根目录解析相对路径。info/config_info.yaml 中的项目内资源建议使用相对路径;外部录像文件既可以填相对路径,也可以填本机绝对路径。

相机配置

camera/Binocular_camera.py 中默认设备标识为:

Main_Camera(device_identifier="MV-CE060-10UC")
Sub_Camera(device_identifier="MV-CS016-10UC")

如果现场相机的 UserDefinedName、型号名或序列号不同,需要修改这里的默认值,或在实例化时传入对应标识。

标定

运行标定程序:

python3 location_v2.py

标定窗口说明:

  • Start Calib. / Stop Calib.:开始或暂停画面采集,用于固定当前帧后点选。
  • Switch Height:切换不同高度层。
  • 在相机窗口中依次点击 4 个图像点。
  • 世界坐标点来自 info/config_info.yaml 中 loaction 配置。
  • Save & Exit:保存标定矩阵到 info/location/homography_*_main.npy,启用副相机时也会保存 homography_*_sub.npy。

标定前请确认:

  • global.IS_RED 与当前阵营一致。
  • global.Test_MODE 是否符合当前地图。
  • camera_mode 是 camera 还是 video。
  • 对应地图点坐标配置正确。

运行主程序

真实相机模式:

python3 main_v3.py --device cuda:0 --color 0 --record 0

参数说明:

  • --device:TensorRT/PyTorch 推理设备,常用 cuda:0。
  • --color:我方颜色,1 为红方,0 为蓝方。
  • --record:是否录制原始视频,1 开启,0 关闭。

如果使用 GUI 面板:

python3 app.py

或使用启动脚本:

bash start_app.sh

start_app.sh 会尝试给 /dev/ttyUSB0 授权并启动 app.py。如需指定 Python 解释器,可通过 PYTHON 环境变量覆盖,例如 PYTHON=/path/to/python bash start_app.sh。

视频回放测试

在 info/config_info.yaml 中修改:

global:
  camera_mode: 'video'
  MAIN_VIDEO_FILE_PATH: '主相机视频路径'
  SUB_VIDEO_FILE_PATH: '副相机视频路径'

然后运行:

python3 main_v3.py --device cuda:0 --color 0 --record 0

如果不需要副相机,设置:

global:
  USE_SUB_CAMERA: False

串口

串口逻辑在 serial_script/commute.py 和 serial_script/Serial_communicate.py 中。

程序会枚举当前可用串口,并默认打开第一个串口:

serial.Serial(available_ports[0].device, 115200, timeout=None)

运行前建议检查:

ls /dev/tty*

必要时授权:

sudo chmod 777 /dev/ttyUSB0

如果只做视觉调试,不希望实际打开串口,可以在 info/config_info.yaml 中设置:

global:
  USE_SERIAL_PORT: False

模型文件

当前模型路径配置为:

models:
  car_weight_path: 'model/car.engine'
  armor_weight_path: 'model/armor.engine'

版本 backup_versions/main/main_v4.py 曾加入装甲板分类器修正逻辑,但当前根目录保留的主程序为 main_v3.py,默认只使用车辆检测和装甲板检测两个 TensorRT engine。

致谢

感谢以下队伍在项目开发与交流过程中提供的帮助与支持:

  • 西北工业大学 WMJ
  • 成都大学 Ultra
  • 厦门理工学院 PFA
  • 安徽信息工程学院 Artisans