裁判系统如何协作 info
约 5674 字
假设你正在场边看一场小型足球机器人比赛:蓝队把球踢出了边线,双方机器人随后停止争抢,一辆机器人把球放到指定位置,比赛再重新开始。
人能直接看懂这个过程,但软件需要依次解决几个问题:球在哪里?是否已经出界?最后由哪一队触球?接下来由谁放球、谁获得发球权?两队的机器人又怎么知道比赛已经暂停?
这些工作由多种软件共同完成。本篇先介绍比赛现场的通用架构,再说明我们在 Lumina 中怎样把它们连接起来。读完后,你应能解释 SSL-Vision、Tracker、AutoRef、Game Controller 和队伍策略各自做什么,并能顺着一次出界找到每一步由谁负责。
先认识比赛中的两类信息
机器人踢球既需要知道“场上是什么情况”,也需要知道“现在允许做什么”。两类信息需要同时存在。
视觉信息描述球和机器人的位置、朝向等。例如“球在场地右侧、蓝队 3 号车在球附近”。它帮助策略决定怎样移动、传球和射门。
裁判信息描述比赛阶段和要求。例如“比赛暂停”“由黄队放球”“接下来是黄队任意球”。即使球就在脚边,收到暂停指令后也不能继续按正常进攻策略抢球。
所以,看到 Client 场地画面上有车、有球,只能说明视觉这部分已有数据。要让策略按比赛流程行动,还必须接收到正确的裁判信息。
从摄像头到机器人:先认识这些软件
SSL-Vision:把摄像头画面变成坐标
真实场地上方的摄像头拍到的是图像。SSL-Vision 从图像中识别球和车顶标记,将它们转换为场地坐标,再发送给需要这些信息的软件。队伍程序接收到的是“某辆车的位置与朝向”等数据,并非必须自己读取摄像头图像。
场地可能由多台摄像头共同覆盖,同一辆车可能同时被两台摄像头看到。视觉数据也可能抖动、漏检;因此“已经识别到坐标”还只是后续处理的起点。共享视觉系统的背景可阅读 SSL-Vision 项目介绍。
关于 SSL-Vision 还有场地
SSL-Vision 项目已经是一个很老的项目了,来自美国,德国,日本的各个高校的实验室联合开发了这套系统。这套系统从大概09年开始就存在了,一直维护到今天。
官方版本的 SSL-Vision ,老外们喜欢使用 AVT , FLIR 这种工业相机,我们国内的高校则一般喜欢使用国产的工业相机,毕竟进口工业相机还是太贵了。例如国际赛以前的时候他们喜欢一个场地就用一个大的工业相机来拍摄场地,那一个大的摄像头就已经4000刀了,我们根本买不起一点。即使是目前国际赛喜欢用的 USB 3 FLIR Blackfly S (BFS-U3-51S5C-C) ,那也不是我们可以肖想的,1000多刀呢。
因此我们经常会使用改版的 SSL-Vision 进行使用。国内高校使用的工业相机主要只有两家:大恒图像和海康威视。
我们学校的实验室使用的就是大恒图像的水星一代还有水星二代,因为我们的场地是请任工来帮忙装的,软件也是任工帮忙改的,适配了大恒的SDK。上交那边因为我的强力推荐,他们也开始用大恒的摄像头了。浙江省不少学校用的都大恒的相机,宁大科院好像就是。
而浙大还有途零那边,偏向的都是 Mark 的方案,他们清一色的海康威视。
如果你们以后需要帮忙搭建搭建场地,如果使用大恒相机安装,可以使用我们实验室的版本;如果使用海康威视的相机,可以拉取 Github 上面 Robocup-SSL-China 或者 Turing-zero 的 SSL-Vision 版本。
在仿真中,没有真实摄像头拍摄场地,这部分输入由仿真器产生。对后续程序而言,仍需要接收球、机器人和场地数据。
提示
目前的仿真器方案,主要只有两种,ER-Force 提供的 ER-Force simulator ,还有 grSim。
ER-Force simulator是德国 ER-Force 团队开发的仿真平台,国外的队伍用的比较多。grSim原来是伊朗的高校开发的仿真平台,后来收到了来自全球各地高校的开发贡献,现在由 Robocup SSL 组委会维护。
我们目前使用的就是基于 grSim 开发的。我们的 Rocos 里面的内置仿真器 ZSimulator ,就是修改自 grSim 。
不过我们目前使用的 grSim 版本,是 Robocup-SSL-China/grSim ,此版本的 grSim 浙大做过适配与针对性开发
Tracker:把一帧帧检测变成连续的运动状态
Tracker 可以译为“跟踪器”。它把连续多帧的检测联系起来,进行滤波、合并等处理,并估计球和机器人的运动状态。
例如,单帧检测可以告诉你“球现在在这里”,而跟踪结果还能提供“球正向哪个方向运动、速度是多少”。这使得策略和自动裁判能够利用连续运动信息,而不是只看某一帧位置。
Tracker 是一项功能或一种数据来源,并不意味着必须再打开一个独立窗口。AutoRef 软件可以同时产生跟踪数据;我们的 Client 也有自己的视觉融合处理。联赛使用统一的跟踪数据格式,让 GC 等软件可以使用这些结果,参见 官方技术概览的 Vision Trackers 部分。
提示
Tracker 这个东西,国外的高校几乎人人用,毕竟无迹卡尔曼滤波,还有各种处理写起来还是太雷霆了一点。不过国内的高校用的都是浙大开源的代码,所以大家都懒得改,大家都不用 Tracker,好像只有我们的软件在与 GC 联动的时候,会生成 Tracker 提供给 AutoReferee 还有 GC,用于追踪比赛情况。
正式比赛时候是会提供 Tracker 的,如果想要围绕 Tracker 开发也是可以的
AutoRef:根据场地状态检测比赛事件
AutoRef 是 Automatic Referee 的简称,意思是“自动裁判”。它利用球、机器人以及当前比赛状态,检测出界、进球或某些犯规事件。
这里的“事件”是对发生情况的描述。例如“球从边线出界,涉及蓝队”。“让双方暂停”则是后续比赛控制中的指令。先区分这两者,才能理解为什么有了 AutoRef,还需要下面的 Game Controller。
AutoRef 需要知道当前比赛状态。同样是机器人靠近球,正常比赛与暂停阶段的含义不同;因此它既需要视觉数据,也需要裁判信息。具体能够检测哪些事件,取决于所用版本、启用的检测器和比赛规则。
AutoRef 有不同团队的实现,常见的有 TIGERs Mannheim 和 ER-Force。我们使用的是基于 TIGERs AutoReferee 修改的版本。国际联赛还可以同时使用多个自动裁判,通过它们的判断提高可靠性;这属于赛事部署方式,本地学习不需要一开始就部署多套。国际官方技术概览 介绍了这些实现与协作方式。
提示
AutoRef 在国赛的时候,会使用 TIGERs 官方版本的 AutoReferee ,省赛的时候,会使用我修改的 AutoReferee
SSL Game Controller:维护比赛状态,发布裁判指令
SSL Game Controller,下文简称 GC,是比赛控制软件。比赛时间、当前阶段、比分、暂停、罚牌,以及现在该执行什么指令,都由它统一管理。现场操作人员可以通过它的界面控制比赛,自动裁判也可以向它提交事件。
可以把 GC 当前维护的内容理解为一份不断更新的比赛记录:
| 信息 | 举例 | 队伍为什么需要它 |
|---|---|---|
| 阶段与时间 | 上半场、剩余时间 | 了解比赛进程 |
| 当前指令 | Stop、蓝队开球、黄队放球 | 选择当前应执行的策略 |
| 下一指令 | 放球后预计进入黄队任意球 | 提前安排站位 |
| 队伍信息 | 队名、比分、门将号、处罚 | 核对队伍状态与人员限制 |
| 放球目标 | 场地上的一个目标坐标 | 让负责放球的机器人知道把球送到哪里 |
AutoRef 提交事件后,GC 按当前配置处理,并据此维护比赛状态。GC 会将裁判消息发送给两队,队伍程序再根据消息行动。GC 自己也可以利用跟踪数据检查放球进度、场上人数和是否具备继续条件;因此它同样需要场地信息。GC 项目说明 列出了这些用途。
提示
SSL Game Controller 在国赛的时候,会使用官方版本的 SSL Game Controller ,省赛的时候,会使用我修改的 SSL Game Controller
SSL Status Board:把比赛状态展示给人看
SSL Status Board 是独立的比赛信息显示软件,常用于场边大屏,展示比分、时间和处罚等内容。它主要帮助观众和裁判阅读比赛状态。项目介绍 提供了其用途与运行方式。
我们 Client 顶栏和 Referee Information 页也能显示裁判信息,但这是 Client 自身的功能,并不代表已经运行了 SSL Status Board。
提示
SSL Status Board 在国赛的时候,会使用官方版本的 SSL Status Board ,省赛的时候,会使用我修改的 SSL Status Board
队伍策略与机器人:决定并执行动作
场地视觉与裁判信息最终都要进入队伍自己的软件。队伍策略结合这两类信息,决定哪辆车跑到哪里、谁接球、谁射门,再通过通信设备控制机器人。
在我们的系统中,Client 负责相关数据的接入、显示与转发,Medusa 负责策略计算。收到放球指令后,负责完成放球动作的是队伍策略和机器人;GC 提供目标与比赛要求,不会直接替队伍规划每辆车的路径。
比赛现场的信息怎样流动
先看一张只保留主要关系的图。图中的“队伍程序”代表各队自己的软件,Lumina Client 与 Medusa 属于我们队的这一部分。
这是一张功能关系图。实际部署中,跟踪处理可能就在 AutoRef 内部,队伍也可以使用自己的跟踪结果或接收联赛提供的跟踪数据。不要把每个方框都理解为必须单独安装的一款软件。
Rocos 的裁判软件教程 将 GC、AutoRef 和 Status Board 与 SSL-Vision 放在一起介绍;它们共同构成了理解裁判系统所需的基础。我们还需要把队伍策略接到这张图上,才能理解裁判要求如何变成机器人动作。
以一次出界为例
下面假设在一次启用边线出界检测的测试中,蓝队最后触球,球随后越过边线。不同赛事的恢复方式以所用规则为准,这里关注各部分的分工。
第一步:视觉发现球的位置发生变化
摄像头和 SSL-Vision 持续产生球的位置,跟踪处理把连续位置整理为运动状态。这时得到的首先是位置与运动信息。
你在 Client 中看到球移到场外,并不意味着 GC 已经收到“出界”事件。画面能显示球的位置,与裁判系统是否判罚,是两件分别需要完成的工作。
第二步:AutoRef 检测出界事件
AutoRef 结合场地边界、球的运动、触球判断以及当前比赛状态,检测出界,并向 GC 提交事件。
如果关闭了自动检测,这一步就不会由 AutoRef 完成;如果使用 Passive 模式,它可以检测并记录,但不会向 GC 提交。没有启用自动判罚的测试中,也可以由操作人员通过 GC 人工处理。
第三步:GC 处理事件,比赛进入相应状态
GC 根据当前规则和事件处理设置处理这次出界。有的配置会接受相应事件,有的会形成需要确认的提议。实际是否改变了比赛,应查看 GC 当前状态和比赛历史。
“蓝队导致球出界”是事件,“比赛暂停”是指令。 两队主要依据 GC 发出的裁判消息切换行为。它们无需各自读取 AutoRef 日志,再猜测现在是否应该停下来。
第四步:队伍策略响应暂停和放球要求
当 GC 发布暂停指令时,Medusa 应从正常比赛切换到对应的暂停行为。之后如果 GC 指定黄队放球,并给出目标坐标,黄队策略负责安排机器人把球送到目标处,蓝队则执行相应避让行为。
这里的“自动放球”是机器人按照策略移动真实或仿真的球;在仿真器里直接拖动球,只是改变仿真场景,两者的目的和执行过程不同。
第五步:确认条件后恢复比赛
GC 利用跟踪数据检查相关条件,并给出当前可用的继续动作。操作人员可以按流程继续;开启自动继续后,GC 可在其条件满足时推进相应动作。
自动继续和 AutoRef 事件检测是两个功能:前者处理“何时进入下一步”,后者检测“场上发生了什么”。所以单独打开自动继续,并不能让系统自动识别所有出界和犯规。
恢复比赛的消息再次发给队伍程序,Medusa 随之执行对应的发球或正常比赛策略。一次出界就这样经过 场地观测 → 事件检测 → 比赛控制 → 策略执行,最终影响机器人动作。
为什么平时只开内部裁判盒也能测试
写策略时,我们经常只想知道“收到我方开球指令后,站位对不对”。这时可以由 Client 的内部裁判盒直接发送指令,暂时省去真实的事件检测和完整比赛管理。
这样的测试验证的是 策略如何响应指令。球出了边线是否会被检测、事件是否进入 GC、放球后能否按条件继续,需要加入 GC 和 AutoRef 才能逐步验证。
| 你想学习或验证什么 | 建议使用什么 |
|---|---|
| Stop、开球、任意球等策略怎样响应 | 内部裁判盒 + 视觉 + Medusa |
| 比赛准备、时间、比分、处罚和继续流程 | GC + 视觉 + Medusa,通过界面人工操作 |
| 自动检测事件后怎样影响比赛 | 在上一种组合上加入 AutoRef |
| 查看比赛状态或向观众展示 | Client 信息页,或按需要部署独立 Status Board |
在 Lumina 中,我们怎样连接这些部分
前面讲的是通用分工。在 Lumina 本地测试中,Client 还提供了启动和连接 GC、AutoRef 的入口,你可以在同一个界面管理它们。
这里先解释几个界面中会出现的词:
| 界面用词 | 在本教程中的意思 |
|---|---|
| 托管启动 | 由 Client 启动一个独立的软件进程,并提供停止按钮与进程日志 |
| 外部 GC | 相对于 Client 内部简易裁判盒的独立 GC,可以就在本机运行 |
| CI 连接 | 本地集成与测试使用的数据接口,允许 Client 直接向 GC 或 AutoRef 提供数据 |
| Referee 消息 | GC 发出的裁判消息,包含指令及其他比赛信息 |
| API | Client 获取和管理 GC 完整状态所用的程序接口 |
从 Client 中打开 AutoRef 页面,不等于 AutoRef 已经启动;进程启动后,还需要建立数据连接。 页面中的“运行中”“已连接”和视觉计数,分别帮助你检查这些步骤。
GC 与 AutoRef 的完整链路
Client 将自己的融合视觉分别送给 GC 和 AutoRef,并把 GC 返回的裁判消息送给 Medusa 和 AutoRef。AutoRef 仍负责检测事件,GC 仍负责管理比赛,两者的职责没有因为放进同一个界面而改变。
在这套实现中,AutoRef 回传的 Tracker 仅用于统计,GC 使用的视觉来自 Client。GC 数据处理不等待 AutoRef 的回包;因此 AutoRef 停止时,仍可以通过 GC 人工管理比赛。
三条连接不要混淆
到实际操作时,再对照下面的默认端口。端口可以理解为同一台电脑上不同服务的入口;主机地址用于找到电脑,端口用于找到相应服务。
| 连接 | 默认端口 | 主要用途 |
|---|---|---|
| Client ↔ GC CI | TCP 10009 | Client 提交视觉、时间与操作,GC 返回裁判消息 |
| Client ↔ AutoRef CI | TCP 10013 | Client 提供视觉、几何和裁判状态,接收 AutoRef 回包 |
| AutoRef → GC | TCP 10007 | AutoRef 注册并提交自动事件 |
GC 的 HTTP/API 通常使用 8081。这些入口各有用途,不能因为都叫“连接”就互换端口;AutoRef 页的 CI 已连接,也不能证明 AutoRef 已成功向 GC 提交事件。
这些通用网络接口可在 国际官方网络参数表 中查到。具体操作请进入 GC 实例配置 和 AutoRef 教程。
区分三种“来源”
| 来源 | 选择或识别什么 | 去哪里设置 |
|---|---|---|
裁判消息来源 source_identifier | 接受哪一个裁判盒发来的比赛指令 | 裁判源过滤 |
| Tracker 来源 | GC 用哪一份球、机器人跟踪数据 | 规则与数据源 |
| AutoRef 来源 | 哪个自动裁判提交了事件,怎样处理它的事件 | GC 规则与数据源中的 AutoRef 策略 |
例如,你在同一网络收到了两台裁判盒的消息,需要选择裁判消息来源;你希望 GC 使用本机 Client 的视觉,需要选择相应 Tracker。它们解决的是不同问题。
与 UDP、内部裁判盒的关系
比赛现场通常使用网络组播发布裁判消息。可以先把组播理解为“向订阅了这个数据流的软件发布同一份信息”,这样两队和显示软件就能接收比赛状态。Client 接收现场 UDP 裁判消息时,可以按来源进行过滤。
Lumina 连接 GC CI 时,则直接使用该连接返回的裁判消息。连接期间会忽略 UDP 裁判输入,并停止内部裁判盒的周期发送,避免同时采用不同入口的指令。断开 GC CI 后恢复 UDP 接收,再按需要选择现场或内部裁判来源。
因此,本机 CI 测试和接收场地官方裁判消息,需要按各自链路配置。把本机 AutoRef 的地址填对,并不能代替比赛现场的裁判接收设置。
从哪一层开始排查
如果球已经出界,机器人却没有按预期停下来,可以按照刚才的过程逐步检查:
- 球的位置是否正确? 先看 Client 画面,确认视觉与场地尺寸正常。
- AutoRef 是否检测并提交了出界? 检查它是否启动、是否使用 Active、是否启用了对应事件检测。
- GC 是否处理了这个事件? 查看事件提议、当前指令与比赛历史;可能还在等待人工确认。
- Client 是否收到了新的裁判消息? 查看顶栏和 Referee Information 的指令是否更新。
- Medusa 是否执行了对应策略? 如果指令已更新但机器人行为不对,再检查策略运行、队伍颜色与策略响应。
这样可以先定位问题发生在哪一步,再进入相应工具检查。详细计数、日志和配置说明保留在各操作教程中。
完成本篇后,可以先用 内部裁判盒 观察一次指令如何改变策略,再按 GC 控制 管理比赛,最后加入 AutoRef 自动裁判 检测事件。
继续阅读:Rocos 裁判软件教程 介绍了相关软件及独立安装方法;国际官方技术概览 展示了整个 SSL 系统的组成。