AI Snooker
AI 计分系统 — 用计算机视觉实时为斯诺克比赛执裁
一套边缘 AI 系统，通过吊顶摄像头监测斯诺克球台，用在 Jetson 硬件上自行训练的模型检测球和球杆，并为场馆驱动实时记分牌、餐饮点单及收银系统。
DETECTION
SCOREBOARD
HARDWARE
CASHIER
TRAINING DATA项目概览
// 挑战所在
球手以小额赌注分摊租台费用。场馆需要一台记分牌平板和一台收银平板，两者均从服务器实时获取金额与余额。每当有人得分，服务器须按他们设定的游戏规则，计算每人应付多少。
// AI 解决方案
吊顶摄像头将画面传送至场馆内运行 MobileNet-SSD 的 Jetson Nano，以 30 FPS 实时检测台球。顾客租台后，记分牌随即启用，台灯也会亮起。当 AI 检测到得分，Jetson 便将结果发送至记分牌，云端则计算每人应付的金额。
// 实际成效
记分牌平板与收银平板均运行 Flutter 应用，并从服务器实时获取金额与余额。当 AI 检测到得分，服务器便应用游戏规则，计算每位球手应付的租台费用——全程自动化。
关键数据
系统架构
安装于球台上方的边缘 AI 硬件，与场馆平板及云端相互通信。
边缘部署
安装于吊顶的硬件装置，以获得最佳鸟瞰视角（约 1.7 米）。
NVIDIA JETSON NANO
边缘 AI 计算模块，为场馆提供实时目标检测。
数据流程
租台之时
- 1顾客租台（按分钟计费）
- 2记分牌随即启用
- 3I/O 开关点亮台灯
- 4Jetson 常开待命，持续监测
余额——以云端为准
- 1云端持有金额与余额
- 2记分牌从云端实时获取余额
- 3收银端从云端实时获取余额
得分之时
- 1Jetson 将得分发送至记分牌
- 2云端按游戏规则计算新余额
- 3记分牌显示最新余额
AI 与目标检测
实时检测（俯视）
计算机视觉模型以鸟瞰视角追踪台球、球杆及袋口。
精准度与颜色
经微调的 MobileNet-SSD 模型，处理小目标及关键的颜色区分。
实时检测演示
实况画面：AI 在比赛进行期间实时检测台球、球杆及袋口。
实时检测——模型原始输出
检测能力
检测对象
可检测所有球色（红、黄、绿、棕、蓝、粉、黑、白）、球杆、库边、袋口及 D 区。
性能表现
针对 Jetson 硬件上的边缘 AI 进行优化，达到约 30 FPS，提供流畅的实时追踪能力。
模型训练
使用云端 H100 GPU，以超过 4,000 张自行标注的图像训练，并针对边界框及分辨率做了定制修正。
标注样本
这个问题并无现成数据集——每张训练图像都是从零开始收集和标注。
红球
红球检测的标注样本。
黄球
黄球检测的标注样本。
袋口
袋口的标注样本。
球杆
球杆检测的标注样本。
标注特写
边界框与标签的特写。
遇到的难题
数据集失衡
部分类别（如红球）的样本远多于其他类别，可能使模型产生偏差。通过谨慎采样及数据增强，确保训练期间所有类别均得到充分代表。
SSD 框尺寸
通过将 SSD 框尺寸调整至符合检测对象大小的范围来解决。
更多已攻克的挑战
远距离小目标
从吊顶摄像头看，台球仅约 40–60 像素。我们提高了输入分辨率并调校锚框尺寸，使模型能可靠地检测和分类。
边缘端实时 FPS
在原先的 Jetson Nano 上以可用的帧率运行检测器相当勉强。我们改用速度快达 80 倍的 Jetson Orin Nano，使推理跟得上摄像头画面。
检测抖动
原始检测结果在帧与帧之间跳动，观感欠佳，也可能影响计分。我们会忽略球路径上突然出现的颜色变化，使记分牌接收到稳定一致的检测结果。
画面边缘镜头畸变
广角镜头畸变使画面边缘的球呈椭圆形。我们没有进行镜头标定，而是在训练中加入畸变数据，使模型学会处理画面边缘的椭圆形状。
实时记分牌
AI 不只看见台球，更看懂比赛。
坐标流传输
实时传输每颗球的 X、Y 坐标。
进袋检测
追踪球的路径，检测球在袋口附近“消失”的一刻。
即时计分
每当有人得分，应用便将事件发送至服务器计算。
记分牌与收银
记分牌按游戏规则显示每人应付金额。收银端实时显示各台余额、处理餐饮点单，并可查看由记分牌下的订单。
场馆应用
运行于场馆平板上的 Flutter 应用——全部从云端获取实时状态。
实时流传输
每颗球的 X、Y 坐标由 Jetson 实时传输至记分牌及云端。
记分牌
从服务器实时获取金额与余额；得分事件会触发按游戏规则计算每人应付金额。
餐饮点单
同一台记分牌平板也可进行餐饮点单。
收银端
实时显示各台余额、处理餐饮点单，并可查看由记分牌下的订单。
更多功能
打印
员工可直接在收银应用打印小票、单据或报表——一个流程，一台平板。
I/O 开关控制
台灯及场馆设备通过本地 WiFi 的 I/O 开关控制——开关操作无需云端。
远程控制 JETSON
通过 TeamViewer 连接吊顶上的 Jetson 进行更新、诊断及配置——无需爬梯。
项目价值
小众 AI 数据集
没有现成数据集，一切从零开始。收集并标注超过 4,000 张图像，解决一个具体的真实世界问题。
边缘性能
成功在资源有限的 Jetson 硬件上部署复杂的 MobileNet-SSD 模型，同时保持实时 FPS。
鲁棒性
通过严谨调校，克服光线、曝光及目标形状颜色相近等环境挑战。
