AI Snooker
AI 計分系統 — 以電腦視覺實時為桌球賽事執法
一套邊緣 AI 系統，透過天花鏡頭監察桌球檯，以在 Jetson 硬件上自行訓練的模型偵測球和球桿，並為場地驅動實時計分板、餐飲落單及收銀系統。
DETECTION
SCOREBOARD
HARDWARE
CASHIER
TRAINING DATA專案概覽
// 挑戰所在
球手以小額賭注分擔租檯費用。場地需要一部計分板平板及一部收銀平板，兩者均從伺服器實時串流金額與結餘。每當有人得分，伺服器須按他們設定的遊戲規則，計算每人應付多少。
// AI 解決方案
天花鏡頭將畫面傳送至場地內運行 MobileNet-SSD 的 Jetson Nano，以 30 FPS 實時偵測桌球。顧客租檯後，計分板隨即啟用，檯燈亦會亮起。當 AI 偵測到得分，Jetson 便將結果傳送至計分板，雲端則計算每人應付的金額。
// 實際成效
計分板平板與收銀平板均運行 Flutter 應用程式，並從伺服器實時串流金額與結餘。當 AI 偵測到得分，伺服器便套用遊戲規則，計算每位球手應付的租檯費用——全程自動化。
關鍵數據
系統架構
安裝於球檯上方的邊緣 AI 硬件，與場地平板及雲端互相通訊。
邊緣部署
安裝於天花的硬件裝置，以獲得最佳鳥瞰視角（約 1.7 米）。
NVIDIA JETSON NANO
邊緣 AI 運算模組，為場地提供實時物件偵測。
數據流程
租檯之時
- 1顧客租檯（按分鐘計費）
- 2計分板隨即啟用
- 3I/O 開關亮起檯燈
- 4Jetson 長開待命，持續監察
結餘——以雲端為準
- 1雲端持有金額與結餘
- 2計分板從雲端串流結餘
- 3收銀系統從雲端串流結餘
得分之時
- 1Jetson 將得分傳送至計分板
- 2雲端按遊戲規則計算新結餘
- 3計分板顯示最新結餘
AI 與物件偵測
實時偵測（俯視）
電腦視覺模型以鳥瞰視角追蹤桌球、球桿及袋口。
精準度與顏色
經微調的 MobileNet-SSD 模型，處理細小物件及關鍵的顏色辨別。
實時偵測示範
實況畫面：AI 在賽事進行期間實時偵測桌球、球桿及袋口。
實時偵測——模型原始輸出
偵測能力
偵測對象
可偵測所有球色（紅、黃、綠、啡、藍、粉紅、黑、白）、球桿、檯邊、袋口及 D 區。
效能表現
為 Jetson 硬件上的邊緣 AI 而優化，達到約 30 FPS，提供流暢的實時追蹤能力。
模型訓練
使用雲端 H100 GPU，以超過 4,000 張自行標註的圖像訓練，並針對定界框及解像度作出自訂修正。
標註樣本
這個問題並無現成數據集——每張訓練圖像都是從零開始收集和標註。
紅球
紅球偵測的標註樣本。
黃球
黃球偵測的標註樣本。
袋口
袋口的標註樣本。
球桿
球桿偵測的標註樣本。
標註特寫
定界框與標籤的特寫。
遇到的難題
數據集失衡
部分類別（如紅球）的樣本遠多於其他類別，可能令模型產生偏差。透過謹慎取樣及數據增強，確保訓練期間所有類別均有充分代表。
SSD 框尺寸
透過將 SSD 框尺寸調整至符合偵測對象大小的範圍來解決。
更多已攻克的挑戰
遠距離細小物件
從天花鏡頭看，桌球僅約 40–60 像素。我們提高了輸入解像度並調校錨框尺寸，令模型能可靠地偵測和分類。
邊緣端實時 FPS
在原本的 Jetson Nano 上以可用的幀率運行偵測器相當勉強。我們改用速度快達 80 倍的 Jetson Orin Nano，令推理跟得上鏡頭畫面。
偵測抖動
原始偵測結果在幀與幀之間跳動，觀感欠佳，亦可能影響計分。我們會忽略球路徑上突然出現的顏色變化，令計分板接收到穩定一致的偵測結果。
畫面邊緣鏡頭變形
廣角鏡頭變形令畫面邊緣的球呈橢圓形。我們沒有進行鏡頭校正，而是在訓練中加入變形數據，令模型學會處理畫面邊緣的橢圓形狀。
實時計分板
AI 不只看見桌球，更看懂賽事。
座標串流
實時串流每顆球的 X、Y 座標。
入袋偵測
追蹤球的路徑，偵測球在袋口附近「消失」的一刻。
即時計分
每當有人得分，應用程式便將事件傳送至伺服器計算。
計分板與收銀
計分板按遊戲規則顯示每人應付金額。收銀系統串流各檯結餘、處理餐飲落單，並可查看由計分板下的訂單。
場地應用程式
運行於場地平板上的 Flutter 應用程式——全部從雲端串流實時狀態。
實時串流
每顆球的 X、Y 座標由 Jetson 實時串流至計分板及雲端。
計分板
從伺服器串流金額與結餘；得分事件會觸發按遊戲規則計算每人應付金額。
餐飲落單
同一部計分板平板亦可餐飲落單。
收銀系統
串流各檯結餘、處理餐飲落單，並可查看由計分板下的訂單。
更多功能
列印
員工可直接在收銀應用程式列印收據、單據或報表——一個流程，一部平板。
I/O 開關控制
檯燈及場地設備透過本地 WiFi 的 I/O 開關控制——開關操作毋須雲端。
遙距控制 JETSON
透過 TeamViewer 連接天花上的 Jetson 進行更新、診斷及設定——毋須爬梯。
項目價值
小眾 AI 數據集
沒有現成數據集，一切從零開始。收集並標註超過 4,000 張圖像，解決一個具體的真實世界問題。
邊緣效能
成功在資源有限的 Jetson 硬件上部署複雜的 MobileNet-SSD 模型，同時維持實時 FPS。
穩健性
透過嚴謹調校，克服光線、曝光及物件形狀顏色相近等環境挑戰。
