拿取教程(Fetch Tutorial)

前言

在本教程中，您將創建一個功能齊全的 API 示例，使 Spot 能夠自動與您一起玩 fetch。 您將學習如何：

• 訓練 機器學習模型來檢測狗玩具
• 使用 Spot 的平板電腦在線 可視化 該模型的結果
• 命令機器人用手臂和操作 API 拿起狗玩具
• 使用 現成的off-the-shelf  機器學習ML 模型來  檢測一個人
• 將 狗玩具 扔到離人兩米遠的地方

最後，您將擁有一個功能齊全的 API 示例，該示例使 Spot 能夠與您一起自主播放提取。

所需材料

• 帶手臂的機器人
• 狗玩具、手巾或任何符合以下條件的物品：
• 具有鮮明的視覺外觀
• 在平板電腦視圖中很容易看到
• Spot 的手臂能夠進行拾取，使用平板電腦中的 拾取物件Pick Up Object  選項
• 一台運行 Ubuntu 18.04 的電腦
• 支持 CUDA 的 GPU
• 一個相對較大的操作區域（5x5米）

大綱

• 第 2 部：訓練模型 Training the Model
• 第 3 部：評估模型 Evaluating the Model
• 第 4 部：自主取貨 Autonomous Pick Up
• 第 5 部：檢測人員和玩 Fetch - Detecting People and Playing Fetch

收集和標記訓練數據

概述

我們將使用遷移學習來快速有效地訓練一個模型來尋找狗玩具。

1. 使用 Spot 做 狗玩具的 圖像收集 collect images
2. 下載預訓練的模型權重
3. 訓練 頂層識別模型 top layers of the model  來識別我們的狗玩具

設置 Python 3 和 Spot SDK

• 按照 Spot SDK 的 快速入門指南 Quickstart guide 進行操作。
• 注意：本教程需要該指南的 virtualenv 部分。

當你使用 API，成功使 Spot 移動後，您就可以開始了。

source my_spot_env/bin/activate # enter your virtualenv
cd ~/spot-sdk/python/examples/hello_spot # or wherever you installed Spot SDK
python3 hello_spot.py --username user --password YOUR_ROBOTS_PASSWORD 192.168.80.3

收集圖像

我們的目標是在我們想要測試的相同環境中收集狗玩具的圖像。如果您希望您的模型在許多環境中工作，您需要在盡可能多的環境中收集數據。

為了收集數據，我們將使用平板電腦運行機器人，同時從 API 下載圖像。 我們想要一組多樣化的視點，因此我們將在拍攝圖像時四處走動 Spot。

下一步 >> 第 2 部：訓練模型 Training the Model

參考資料

• Tutorial: Playing Fetch with Spot
• CUDA : （Compute Unified Device Architecture，统一计算架构），CUDA是由輝達NVIDIA所推出的一種整合技術，是該公司對於GPGPU的正式名稱。透過這個技術，使用者可利用NVIDIA的GeForce 8以後的GPU和較新的Quadro GPU進行計算。亦是首次可以利用GPU作為C-編譯器的開發環境。NVIDIA行銷的時候，往往將編譯器與架構混合推廣，造成混亂。
• off-the-shelf :  現成的
  

特色、摘要，Feature、Summary:

關鍵字、標籤，Keyword、Tag: