理解 Spot 編程(Understanding Spot Programming)

前言大綱

本指南將幫助您了解驅動 Spot 和 Spot Python SDK 的編程原則。

基礎機器人服務(Fundamental Robot Services)

理解“id”命令(Understanding the “id” command)

“id”命令是最簡單的 Spot 命令之一，因此了解它的工作原理很有用，因為 Spot 的每個命令都執行許多相同的基本功能。

用 --verbose 指定詳細標誌，你會得到很多信息！我們將解釋這些片段……

$ python -m bosdyn.client --verbose 192.168.80.3 id
2020-03-26 17:30:27,571 - DEBUG - Creating standard Sdk, cert glob: "None"
2020-03-26 17:30:27,610 - DEBUG - Created client for robot-id
2020-03-26 17:30:27,615 - DEBUG - Created channel to 192.168.80.3 at port 443 with authority id.spot.robot
...

第一個輸出行創建一個 Spot SDK 物件。所有 Spot API 程序都以這種方式啟動。

請注意，輸出文本本身演示了 Spot 對 Python 日誌記錄工具 logging facility 的使用，我們建議您使用相同的方法執行日誌記錄。

第三行創建 Spot 的機器人 ID  robot-id 服務的 客戶端 client。 Spot API 通過一組網絡可訪問服務公開機器人功能 - 類似於 微服務microservice 架構。

上面輸出的最後一行顯示了啟動 gRPC 通道到 Spot 的命令。與機器人的所有通信均通過安全的 HTTPS 連接進行。Spot API 使用 gRPC 作為其底層 RPC（遠程過程調用）傳輸。gRPC 是一種用於服務的高性能網絡連接，支持多種編程環境。 gRPC 使用 Protocol Buffers 作為消息傳遞格式，它具有緊湊的在線表示並支持向後和向前兼容性。
2020-03-26 17:30:27,616 - DEBUG - blocking request: b'/bosdyn.api.RobotIdService/GetRobotId'
header {
  request_timestamp {
    seconds: 1585258227
    nanos: 616570624
  }
  client_name: "BosdynClientbblank02:__main__.py-28906"
}

在上面的輸出中，可以看到對 bosdyn.api.RobotIdService 進行了區塊性的 GetRobotId  RPC。

最後，RobotIdService 使用包含機器人信息的響應來響應 GetRobotId  RPC。
2020-03-26 17:30:27,650 - DEBUG - response: b'/bosdyn.api.RobotIdService/GetRobotId'
header {
  request_header {
    request_timestamp {
      seconds: 1585258227
      nanos: 616570624
    }
    client_name: "BosdynClientbblank02:__main__.py-28906"
  }
  request_received_timestamp {
    seconds: 1585258226
    nanos: 224952738
  }
  response_timestamp {
    seconds: 1585258226
    nanos: 224990830
  }
  error {
    code: CODE_OK
  }
  request {
    type_url: "type.googleapis.com/bosdyn.api.RobotIdRequest"
    value: "\n6\n\014\010\363\275\364\363\005\020\200\276\200\246\002\022&BosdynClientbblank02:__main__.py-28906"
  }
}
robot_id {
  serial_number: "beta-BD-90490007"
  species: "spot"
  version: "V3"
  software_release {
    version {
      major_version: 2
    }
    changeset_date {
      seconds: 1583941992
    }
    changeset: "b11205d698e"
    install_date {
      seconds: 1583953617
    }
  }
  nickname: "beta29"
  computer_serial_number: "02-19904-9903"
}

列表服務(Listing Services)

以下命令列出了機器人上可用的所有服務。注意robot-id 服務已列出，我們在上一節中使用過。服務是您在 Spot 上與之通信的內容，使用它們來發出命令、檢索信息...等。
$ python -m bosdyn.client --user user --password password 192.168.80.3 dir list 
$ python -m bosdyn.client --user user --password password 192.168.80.3 dir list
$ python -m bosdyn.client --user user --password password 192.168.80.3 dir list
name              	type                                     authority               tokens
---------------------------------------------------------------------------------------------------
auth                    bosdyn.api.AuthService                     auth.spot.robot
directory               bosdyn.api.DirectoryService                api.spot.robot            user
directory-registration  bosdyn.api.DirectoryRegistrationService    api.spot.robot            user
estop           	bosdyn.api.EstopService         	   estop.spot.robot 	     user
graph-nav-service      	bosdyn.api.graph_nav.GraphNavService       graph-nav.spot.robot      user
image              	bosdyn.api.ImageService            	   api.spot.robot            user
lease              	bosdyn.api.LeaseService           	   api.spot.robot            user
...

有關 Spot 的 API 架構Spot’s API Architecture 的更多詳細信息，請參閱概念文檔。

理解如何設置與命令機器人移動(Understanding How to Setup and Command Spot to Move)

從命令行運行 Spot 以了解命令 Spot 的基礎知識很有用。

啟動一個 python 解釋器並導入 bosdyn.client 套件 - 假設您已經成功完成了我們的 Spot Python SDK 快速入門QuickStart，這應該可以動作了。
$ python
Python 3.6.8 (default, Jan 14 2019, 11:02:34)
[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import bosdyn.client

創建SDK物件(Create the SDK object)

所有波士頓動力 API 程序都首先創建一個帶有客戶端名稱參數的 SDK 物件。客戶端名稱用於幫助調試，並且沒有任何語義信息 - 因此請使用對您有幫助的任何字符串。

>>> sdk = bosdyn.client.create_standard_sdk('understanding-spot')

創建機器人物件(Create a Robot object)

要像我們在 Spot Python SDK 快速入門QuickStart 中所做的那樣檢索機器人 ID，我們首先需要創建一個機器人物件，並使用其網絡地址作為參數。

>>> robot = sdk.create_robot('192.168.80.3')

檢索機器人ID(Retrieve the Robot ID)

如前所述，Spot 通過許多服務公開其功能。波士頓動力 Python API 為每個服務都有一組相應的客戶端，這些客戶端是從機器人物件創建的。

讓我們創建一個 robots-id 服務的 RobotIdClient，然後檢索 id 信息：
>>>id_client = robot.ensure_client('robot-id')
>>>id_client.get_id()
serial_number: "beta-BD-90490007"
species: "spot"
.....

閉塞vs非同步，機器人Python SDK 函式功能(Blocking vs. Asynchronous Spot Python SDK functions)

上面的 get_id() 調用是閉塞的——它在 RPC 完成後才會完成。可以調整調用的參數，例如等待多長時間的超時。下面的例子設置了一個太短的超時並且失敗了……
>>>id_client.get_id(timeout=0.0001)
Traceback (most recent call last):
  File "/mnt/c/spot_v2_0/bblank_spot_v2_0_env/lib/python3.6/site-packages/bosdyn/client/common.py", line 290, in call
    response = rpc_method(request, **kwargs)
  File "/mnt/c/spot_v2_0/bblank_spot_v2_0_env/lib/python3.6/site-packages/grpc/_channel.py", line 826, in __call__
    return _end_unary_response_blocking(state, call, False, None)
  File "/mnt/c/spot_v2_0/bblank_spot_v2_0_env/lib/python3.6/site-packages/grpc/_channel.py", line 729, in _end_unary_response_blocking
    raise _InactiveRpcError(state)
grpc._channel._InactiveRpcError: <_inactiverpcerror call.cc="" core="" created="" debug_error_string="{" description="" details="Deadline Exceeded" eadline="" exceeded="" file="" file_line="" from="" grpc_message="" grpc_status="" ipv4:192.168.80.3:443="" lib="" of="" peer="" received="" rpc="" rror="" src="" status="StatusCode.DEADLINE_EXCEEDED" surface="" terminated="" that="" with:="">
除了閉塞調用，客戶端還支持非閉塞非同步調用。這在高性能應用程序中非常有用，在這些應用程序中，執行緒不能停止等待 RPC 完成。Python 的 futures 架構被用作非同步通信的基礎。有關如何使用這些函數的信息，請參閱 get_robot_state_async programming example  編程示例。

讓我們對機器人 id 進行非同步調用並等待返回的 future object 的結果：
>>>fut = id_client.get_id_async()
>>>fut.result()
serial_number: "beta-BD-90490007"
species: "spot"
.....

檢視機器人狀態(Inspecting robot state)

機器人狀態服務 robot-state service 包含有關機器人的動態信息，例如位置、電池狀態等。

服務與授權(Services and Authentication)

在檢索機器人狀態之前，您需要對機器人進行身份驗證。 大多數服務都需要對用戶進行身份驗證 - 這可以防止隨機網絡攻擊者控制機器人或攔截可能敏感的信息。

假設用戶名是 user，密碼是 password，發出以下命令。

>>>robot.authenticate('user', 'password')

如果您提供了錯誤的憑據，則會引發異常。

處理機器人狀態(Retrieving Robot State)

現在我們可以為機器人狀態服務 robot-state service 創建一個 RobotStateClient，並獲取有關 Spot 的信息：
>>>state_client = robot.ensure_client('robot-state')
>>>state_client.get_robot_state()
power_state {
    timestamp {
        seconds: 1585324337
        nanos: 644209920
    }
    ... a whole lot more

機器人狀態是一種訊息，定義在 Protobufs (Robot State was a Message, Messages are defined by Protobufs)

上面檢索到的機器人狀態消息的結構由 protobuf 定義。 這是機器人所說的語言。 Spot SDK 完全公開了 protobuf，因此要真正了解 Spot 編程，您需要查看並了解 protobuf。 看一看，它們就在您的發行版中！ ../../protos/bosdyn/api/robot_state.proto

機器人幀框(Spot’s Frames)

通常，了解 Spot 的位置以及它與周圍世界的關係很有用。 為了表達這些信息，Spot 使用幀來表示物件和位置（例如“身體”幀框），並使用 3D 變換來描述使用平移向量和旋轉四元數的兩個幀框之間的關係。 有關幀和轉換的更多詳細信息、3D 轉換的可能數學以及 Spot 知道的不同幀類別，請參閱 幾何和幀Geometry and Frames  文檔。

擷取並看相機圖像(Capture and View Camera images)

除了 5 個深度攝像頭之外，Spot 還擁有 5 個“魚眼”攝像頭。可以從這些圖像源中捕獲圖像。 ‘list_image_sources’ RPC 返回有效的相機來源名稱。
>>>from bosdyn.client.image import ImageClient
>>>image_client = robot.ensure_client(ImageClient.default_service_name)
>>>sources = image_client.list_image_sources()
>>>[source.name for source in sources]
['back_depth', 'back_depth_in_visual_frame', 'back_fisheye_image', 'frontleft_depth', 'frontleft_depth_in_visual_frame', 'frontleft_fisheye_image', 'frontright_depth', 'frontright_depth_in_visual_frame', 'frontright_fisheye_image', 'left_depth', 'left_depth_in_visual_frame', 'left_fisheye_image', 'right_depth', 'right_depth_in_visual_frame', 'right_fisheye_image']

使用上面列出的來源名稱，我們可以從一個或多個圖像源捕獲圖像。 這些圖像可以以 RAW 格式或 JPG 格式（具有指定畫質）捕獲。 在單個 RPC 中請求的多個圖像將在硬件時間上彼此同步。 讓我們檢索 left_fisheye_image 並顯示它（除非您使用的是 MacOS 或 WSL）……

>>>image_response = image_client.get_image_from_sources(["left_fisheye_image"])[0]
>>>from PIL import Image
>>>import io
>>>image = Image.open(io.BytesIO(image_response.shot.image.data))
>>>image.show()

配置電機起動授權-軟體的急停(Configuring “Motor Power Authority” - software E-Stop)

在 Spot 啟動之前，必須正確配置獨立的 Motor Power Authority。 我們在下面和我們的函數中使用術語“E-Stop”作為 Motor Power Authority 的簡寫。 急停是 Spot 的一項關鍵安全功能，可讓操作員在情況需要時立即切斷電機電源。 請注意，在某些圈子中，術語“E-Stop”意味著硬件電源短路，因此我們的語義舞蹈，因為 Spot 的 Motor Power Authority 是網絡軟件解決方案，而不是硬件解決方案。

我們通過為急停服務“E-Stop”創建一個客戶端並請求狀態來看看機器人的初始急停狀態：

>>>estop_client = robot.ensure_client('estop')
>>>estop_client.get_status()
stop_level: ESTOP_LEVEL_CUT
stop_level_details: "Not all endpoints are registered"

stop_level: ESTOP_LEVEL_CUT 行表示將不會啟用電源，因為 E-Stop 級別為 CUT。

stop_level_details: "Not all endpoints are registered" 行表示沒有註冊急停端點。 急停端點是急停系統的客戶端組件，可讓用戶立即斷電。 Spot 可能一次註冊多個 E-Stop 端點 - 例如，在操作員培訓期間，受訓者可能有一個平板電腦可以讓他們控制機器人和 E-Stop，而培訓師可能有一個平板電腦也可以讓他們 緊急停止機器人。

創建並註冊急停端點(Create and register an E-Stop Endpoint)

安全注意事項：註冊端點的行為將觸發機器人的緊急停止，因此僅當 Spot 的電機已關閉時才執行此步驟。

>>>estop_endpoint = bosdyn.client.estop.EstopEndpoint(client=estop_client, name='my_estop', estop_timeout=9.0)
>>>estop_endpoint.force_simple_setup()

急停端點應定期檢查機器人，以確保機器人得到安全控制。 如果超過 estop_timeout 秒，電機電源將被切斷。 調整這個數字很重要：數字太小，可能會因為暫時的網絡問題而斷電； 數量太大，您將面臨在沒有安全監督的情況下 Spot 運營的風險。

force_simple_setup 調用會發出一些 API 調用，使您的急停端點成為新急停配置中的唯一端點。

讓我們在註冊我們的端點後請求緊急停止狀態：
>>>estop_client.get_status()
endpoints {
  endpoint {
    role: "PDB_rooted"
    name: "my_estop"
    unique_id: "0"
    timeout {
      seconds: 9
    }
    cut_power_timeout {
      seconds: 13
    }
  }
  stop_level: ESTOP_LEVEL_CUT
  time_since_valid_response {
  }
}
stop_level: ESTOP_LEVEL_CUT
stop_level_details: "Endpoint requested stop"

現在出現一個名為 my_estop 的急停端點。 端點本身說 ESTOP_LEVEL_CUT，來自很久以前 time_since_valid_response 的響應。 尚未發生來自 E-Stop Endpoint 的簽到。 端點和 E-Stop 系統的停止級別都是 ESTOP_LEVEL_CUT - 如果單個端點想要斷電，則整個系統將斷電。

清除急停(Clear the E-Stop)

要更改 E-Stop 狀態並允許通電，端點需要定期檢查。我們將使用 EstopKeepAlive 類別從後台執行緒定期執行這些簽入。

>>>estop_keep_alive = bosdyn.client.estop.EstopKeepAlive(estop_endpoint)
>>>estop_client.get_status()
endpoints {
  endpoint {
    role: "PDB_rooted"
    name: "my_estop"
    unique_id: "0"
    timeout {
      seconds: 9
    }
    cut_power_timeout {
      seconds: 13
    }
  }
  stop_level: ESTOP_LEVEL_NONE
  time_since_valid_response {
    nanos: 996009984
  }
}
stop_level: ESTOP_LEVEL_NONE
stop_level 現在是 ESTOP_LEVEL_NONE，表示可以啟動電源。

請注意，在許多實現中，您應該為 EstopKeepAlive 指定 keep_running_cb 參數，該函數由後台執行緒調用以查看是否應繼續簽入。 例如，交互式 UI 應該為 E-Stop 系統提供一個 keep_running_cb 函數，該函數會阻塞直到 UI 執行緒運行一個循環。 這可以防止凍結的客戶端繼續為機器人供電。

取得機器人的擁有權(Taking ownership of Spot -Leases)

在為 Spot 的電機供電之前還有一步，那就是獲得機器人的所有權。 機器人可以有多個客戶端，但只有一個可以控制機器人，即使其他客戶端可能正在請求數據或充當急停端點。

為了控制機器人，客戶需要獲得 Lease 租約。 對機器人的每個移動命令都必須提供有效的租約。 當客戶不再想控制機器人時，可以退還租約。

與 E-Stop 一樣，租賃持有者需要定期與 Spot 簽到，以表明他們仍在主動控制機器人。 如果距離簽到時間過長，機器人將開始通訊丟失程序 - 坐下在可以的情況下，然後關閉電源。

讓我們為 lease 租用服務創建一個 LeaseClient 並列出當前 租用leases：

>>>lease_client = robot.ensure_client('lease')
>>>lease_client.list_leases()
[resource: "body"
lease {
  resource: "body"
  epoch: "IOSDMpfEqvdTHZGV"
  sequence: 0
}
lease_owner {
}
]

啟動機器人(Powering on the robot)

現在您已通過 Spot 身份驗證、創建 E-Stop 端點並獲得租約，是時候啟動機器人了。

確保機器人處於安全位置、坐姿、電池已充電且未連接到岸電。

power_on 輔助函數首先向機器人發出較低級別的啟動命令，然後等待啟動命令反饋。 該命令在機器人通電後返回，或者如果啟動命令因任何原因失敗則拋出錯誤。 通常需要幾秒鐘才能完成。

robot.power_on(timeout_sec=20)

機器人對象提供了一種檢查機器人電源狀態的方法。這只是使用 RobotStateService 來檢查 PowerState：

>>>robot.is_powered_on()
True

建立時間同步(Establishing timesync)

需要時間同步來協調您的設備和 Spot 之間的時鐘偏差。 從安全角度來看，這允許用戶定義命令有效的時間段。 機器人類別，維護一個時間同步執行緒。 下面的 wait_for_sync 調用將啟動一個時間同步執行緒，並阻塞直到建立同步。 建立時間同步後，該執行緒將定期調用以保持時間同步。 每個客戶端都有一個時鐘標識符，用於驗證客戶端是否為需要此功能的服務執行了時間同步。 客戶端函式庫的編寫使得時間同步的大多數實現細節都在後台處理。

>>>robot.time_sync.wait_for_sync()

下命令給機器人(Commanding the robot)

RobotCommandService 是指揮機動性的主要介面。 移動性和移動性相關命令包括 : stand,  sit,  selfright,  safe_power_off,  velocity,  and  trajectory(軌跡)。 在本教程中，我們將只發出stand 和safe power off 命令。

API 提供了一個輔助函數來支持 Spot。 此命令包裝了多個  RobotCommand  RPC 調用。 首先發出站立命令。 機器人檢查一些基本的先決條件（通電、未故障、未緊急停止）並返回命令 ID。 然後可以將此命令 id 傳遞給機器人命令反饋 RPC。 此 call 調用返回高級反饋（“機器人是否仍在處理命令？”）以及命令特定反饋feedback （在站立的情況下，“機器人是否站立？”）。

>>>from bosdyn.client.robot_command import RobotCommandClient, blocking_stand
>>>command_client = robot.ensure_client(RobotCommandClient.default_service_name)
>>>blocking_stand(command_client, timeout_sec=10)

機器人現在應該是站立的。 此外，可以修改站立命令以控制身體的高度以及身體相對於footprint frame足跡幀框 的方向。 足跡幀框是重力對齊幀框，其原點位於腳的幾何中心。 Z 軸向上，X 軸向前。 

命令 proto 可以非常具有表現力，因此，如果超出默認參數，則非常重要。 為了增加簡單性，Spot API 提供了幾個輔助函數，將 Spot API RPC 命令組合成單行函數。

我們鼓勵您嘗試使用這些不同的參數，參考用於一般波士頓動力機器人的 robots_command proto 父類別和機器人命令 robot command proto 子類別。

# Command Spot to rotate about the Z axis.
>>> from bosdyn.geometry import EulerZXY
>>> footprint_R_body = EulerZXY(yaw=0.4, roll=0.0, pitch=0.0)
>>> from bosdyn.client.robot_command import RobotCommandBuilder
>>> cmd = RobotCommandBuilder.stand_command(footprint_R_body=footprint_R_body)
>>> command_client.robot_command(cmd)
# Command Spot to raise up.
>>> cmd = RobotCommandBuilder.stand_command(body_height=0.1)
>>> command_client.robot_command(cmd)

機器人關機(Powering off the robot)

使用 power_off 命令關閉機器人電源。 請注意，首選方法是使用 cut_immediately=False ，其中 Spot 將停下來並在關閉電源之前輕輕坐下。 另一個關閉選項會立即切斷電機電源，這會導致機器人倒塌。
robot.power_off(cut_immediately=False)


參考資料

  • Understanding Spot Programming
  • 微服務microservice : 微服務是一種軟體架構風格，它是以專注於單一責任與功能的小型功能區塊 為基礎，利用模組化的方式組合出複雜的大型應用程式，各功能區塊使用與語言無關 的API集相互通訊。
  • tweak : 調整， 擰
  • intercept :  截聽
  • quaternion : 四元數

特色、摘要，Feature、Summary:

關鍵字、標籤，Keyword、Tag:

留言

張貼留言

Aron阿龍，謝謝您的留言互動!

這個網誌中的熱門文章

Ubuntu 常用指令、分類與簡介

圖片
常用指令分類與簡介 大綱 前言 常用指令 指令分類 前言 在 Ubuntu 中我們可以打開終端機 (Ctrl+Alt+T) 進行指令操作，就可以透過指令來管理檔案、系統與網路管理。 在說明指令 $ls(1) ， $ 表示命令提示符號， ls 表示指令本身， (1) 表示本指令是在手冊第一章節中，詳細說明請參閱► 線上手冊(man page) 一般指令格式 ► $指令  [選項]  [選項值] 該指令的所有用法  ► $指令 --help 指令是由英文單字縮寫構成，因為指令繁多，所以理解指令原文，就很容易記住了。列如  ►ls：list (中文為列表) 。 常用指令 clear(1) ► 清空螢幕，當終端機列出資料太多。 $clear cd(1)► change directory，移動進入資料夾 $cd ./examples ► 移動到目前資料夾下的 examples 資料夾。 $cd ~  ► 移動到使用者home家目錄：~。 $cd ..  ► 移動到上一層目錄 :  ..。 $cd / ► 移動到根目錄 :  /。 $cd !$ ►移動到前一個命令最後一個參數指定的目錄。 pwd(1) ► print work directory，印出目前工作目錄。 $pwd ls(1) ► list - 查看檔案及子目錄。 $ls ► 列出資料夾、檔案名稱。 $ll  ► 就是  $ls -l : 將資料以列表形式呈現，並且包含檔案細部資料(屬性、權限、時間…) $ls temp  ► 列出資料夾temp 內資料。 $ls -la ► 列出詳細資料和隱藏資料，-l 列出詳細資料，-a 列出隱藏資料。 $ ls *.md ► 列出部分檔案：列出為 .md 的檔案。 cp(1) ► copy，複製檔案。 $echo "TEST" >  README.md ►將字串 "TEST"存新檔案 "README.md" $cp README.md  test.txt ►複製 README.md 另存為 test.txt $cp <file> <dir> ►複製檔案 file 到目錄 dir 下面。 $...
閱讀全文»

iptables的觀念與使用

圖片
iptables的觀念與使用 1.前言 "iptables" 主要是第一層 : 封包過濾式的 netfilter 防火牆，他不是一種服務，是操作netfilter的命令。 Ubuntu server環境，防火牆有很多選擇，從最為易用便捷的 "ufw" 防火牆(Ubuntu預設)，到較新的動態防火牆 " Firewalld "，再到較為專業的防火牆 "iptables"  一應俱全，如何選擇一款合適的防火牆呢？沒有標準答案，但肯定有最合適的選擇。 其中，iptables 這個工具功能全面強大，可以實現很多 ufw 及  Firewalld無 法完成的網絡功能，推薦有一定基礎的用戶使用。 2.理論與觀念 正確的觀念，才能理解，才能正確地應對不同的入侵方式。 iptables防火牆的結構 iptables 是Linux中功能最為強大的防火牆，使用靈活，可以對流入和流出伺服器的數據包進行很精細的控制，當然如果只是用來開啟或禁止某個網絡服務的某個網絡埠，它和 ufw 以及Firewalld都差不多 iptables的三大核心要素是表，鏈和規則。 一言以蔽之，iptables是表的集合，包含四張表(常用的三張 filter, nat, mangle)，表則是鏈的集合，每個表都包含若干個鏈， 而鏈則是規則的集合，真正過濾規則是屬於鏈，iptables的處理流程如下圖所示: 從上圖可觀察到Kernel處理和過濾數據包的流程，描述了封包進入主機到離開主機，會經過哪些tables，這些tables裡面會寫規則，進行放行或攔截。 大致上你可以發現數據包在主機流通時有四張表、五個階段: iptables 四張表(彩色的部分) filter :  整個iptables最關鍵的表，實現封包的過濾，可以由INPUT,FORWARD,OUTPUT這三個能夠實現過濾功能的鏈組成。 nat  :   學過網路的人應該都知道NAT(Network Address Translation)網路地址轉換，正是應為有了這項技術才使得我們現今還能夠有IPv4可以使用，在iptables中也可以實現NAT的相關功能, 例如SNAT, DNAT, MASQUERADE等功能，nat表可以由PREROUTING, FORWARD, P...
閱讀全文»

網路設定必要參數IP、netmask(遮罩)、Gateway(閘道)、DNS

圖片
網路設定必要參數 前言 IP 位址 netmask(遮罩) : 因為 network IP 與 broadcase IP 都可以透過 IP/Netmask 計算出來，因此需要 IP 位址與 Netmask 即可。 Gateway(閘道) 的 IP 位址： 此外，還需要考慮到路由裡面的 Default Gateway 才能夠正確的將非同網域的封包給他傳送出去。 DNS server 的 IP 位址： 想要使用主機名稱上網，就一定要有 DNS server 的 IP 位址才行。 IP: 由 192.168.1.1~192.168.1.254 Netmask(遮罩): 255.255.255.0 Network: 192.168.1.0 Broadcast: 192.168.1.255 Gateway: 每個環境都不同，請自行詢問網路管理員 DNS: 也可以直接設定成 168.95.1.1。台灣地區常用的有中華電信提供的 168.95.1.1 以及 google 提供的 8.8.8.8  與 8.8.4.4 來設定。 那這些參數都需要使用者自己手動來設定嘛？基本上網路參數的給予跟你的主機所在的環境有關系。如果是自己教室內部的環境， 自己指定私有 IP 位址後，再跟計中要一個 public IP 的參數即可～如果是一般住家，可以考慮 ADSL、光纖到府、第四台纜線的網路等等， 如果是跟 ISP 申請伺服器代管，就可以透過手動設定 IP 來處置。基本上，常見的網路參數取得方式有： 自動取得：學名為 dhcp 這個協定，通常使用 auto 取代此方法。網路參數統一放置於 DHCP server 上面，用戶端電腦開機時會去詢問 DHCP 伺服器， 藉以得到正確的網路參數的方式，常見於宿舍網路環境與辦公環境下。 手動設定：手動處理 (manual) 的方式，自己向 ISP 取得相關的網路參數，直接手動設定好網路參數之意。 常見於伺服器本身的環境設定中。 撥接：台灣地區包括 ADSL 以及中華電信光世代，對外都是走電話線，或者是 CAT5 (通常最多到 CAT 5e) 的網路線，只是都附掛在電話上， 需要透過數據機撥接的情況，這種情況的 IP 網路參數也是由 ISP 機房主動分配的，使用者無法手動設定。 第四台纜線 (Cable)：透過電視纜線，第四台提供的線路...
閱讀全文»

了解、分析登錄檔 - log

圖片
了解、分析登錄檔 - log 前言 當你的 Linux 系統出現不明原因的問題時，很多人都告訴你，你要查閱一下登錄檔才能夠知道系統出了什麼問題了，所以說， 了解登錄檔是很重要的事情呢。登錄檔可以記錄系統在什麼時間、哪個主機、哪個服務、出現了什麼訊息等資訊， 這些資訊也包括使用者識別資料、系統故障排除須知等資訊。如果你能夠善用這些登錄檔資訊的話，你的系統出現錯誤時， 你將可以在第一時間發現，而且也能夠從中找到解決的方案，而不是昏頭轉向的亂問人呢。 此外，登錄檔所記錄的資訊量是非常大的，要人眼分析實在很困難。此時利用 shell script 或者是其他軟體提供的分析工具來處理複雜的登錄檔，可以幫助你很多很多喔！ 本文大綱 登錄檔 log 如何運作 logrotate.conf-定義記錄檔的循環的週期 哪些登錄檔log應該定期檢視 常見的登錄檔 Ubuntu下 /var/log/ 下各個日誌檔案的說明 登錄檔所需相關服務 (daemon) 與程式 登錄檔內容的一般格式 分析登錄檔 使用Gnome Logs日誌檢視器查看登錄檔！ 使用指令查看登錄檔 使用 GoAccess 分析 Nginx 網頁記錄檔，即時監控伺服器狀態 Ubuntu日誌管理方法 登錄檔log如何運作 有的登錄檔紀錄的是系統訊息，稱為「系統登錄檔」。而有的登錄檔是紀錄某個特定的服務之使用情況，稱為「服務登錄檔」。通常，這兩者都由系統所提供的一項服務來統一管理(若在傳統Linux系統下這個服務名為syslog，若在ubuntu等系統中則名為rsyslog)，不過也有些大型軟體所提供的服務，其登錄檔不受syslog(或rsyslog)來管理，而有其特別的管理方式。 syslog(或rsyslog)可以設定「哪個類型的系統事件，要寫在哪個登錄檔中」，這些設定被寫在設定檔中。其所在位置如下表： 系列 管理登錄檔的服務 設定檔位置 傳統Linux系統 (如Fedora、centOS、RedHat…等) syslog /etc/syslog.conf Ubuntu等系統 rsyslo...
閱讀全文»

Python 與SQLite 資料庫

圖片
Python 與SQLite 資料庫 大綱 SQLite 基本觀念 資料庫連線 SQLite 資料類型 建立SQLite 資料庫表單 增加SQLite 資料庫表單紀錄 查詢SQLite 資料庫表單 更新SQLite 資料庫表單紀錄 刪除SQLite 資料庫表單紀錄 DB Browser for SQLite 安裝DB browser for sqlite 建立新的 SQLite 資料庫 打開舊的secret資料庫 將台北人口數儲存至 SQLite 資料庫 SQLite 基本觀念 在先前我們有說明 CSV、JSON...等資料格式，我們可以將資料以這些格式儲存，不過我們使用資料時，有時候只是取一個小小的部分，如果每次都要大費周章的開啟檔案處理完成在儲存檔案，其實不是很經濟的事情。 一個好的解決方式是使用輕量級的資料庫程式當作儲存媒介，未來我們可以使用資料庫語法取得資料庫的部分有用資料，這將是一個很好的想法。本文我們將介紹如何使用 Python 建立 SQLite 資料庫，同時也將說明使用 Python 插入insert、截取select、更新update、刪除delete ，SQLite資料庫的內容。 Python 3.0版以上安裝完成後有內建 SQLite 資料庫，本文將以此為實例說明，在使用此 SQLite 前需要 import 導入此 SQLite : import sqlite3 資料庫連線 執行 Python 與資料庫連線的方法如下 : conn = sqlite3.connect(“資料庫名稱”) 上述 conn 是定義的物件名稱，讀者也可以自行定義不一樣的名稱。 connect()  方法執行時，如果 connect() 內的資料庫名稱存在，就可以將 Python 程式與此資料庫名稱建立連線，然後我們可以再 Python 程式內做更進一步的操作，如果這樣庫名稱不存在就會以此為名稱建立一個新的資料庫，然後執行資料庫連線。 資料庫操作結束，我們可以在 Python 內使用下列方法結束 Python 程式與資料庫的連線。 conn.close() 範例 pythonSQLite-01.py :  建立一個新的資料庫 myData.db ，我們習慣使用的 db 當副檔名稱。 ...
閱讀全文»

Blogger文章排版範本

圖片
Text-title大標題 會隨著桌機或手機螢幕調整 Text-head 大標題 會隨著桌機或手機螢幕調整 h1 主題1 會隨著桌機或手機螢幕調整 h2 主題2 會隨著桌機或手機螢幕調整 h3 大標題 會隨著桌機或手機螢幕調整 h4 小標題 會隨著桌機或手機螢幕調整 一般文字 - 一邊不需要能否困難出版社普通使得小學那時付出本文個人，將在這樣外資還在做什麼不限研究所印度，下面機。 參考連結 :尖端的電子設備以及用於配備感知 success 成就、獲獎、感言、結論.....等，文字內容。 quoted m-2 波士頓動力是移動機器人的全球領導者，它應對了一些最棘手的機器人挑戰。我們將動態控制和平衡的原理與複雜的機械設計，尖端的電子設備以及用於配備感知，導航和智能功能的高性能機器人的下一代軟件結合在一起。 callout-info 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-warning 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-danger 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center m-1 border-primary 眼淚設置沒人每個人緩緩精美趕緊跟我賓館之家父母，本身即使物業他就正常策略成就超級反覆，充滿核心而來人口完全。 m-2 bo...
閱讀全文»

Pandas 模組

圖片
Pandas 模組 前言 pandas 是Python程式語言的用於數據操縱和分析的軟體庫。特別是，它提供操縱數值表格和時間序列的資料結構和運算操作。 Pandas 套件全名 Pan el D a taFrame S eries，很多人常用熊貓作為暱稱，但實際上命名的意義和緣由與熊貓八竿子打不著關係。Pandas 套件提供了新的資料結構類別 Index、Series、DataFrame 與 Panel（其中 Panel 資料結構類別在 0.20.0 停止開發維護，）扮演著 Python 在資料分析中的「最後一塊拼圖」；當使用者有表格式資料（Tabular data）的運算處理需求時，就可以透過她達成目的，另外她也提供了豐富的表格式資料載入、整併清理、轉換外型與視覺化的函式。 本文  實例 使用 Python Shell 做演示。 大綱 安裝 Pandas 的 Series 資料型態 使用串列 list 建立 Series 物件 使用 python 字典建立 Series 物件 使用 Numpy 的 ndarray 建立 Series 物件 建立含索引的 Series 物件 使用純量建立 Series 物件 列出 Series 物件索引與值 Series的運算 DataFrame 建立 DataFrame 使用 Series 欄位 columns 屬性 Series 物件的屬性 使用元素是字典的串列建立 DataFrame  使用字典建立 DataFrame index屬性 將 columns 欄位當作 DataFrame 物件的 index 基本 Pandas 資料分析與處理 索引參照屬性 直接索引 四則運算方法 邏輯運算方法 Numpy 的函數應用在 Pandas NaN 相關的運算 NaN 的處理 幾個簡單的統計函數 增加 index 檔案的輸入與輸出 寫入 CSV 格式檔案 讀取 CSV 格式檔案 Pandas 繪圖 使用 Series 畫折線圖表 使用 DataFrame 繪圖表基本知識 直條圖的設計 一個圖表含不同數值資料 多個數值軸的設計 使用 Series 物件設計圓餅圖 時間序列(Time Series) 時間模組 datetime 設定特定時間 一段時間 timedelta 使用 Pyt...
閱讀全文»

如何撰寫Shell Script

圖片
如何撰寫Shell Script 前言 Shell 是一種讓使用者可以和作業系統 Kernel（核心用來控制 CPU、記憶體、硬碟等硬體）互動溝通的橋樑。Shell Script 主要是使用在 Linux 和 MacOS 等 Unix-like 作業系統的自動化操作指令的程式語言。其透過 Shell 命令列直譯器來執行（我們這邊主要使用 bash shell，其他的 Unix shell 觀念大致類似）。 一般情況 Shell Script 常用於系統管理、自動化操作檔案、自動化重複的指令碼、分析 log 等文件檔案、列印呈現我們想要的資料等，透過程式語言的使用來減少重複瑣碎的工作，所以若能妥善使用將提升不少開發者和軟體工程師的日常工作效率。 流程步驟 1. 編輯檔案 一般我們會使用 .sh 副檔名來命名 Shell Script 檔案。然後將該檔案設定為可執行： 這邊以demo.sh 為範例。 更改檔案 +x 的執行權限。 chmod +x demo.sh 可以透過檢視檔案詳細資料觀看是否已有 +x 的執行權限 $ls -l demo.sh # -rwxr-xr-x 1 user staff 106 Nov 16 10:41 demo.sh 2. 第一行: 宣告 # 宣告使用 /bin/bash 這是Linux預設的Shell 為bash，若你使用的是其他的Shell，如: csh, sh, ksh，請改為 /bin/bash=> /bin/csh....。 3. 程式內容直接使用Shell Command 接著，我們先利用一個簡單的範例：將目前執行 process 的 PID 依照數字大小排序，取出前 10 名，來了解撰寫 Shell Script 的基本架構。 # 宣告使用 /bin/bash #!/bin/bash echo "=== 將目前執行 process 的 PID 依照數字大小排序，取出前 10 名 === " # ps 為列出 process 相關資訊，透過 | pipe 管線傳遞資料。awk 可以根據 pattern 進行資料處理（這邊印出第一欄 PID）而 sort 是進行排序，其排序時，預設都是把資料當作字串來排序，若想讓資料根據實際數值的大小來排序，可以加上 -n 參數。-r 則是由大到小排序，預設是...
閱讀全文»

查詢指令或設定 -Linux 線上手冊 - man

圖片
 Linux 線上手冊（man page） man page（manual page 的簡寫）是在 UNIX/Linux 系統上特有的說明文件格式，在這個領域大家都會直接稱呼這樣的文件為 man page。 參考網址 : Ubuntu manuals官 網   (外連結) ， Michael Kerrisk - man page (外連結)  。 基本查詢 一般稍微有經驗的 Linux 使用者大概都知道使用 man 指令加上要查詢的說明主題來閱讀線上手冊，通常主題的名稱就是指令或是函數的名稱，例如查詢 ls 的用法： $man ls $ls(1)、$kill(1)  ....可用指令檢視不同章節的介紹。 指定章節（Section） Linux 的線上手冊分為幾個主要的章節（sections），每個章節對應不同的類別： man 1 ：執行檔或程式或是 shell 指令。如: ls、kill ....等。 man 2 ：系統呼叫（system calls，Linux 核心所提供的函數）。 man 3 ：函式庫或例行工作。 man 4 ：特殊檔案（通常位於 /dev）。 man 5 ：檔案格式與協定，如 /etc/passwd。 man 6 ：遊戲。 man 7 ：雜項（巨集等，如 man(7)、groff(7)）。 man 8 ：系統管理者指令（通常是管理者 root 專用的）。 man 9 ：內核中的接口和子程序（非標準）。 而在線上手冊中的文件都會以小括弧來標明該文件所屬的章節，例如 LS(1) 就代表這份文件隸屬於第 1 個章節。 有些時候一個主題名稱在不同章節中有不同的說明文件，如果查詢一個主題的時候沒有指定章節，預設會依照 1 n l 8 3 2 3posix 3pm 3perl 5 4 9 6 7 這個順序來搜尋，然後顯示第一個搜尋到的章節。 例如 passwd 這個主題有 passwd(1) 與 passwd(5) 兩個章節，如果不指定章節的話： $man passwd 就會顯示 passwd(1)，而若要查詢 passwd(5) 的話，就要明確指定章節數： $man 5 passwd 列出所有章節 有時候我們對於某個主題有興趣，但是卻不知道該主題有哪些章節可以查詢，這時候就可以使用 -a...
閱讀全文»

下載網頁使用 requests 模組

圖片
下載網頁使用 requests 模組 前言 本篇介紹如何在 Python 中使用 requests 模組建立各種 HTTP 請求，從網頁伺服器上取得想要的資料。 大綱 requests 模組重要功能 安裝套件 使用方法 requests 基本應用範例 搜尋網頁特定內容 下載網頁失敗的異常處理 網頁伺服器阻擋造成讀取錯誤 爬蟲程式偽裝成瀏覽器 認識 robots.txt 儲存下載的網頁 檢視網頁原始檔 Chrome瀏覽器為例 requests 模組重要功能 Keep-Alive & Connection Pooling 保持持續連接直到一方中斷和連接池 International Domains and URLs 支持國際域名和 URL Sessions with Cookie Persistence 具有 Cookie 持久性的會話 Browser-style SSL Verification 瀏覽器式 SSL 驗證 Automatic Content Decoding 自動內容解碼 Basic/Digest Authentication 基本/摘要式身份驗證 Elegant Key/Value Cookies 優雅的鍵/值 (key/value) 結構的 Cookie Automatic Decompression  自動解壓縮 Unicode Response Bodies  支援Unicode格式的伺服器回應文件主體 HTTP(S) Proxy Support 支持代理 IP  Multipart File Uploads 分段文件上傳 Streaming Downloads 串流下載 Connection Timeouts 連接超時 Chunked Requests 支援 Chunked 編碼，也可想成分塊傳輸編碼請求 .netrc Support  支持.netrc 文件 安裝套件 pip install requests 使用方法 引入  import requests ...
閱讀全文»