網路相關之指令

網路相關之指令

前言

  • 在 Ubuntu 中我們可以打開終端機(Ctrl+Alt+T)進行指令操作，就可以透過指令來管理檔案、系統與網路管理。
  • 在說明指令$ls(1)，$表示命令提示符號，ls 表示指令本身，(1) 表示本指令是在手冊第一章節中，詳細說明請參閱►線上手冊(man page)
  • 一般指令格式►$指令  [選項]  [選項值]
  • 該指令的所有用法 ►$指令 --help
  • 指令是由英文單字縮寫構成，因為指令繁多，所以理解指令原文，就很容易記住了。列如 :  ls：list (中文為列表)。

網路參數設定使用的指令

任何時刻如果你想要做好你的網路參數設定，包括 IP 參數、路由參數與無線網路等等，就得要瞭解底下這些相關的指令才行！其中以 ifconfig 及 route 這兩支指令算是較重要的喔！ ^_^！當然，比較新鮮的作法，可以使用 ip 這個彙整的指令來設定 IP 參數啦！

  • ifconfig： 查詢、設定網路卡與 IP 網域等相關參數。
  • ifup, ifdown ： 這兩個檔案是 script，透過更簡單的方式來啟動網路介面。
  • route ：查詢、設定路由表 (route table)。
  • ping :  Packet Internet Groper，網路檢測工具。
  • ip ：複合式的指令， 可以直接修改上述提到的功能。
  • nmap  : 偵測非本機上的其他網路主機。
  • netstat : 看本機網路連線與後門。
  • iptables : 主要是第一層 : 封包過濾式的 netfilter 防火牆，他不是一種服務，是操作netfilter的命令。
  • traceroutes : 檢查從你的電腦到網路另一端的主機是走的什麼路徑。
  • host : 查出某個主機名稱的 IP。
  • nslookup : 查詢 DNS 回應是否正常。
  • nmcli: 查詢所有系統的網路界面。
  • 網路硬體檢查 :使用 dmesg 跟 lspci 
  • 其他常用 : 

#ifconfig(8)

設定網路大概是現在電腦系統裝完以後第一件也是最重要的一件事情。在Linux 的系統上面，最底層觀察與設定網路的指令為ifconfig，用法如下：
  1. #ifconfig►顯示目前正在活動（active）的網路介面卡資訊
  2. #ifconfig -a►顯示系統上面所有的網路介面卡資訊
    • 第一張網卡通常叫做eth0
    • 第二張會叫做eth1。
    • lo代表是loopback，系統預設一定會有這張虛擬的介面 ，預設網路名稱為localhost、IPv4為127.0.0.1
  3. #ifconfig eth0 ►顯示eth0這張網卡的資訊，硬體編號MAC address可以在這邊看到
  4. #ifconfig eth0 up►啟動eth0網卡
  5. #ifconfig eth0 down►關閉eth0網卡
  6. #ifconfig eth0 192.168.55.66►設定網卡的IP位址為192.168.55.66
  7. #ifconfig eth0 netmask 255.255.255.0►設定網卡的網路遮罩為255.255.255.0
  8. #ifconfig eth0 broadcast 192.168.55.255►設定網卡的廣播位址（Broadcast）為192.168.55.255
  9. #ifconfig eth0 192.168.55.66 netmask 255.255.255.0 broadcast 192.168.55.255►指令6, 7, 8的合體，完整設定網卡
  10. #route add default gw 192.168.55.254 eth0►設定網路閘道。雖然不屬於ifconfig指令，但通常設定完IP也必須要指定閘道，網路封包才會知道從哪邊出去，電腦才能夠順利上網
  11. #ifconfig eth0:0 192.168.55.77►指定另外一組IP位址192.168.66.77給eth0這張網路卡。同一張網路卡可以指定很多個IP位址，像是說下面就將另外兩個IP位址指定給eth0這張網卡，名稱分別為eth0:1與eth0:2：
    • ifconfig eth0:1 192.168.55.87
    • ifconfig eth0:2 192.168.55.97
  12. #ifconfig eth0 hw ether AA:BB:CC:DD:EE:FF►將eth0這張網卡的硬體編號MAC address更改成AA:BB:CC:DD:EE:FF
  13. #ifconfig eth0 mtu 1000 ►設定網路的MTU（maximum transmission unit）為1000，意思是最大數據包的只能有1500 bytes。通常乙太網路的預設值是1500，調整這個數值大小有可能會導致網路不通
  14. #ifconfig eth0 promisc ►啟動promiscuous mode。一般來說，網卡拿到封包以後會檢查是不是屬於自己的，如果不是的話就會丟棄；啟動這個promiscuous mode就不會檢查封包，而是把所有接收到的封包都收下來
  15. #ifconfig eth0 -promisc ►關閉promiscuous mode

#ifup(8)，#ifdown(8)

  • #ifup eth0►啟用一個 'eth0' 網路設備
  • #ifdown eth0►禁用一個 'eth0' 網路設備

#route -n : show routing table

現在已逐漸由ip route命令代替。

  • #route add default gw 987.321.456.254
  • #route add -net 192.168.0.0 netmask 255.255.0.0 gw 192.168.1.1► configure static route to reach network '192.168.0.0/16'
  • #route del 0/0 gw IP►gateway remove static route

在虛擬機上Virtual Box

在筆電單機上

#ping:Packet Internet Groper

網際網路包探索器。網路檢測工具，透過發送 ICMP ECHO_REQUEST 的封包，檢查自己與特定設備之間的網路是否暢通，速度是否正常。

  • #ping <host>►確認主機的存在，可輸入 hostname 或是 IP。例如:#ping 8.8.8.8 或 #ping google.com。

若上面只有  lo: 出現， 為網路不通， 請依序做： (每一步都用 ctrl-c 中斷)

  • #ping 自己
  • #ping 鄰居
  • #nmap -sP 192.168.3.0/24
  • #ping gateway
  • #ping 8.8.8.8   ( google.com)

其中第三步應該要印出區網內所有鄰居。 以下是幾種常見的狀況：

  • 如果看不到半個鄰居， 那多半是自己的問題。 例如網路線沒接好或插錯孔。
  • 如果看得到 gateway 但連不到外界 (例如 google 的 DNS 伺服器 8.8.8.8)， 而且鄰居們也是如此， 那多半是 gateway 對外連線有問題。
  • 如果我看得到 gateway 但連不到外界； 可是別人卻看得到 gateway 也連得到外界， 那有可能是我的 IP 跟鄰居衝突了。 請先 ifconfig eth0 down 或 ifdown eth0 清除網卡舊的設定， 再換一個閒置的 IP 再試試看。 (見下方 「有線網卡， 固定 ip」。)

#ip(7,8)

  • #ip addr show <nic>►顯示nic網路卡的ip位址。
  • #ip route del 0/0►
  • #ip link show►想要觀察 Linux 主機上面的網路卡有多少

#nmap -Network Mapper

# nmap [掃瞄類型] [掃瞄參數] [hosts 位址與範圍]

[掃瞄類型]：主要的掃瞄類型有底下幾種：

  • -sT：掃瞄 TCP 封包已建立的連線 connect() ！
  • -sS：掃瞄 TCP 封包帶有 SYN 標籤的資料
  • -sP：以 ping 的方式進行掃瞄
  • -sU：以 UDP 的封包格式進行掃瞄
  • -sO：以 IP 的協定 (protocol) 進行主機的掃瞄

[掃瞄參數]：主要的掃瞄參數有幾種：

  • -PT：使用 TCP 裡頭的 ping 的方式來進行掃瞄，可以獲知目前有幾部電腦存活(較常用)
  • -PI：使用實際的 ping (帶有 ICMP 封包的) 來進行掃瞄
  • -p ：這個是 port range ，例如 1024-, 80-1023, 30000-60000 等等的使用方式

[Hosts 位址與範圍]：這個有趣多了，有幾種類似的類型

  • 192.168.1.100  ：直接寫入 HOST IP 而已，僅檢查一部；
  • 192.168.1.0/24 ：為 C Class 的型態，
  • 192.168.*.*　　：嘿嘿！則變為 B Class 的型態了！掃瞄的範圍變廣了！
  • 192.168.1.0-50,60-100,103,200 ：這種是變形的主機範圍啦！很好用吧！

範例1：使用預設參數掃瞄本機所啟用的 port (只會掃瞄 TCP)

  • $nmap localhost

nmap 的用法很簡單吶！就直接在指令後面接上 IP 或者是主機名稱即可。不過，在預設的情況下 nmap 僅會幫你分析 TCP 這個通訊協定而已，像上面這個例子的輸出結果。但優點是順道也將開啟該埠口的服務也列出來了， 真是好！ ^_^！那如果想要同時分析 TCP/UDP 這兩個常見的通訊協定呢？可以這樣做：

範例2：同時掃瞄本機的 TCP/UDP 埠口

  • $nmap -sTU localhost

嘿嘿！與前面的範例比較一下，你會發現這次多了幾個 UDP 的埠口，這樣分析好多了！然後， 如果你想要瞭解一下到底有幾部主機活在你的網路當中時，則可以這樣做：

範例3：透過 ICMP 封包的檢測，分析區網內有幾部主機是啟動的

  • $nmap -sP 192.168.1.0/24

看到否？鳥哥的環境當中有三部主機活著吶 (Host is up)！並且該 IP 所對應的 MAC 也會被記錄下來， 很不錯吧！如果你還想要將各個主機的啟動的 port 作一番偵測的話，那就得要使用：

  • $nmap 192.168.1.0

之後你就會看到一堆 port number 被輸出到螢幕上囉～如果想要隨時記錄整個網段的主機是否不小心開放了某些服務， 嘿嘿！利用 nmap 配合資料流重導向 (>, >> 等) 來輸出成為檔案， 那隨時可以掌握住您區域網路內每部主機的服務啟動狀況啊！ ^_^

請特別留意，這個 nmap 的功能相當的強大，也是因為如此，所以很多剛在練習的黑客會使用這個軟體來偵測別人的電腦。 這個時候請您特別留意，目前很多的人已經都有『特別的方式』來進行登錄的工作！例如以 TCP_Wrappers (/etc/hosts.allow, /etc/hosts.deny) 的功能來記錄曾經偵測過該 port 的 IP！ 這個軟體用來『偵測自己機器的安全性』是很不錯的一個工具，但是如果用來偵測別人的主機， 可是會『吃上官司』的！特別留意！！

其他範例

  • #nmap 192.168.1.21
  • #nmap -PN 192.168.1.21

#netstat - 看本機網路連線與後門

如果你覺得你的某個網路服務明明就啟動了，但是就是無法造成連線的話，那麼應該怎麼辦？ 首先你應該要查詢一下自己的網路介面所監聽的埠口 (port) 來看看是否真的有啟動，因為有時候螢幕上面顯示的 [OK] 並不一定是 OK 啊！

  • #netstat -an►確認未被連接的連接埠。

# netstat -[參數]  

  • -r  ：列出路由表(route table)，功能如同 route 這個指令；
  • -n  ：不使用主機名稱與服務名稱，使用 IP 與 port number ，如同 route -n
  • 與網路介面有關的參數：
  • -a  ：列出所有的連線狀態，包括 tcp/udp/unix socket 等；
  • -t  ：僅列出 TCP 封包的連線；
  • -u  ：僅列出 UDP 封包的連線；
  • -l  ：僅列出有在 Listen (監聽) 的服務之網路狀態；
  • -p  ：列出 PID 與 Program 的檔名；
  • -c  ：可以設定幾秒鐘後自動更新一次，例如 -c 5 每五秒更新一次網路狀態的顯示；

範例1：列出目前的路由表狀態，且以 IP 及 port number 顯示：

  • $netstat -rn
    • 其實這個參數就跟 route -n 一模一樣，對吧！這不是 netstat 的主要功能啦！

範例2：列出所有網路連線狀態，使用 IP 與 port number，列出 PID/Program Name

  • $netstat -anp

範例3：列出所有TCP /UDP封包的連線，及對應的服務PID

  • $netstat -tup   // show all active network connections and their PID

範例4：列出 "監聽中" 的TCP /UDP封包的連線，及對應的服務PID

  • $netstat-tupl     //show all network services listening on the system and their PID

netstat 的輸出主要分為兩大部分，分別是 TCP/IP 的網路介面部分，以及傳統的 Unix socket 部分。 還記得我們在基礎篇裡面曾經談到檔案的類型嗎？那個 socket 與 FIFO 檔案還記得吧？ 那就是在 Unix 介面用來做為程式資料交流的介面了，也就是上頭表格內看到的 Active Unix domain sockets 的內容囉～

通常鳥哥都是建議加上『 -n 』這個參數的，因為可以避過主機名稱與服務名稱的反查，直接以 IP 及埠口號碼 (port number) 來顯示，顯示的速度上會快很多！至於在輸出的訊息當中， 我們先來談一談關於網路連線狀態的輸出部分，他主要是分為底下幾個大項：

Proto：該連線的封包協定，主要為 TCP/UDP 等封包；

Recv-Q：非由使用者程式連接所複製而來的總 bytes 數；

Send-Q：由遠端主機所傳送而來，但不具有 ACK 標誌的總 bytes 數， 意指主動連線 SYN 或其他標誌的封包所佔的 bytes 數；

Local Address：本地端的位址，可以是 IP (-n 參數存在時)， 也可以是完整的主機名稱。使用的格是就是『 IP:port 』只是 IP 的格式有 IPv4 及 IPv6 的差異。 如上所示，在 port 22 的介面中，使用的 :::22 就是針對 IPv6 的顯示，事實上他就相同於 0.0.0.0:22 的意思。 至於 port 25 僅針對 lo 介面開放，意指 Internet 基本上是無法連接到我本機的 25 埠口啦！

  • Foreign Address：遠端的主機 IP 與 port number
  • stat：狀態列，主要的狀態含有：
  • ESTABLISED：已建立連線的狀態；
  • SYN_SENT：發出主動連線 (SYN 標誌) 的連線封包；
  • SYN_RECV：接收到一個要求連線的主動連線封包；
  • FIN_WAIT1：該插槽服務(socket)已中斷，該連線正在斷線當中；
  • FIN_WAIT2：該連線已掛斷，但正在等待對方主機回應斷線確認的封包；
  • TIME_WAIT：該連線已掛斷，但 socket 還在網路上等待結束；
  • LISTEN：通常用在服務的監聽 port ！可使用『 -l 』參數查閱。

基本上，我們常常談到的 netstat 的功能，就是在觀察網路的連線狀態了，而網路連線狀態中， 又以觀察『我目前開了多少的 port 在等待用戶端的連線』以及 『目前我的網路連線狀態中，有多少連線已建立或產生問題』最常見。 那你如何瞭解與觀察呢？通常鳥哥是這樣處理的：

範例5：秀出目前已經啟動的網路服務

  • $netstat -tulnp

看到上頭的特殊字體吧？那代表目前已經建立連線的一條網路連線，他是由遠端主機 192.168.1.101 啟動一個大於 1024 的埠口向本地端主機 192.168.1.100 的 port 22 進行的一條連線， 你必須要想起來的是：『Client 端是隨機取一個大於 1024 以上的 port 進行連線』，此外『只有 root 可以啟動小於 1024 以下的 port 』，那就看的懂上頭那條連線囉！如果這條連線你想要砍掉他的話， 看到最右邊的 4716 了沒？ kill 會用吧！ ^_^

#iptables

#traceroutes：

檢查從你的電腦到網路另一端的主機是走的什麼路徑

  • #traceroute google.com

#host : 查出某個主機名稱的 IP 

這個指令可以用來查出某個主機名稱的 IP 喔！舉例來說，我們想要知道 tw.yahoo.com 的 IP 時，可以這樣做：

host [-a] hostname [server]

選項與參數：
-a ：列出該主機詳細的各項主機名稱設定資料
[server] ：可以使用非為 /etc/resolv.conf 的 DNS 伺服器 IP 來查詢。

範例：列出 tw.yahoo.com 的 IP 

  • $host tw.yahoo.com

#nslookup：查詢 DNS 回應是否正常

  • #nslookup google.com
這玩意兒的用途與 host 基本上是一樣的，就是用來作為 IP 與主機名稱對應的檢查， 同樣是使用

#nmcli : 查詢所有系統的網路界面

  • # nmcli connection show        //查詢所有系統的網路界面

上面的 NAME 項目就是網路連線界面，而 DEVICE 就是剛剛查詢到的你的網路卡代號。通常網路界面名稱會與網路卡代號相同！ 這樣在設定時比較不容易搞錯就是了。至於 UUID 則是裝置識別碼，基本上每個裝置的識別碼都不一樣才對。最終的 TYPE 當然就是乙太網路 (etherner) 囉。

  • 停止界面運作： #nmcli connection down 界面名稱
  • 刪除界面的方法： #nmcli connection delete 界面名稱
  • 新增的方法： #nmcli connection add [type ethernet] [con-name eth0] [ifname eth0]
  • 重新觀察界面的詳細設定： #nmcli connection show eth0

在實體機器上面不需要進行這個步驟～在虛擬機器上面就需要這樣進行！畢竟這個連線界面是假的！所以我們要改成真的啦！

# nmcli connection show eth0  的內容

  • connection.autoconnect [yes|no]：是否需要啟動這個網路界面
  • ipv4.method [auto|manual]：取得的方式為自動或手動
  • ipv4.addresses [IP/Netmask]：直接設定 IP 位址與子網路遮罩
  • ipv4.gateway [GWIP]：設定 Gateway 的 IP 位址
  • ipv4.dns [DNSIP]：設定 DNS server 的 IP 位址

網路硬體檢查: 使用 dmesg 跟 lspci 


其他常用

  • #rsync -av <host:dir1/> <dir2/>►讓 host的dir1 與 dir2 同步。
  • #rsync -av <dir1/> <host:dir2/>►讓 dir1 與 host 的 dir2 同步。
  • #scp <file> <host:>►將檔案 file 複製到 host 的 home下面。
  • #scp <host:dir1/file> <dir2/>►將 host 的 dir1/file 複製到 dir2下面。
  • #dhclient eth0►以dhcp模式啟用 'eth0'
  • #pppoeconf►#pppoeconf  或 有些版本的指令是 #pppoe-setup 而不是 #pppoeconf; 總之先按 #pppoe 然後按一兩次 Tab 鍵， 系統會提示。
  • echo "1" > /proc/sys/net/ipv4/ip_forward activate ip routing
  • hostname
  • host www.example.com lookup hostname to resolve name to ip address 
  • mii-tool eth0 show link status of 'eth0'
  • ethtool eth0 show statistics of network card 'eth0'
  • tcpdump tcp port 80 show all HTTP traffic
  • iwlist scan show wireless networks
  • iwconfig eth1 show configuration of a wireless network card
  • whois www.example.com lookup on Whois database


參考資料

特色、摘要，Feature、Summary:

關鍵字、標籤，Keyword、Tag:

  • Ubuntu,Linux,Network,

留言

張貼留言

Aron阿龍，謝謝您的留言互動!

這個網誌中的熱門文章

Ubuntu 常用指令、分類與簡介

圖片
常用指令分類與簡介 大綱 前言 常用指令 指令分類 前言 在 Ubuntu 中我們可以打開終端機 (Ctrl+Alt+T) 進行指令操作，就可以透過指令來管理檔案、系統與網路管理。 在說明指令 $ls(1) ， $ 表示命令提示符號， ls 表示指令本身， (1) 表示本指令是在手冊第一章節中，詳細說明請參閱► 線上手冊(man page) 一般指令格式 ► $指令  [選項]  [選項值] 該指令的所有用法  ► $指令 --help 指令是由英文單字縮寫構成，因為指令繁多，所以理解指令原文，就很容易記住了。列如  ►ls：list (中文為列表) 。 常用指令 clear(1) ► 清空螢幕，當終端機列出資料太多。 $clear cd(1)► change directory，移動進入資料夾 $cd ./examples ► 移動到目前資料夾下的 examples 資料夾。 $cd ~  ► 移動到使用者home家目錄：~。 $cd ..  ► 移動到上一層目錄 :  ..。 $cd / ► 移動到根目錄 :  /。 $cd !$ ►移動到前一個命令最後一個參數指定的目錄。 pwd(1) ► print work directory，印出目前工作目錄。 $pwd ls(1) ► list - 查看檔案及子目錄。 $ls ► 列出資料夾、檔案名稱。 $ll  ► 就是  $ls -l : 將資料以列表形式呈現，並且包含檔案細部資料(屬性、權限、時間…) $ls temp  ► 列出資料夾temp 內資料。 $ls -la ► 列出詳細資料和隱藏資料，-l 列出詳細資料，-a 列出隱藏資料。 $ ls *.md ► 列出部分檔案：列出為 .md 的檔案。 cp(1) ► copy，複製檔案。 $echo "TEST" >  README.md ►將字串 "TEST"存新檔案 "README.md" $cp README.md  test.txt ►複製 README.md 另存為 test.txt $cp <file> <dir> ►複製檔案 file 到目錄 dir 下面。 $...
閱讀全文»

iptables的觀念與使用

圖片
iptables的觀念與使用 1.前言 "iptables" 主要是第一層 : 封包過濾式的 netfilter 防火牆，他不是一種服務，是操作netfilter的命令。 Ubuntu server環境，防火牆有很多選擇，從最為易用便捷的 "ufw" 防火牆(Ubuntu預設)，到較新的動態防火牆 " Firewalld "，再到較為專業的防火牆 "iptables"  一應俱全，如何選擇一款合適的防火牆呢？沒有標準答案，但肯定有最合適的選擇。 其中，iptables 這個工具功能全面強大，可以實現很多 ufw 及  Firewalld無 法完成的網絡功能，推薦有一定基礎的用戶使用。 2.理論與觀念 正確的觀念，才能理解，才能正確地應對不同的入侵方式。 iptables防火牆的結構 iptables 是Linux中功能最為強大的防火牆，使用靈活，可以對流入和流出伺服器的數據包進行很精細的控制，當然如果只是用來開啟或禁止某個網絡服務的某個網絡埠，它和 ufw 以及Firewalld都差不多 iptables的三大核心要素是表，鏈和規則。 一言以蔽之，iptables是表的集合，包含四張表(常用的三張 filter, nat, mangle)，表則是鏈的集合，每個表都包含若干個鏈， 而鏈則是規則的集合，真正過濾規則是屬於鏈，iptables的處理流程如下圖所示: 從上圖可觀察到Kernel處理和過濾數據包的流程，描述了封包進入主機到離開主機，會經過哪些tables，這些tables裡面會寫規則，進行放行或攔截。 大致上你可以發現數據包在主機流通時有四張表、五個階段: iptables 四張表(彩色的部分) filter :  整個iptables最關鍵的表，實現封包的過濾，可以由INPUT,FORWARD,OUTPUT這三個能夠實現過濾功能的鏈組成。 nat  :   學過網路的人應該都知道NAT(Network Address Translation)網路地址轉換，正是應為有了這項技術才使得我們現今還能夠有IPv4可以使用，在iptables中也可以實現NAT的相關功能, 例如SNAT, DNAT, MASQUERADE等功能，nat表可以由PREROUTING, FORWARD, P...
閱讀全文»

網路設定必要參數IP、netmask(遮罩)、Gateway(閘道)、DNS

圖片
網路設定必要參數 前言 IP 位址 netmask(遮罩) : 因為 network IP 與 broadcase IP 都可以透過 IP/Netmask 計算出來，因此需要 IP 位址與 Netmask 即可。 Gateway(閘道) 的 IP 位址： 此外，還需要考慮到路由裡面的 Default Gateway 才能夠正確的將非同網域的封包給他傳送出去。 DNS server 的 IP 位址： 想要使用主機名稱上網，就一定要有 DNS server 的 IP 位址才行。 IP: 由 192.168.1.1~192.168.1.254 Netmask(遮罩): 255.255.255.0 Network: 192.168.1.0 Broadcast: 192.168.1.255 Gateway: 每個環境都不同，請自行詢問網路管理員 DNS: 也可以直接設定成 168.95.1.1。台灣地區常用的有中華電信提供的 168.95.1.1 以及 google 提供的 8.8.8.8  與 8.8.4.4 來設定。 那這些參數都需要使用者自己手動來設定嘛？基本上網路參數的給予跟你的主機所在的環境有關系。如果是自己教室內部的環境， 自己指定私有 IP 位址後，再跟計中要一個 public IP 的參數即可～如果是一般住家，可以考慮 ADSL、光纖到府、第四台纜線的網路等等， 如果是跟 ISP 申請伺服器代管，就可以透過手動設定 IP 來處置。基本上，常見的網路參數取得方式有： 自動取得：學名為 dhcp 這個協定，通常使用 auto 取代此方法。網路參數統一放置於 DHCP server 上面，用戶端電腦開機時會去詢問 DHCP 伺服器， 藉以得到正確的網路參數的方式，常見於宿舍網路環境與辦公環境下。 手動設定：手動處理 (manual) 的方式，自己向 ISP 取得相關的網路參數，直接手動設定好網路參數之意。 常見於伺服器本身的環境設定中。 撥接：台灣地區包括 ADSL 以及中華電信光世代，對外都是走電話線，或者是 CAT5 (通常最多到 CAT 5e) 的網路線，只是都附掛在電話上， 需要透過數據機撥接的情況，這種情況的 IP 網路參數也是由 ISP 機房主動分配的，使用者無法手動設定。 第四台纜線 (Cable)：透過電視纜線，第四台提供的線路...
閱讀全文»

了解、分析登錄檔 - log

圖片
了解、分析登錄檔 - log 前言 當你的 Linux 系統出現不明原因的問題時，很多人都告訴你，你要查閱一下登錄檔才能夠知道系統出了什麼問題了，所以說， 了解登錄檔是很重要的事情呢。登錄檔可以記錄系統在什麼時間、哪個主機、哪個服務、出現了什麼訊息等資訊， 這些資訊也包括使用者識別資料、系統故障排除須知等資訊。如果你能夠善用這些登錄檔資訊的話，你的系統出現錯誤時， 你將可以在第一時間發現，而且也能夠從中找到解決的方案，而不是昏頭轉向的亂問人呢。 此外，登錄檔所記錄的資訊量是非常大的，要人眼分析實在很困難。此時利用 shell script 或者是其他軟體提供的分析工具來處理複雜的登錄檔，可以幫助你很多很多喔！ 本文大綱 登錄檔 log 如何運作 logrotate.conf-定義記錄檔的循環的週期 哪些登錄檔log應該定期檢視 常見的登錄檔 Ubuntu下 /var/log/ 下各個日誌檔案的說明 登錄檔所需相關服務 (daemon) 與程式 登錄檔內容的一般格式 分析登錄檔 使用Gnome Logs日誌檢視器查看登錄檔！ 使用指令查看登錄檔 使用 GoAccess 分析 Nginx 網頁記錄檔，即時監控伺服器狀態 Ubuntu日誌管理方法 登錄檔log如何運作 有的登錄檔紀錄的是系統訊息，稱為「系統登錄檔」。而有的登錄檔是紀錄某個特定的服務之使用情況，稱為「服務登錄檔」。通常，這兩者都由系統所提供的一項服務來統一管理(若在傳統Linux系統下這個服務名為syslog，若在ubuntu等系統中則名為rsyslog)，不過也有些大型軟體所提供的服務，其登錄檔不受syslog(或rsyslog)來管理，而有其特別的管理方式。 syslog(或rsyslog)可以設定「哪個類型的系統事件，要寫在哪個登錄檔中」，這些設定被寫在設定檔中。其所在位置如下表： 系列 管理登錄檔的服務 設定檔位置 傳統Linux系統 (如Fedora、centOS、RedHat…等) syslog /etc/syslog.conf Ubuntu等系統 rsyslo...
閱讀全文»

Python 與SQLite 資料庫

圖片
Python 與SQLite 資料庫 大綱 SQLite 基本觀念 資料庫連線 SQLite 資料類型 建立SQLite 資料庫表單 增加SQLite 資料庫表單紀錄 查詢SQLite 資料庫表單 更新SQLite 資料庫表單紀錄 刪除SQLite 資料庫表單紀錄 DB Browser for SQLite 安裝DB browser for sqlite 建立新的 SQLite 資料庫 打開舊的secret資料庫 將台北人口數儲存至 SQLite 資料庫 SQLite 基本觀念 在先前我們有說明 CSV、JSON...等資料格式，我們可以將資料以這些格式儲存，不過我們使用資料時，有時候只是取一個小小的部分，如果每次都要大費周章的開啟檔案處理完成在儲存檔案，其實不是很經濟的事情。 一個好的解決方式是使用輕量級的資料庫程式當作儲存媒介，未來我們可以使用資料庫語法取得資料庫的部分有用資料，這將是一個很好的想法。本文我們將介紹如何使用 Python 建立 SQLite 資料庫，同時也將說明使用 Python 插入insert、截取select、更新update、刪除delete ，SQLite資料庫的內容。 Python 3.0版以上安裝完成後有內建 SQLite 資料庫，本文將以此為實例說明，在使用此 SQLite 前需要 import 導入此 SQLite : import sqlite3 資料庫連線 執行 Python 與資料庫連線的方法如下 : conn = sqlite3.connect(“資料庫名稱”) 上述 conn 是定義的物件名稱，讀者也可以自行定義不一樣的名稱。 connect()  方法執行時，如果 connect() 內的資料庫名稱存在，就可以將 Python 程式與此資料庫名稱建立連線，然後我們可以再 Python 程式內做更進一步的操作，如果這樣庫名稱不存在就會以此為名稱建立一個新的資料庫，然後執行資料庫連線。 資料庫操作結束，我們可以在 Python 內使用下列方法結束 Python 程式與資料庫的連線。 conn.close() 範例 pythonSQLite-01.py :  建立一個新的資料庫 myData.db ，我們習慣使用的 db 當副檔名稱。 ...
閱讀全文»

Blogger文章排版範本

圖片
Text-title大標題 會隨著桌機或手機螢幕調整 Text-head 大標題 會隨著桌機或手機螢幕調整 h1 主題1 會隨著桌機或手機螢幕調整 h2 主題2 會隨著桌機或手機螢幕調整 h3 大標題 會隨著桌機或手機螢幕調整 h4 小標題 會隨著桌機或手機螢幕調整 一般文字 - 一邊不需要能否困難出版社普通使得小學那時付出本文個人，將在這樣外資還在做什麼不限研究所印度，下面機。 參考連結 :尖端的電子設備以及用於配備感知 success 成就、獲獎、感言、結論.....等，文字內容。 quoted m-2 波士頓動力是移動機器人的全球領導者，它應對了一些最棘手的機器人挑戰。我們將動態控制和平衡的原理與複雜的機械設計，尖端的電子設備以及用於配備感知，導航和智能功能的高性能機器人的下一代軟件結合在一起。 callout-info 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-warning 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-danger 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center m-1 border-primary 眼淚設置沒人每個人緩緩精美趕緊跟我賓館之家父母，本身即使物業他就正常策略成就超級反覆，充滿核心而來人口完全。 m-2 bo...
閱讀全文»

Pandas 模組

圖片
Pandas 模組 前言 pandas 是Python程式語言的用於數據操縱和分析的軟體庫。特別是，它提供操縱數值表格和時間序列的資料結構和運算操作。 Pandas 套件全名 Pan el D a taFrame S eries，很多人常用熊貓作為暱稱，但實際上命名的意義和緣由與熊貓八竿子打不著關係。Pandas 套件提供了新的資料結構類別 Index、Series、DataFrame 與 Panel（其中 Panel 資料結構類別在 0.20.0 停止開發維護，）扮演著 Python 在資料分析中的「最後一塊拼圖」；當使用者有表格式資料（Tabular data）的運算處理需求時，就可以透過她達成目的，另外她也提供了豐富的表格式資料載入、整併清理、轉換外型與視覺化的函式。 本文  實例 使用 Python Shell 做演示。 大綱 安裝 Pandas 的 Series 資料型態 使用串列 list 建立 Series 物件 使用 python 字典建立 Series 物件 使用 Numpy 的 ndarray 建立 Series 物件 建立含索引的 Series 物件 使用純量建立 Series 物件 列出 Series 物件索引與值 Series的運算 DataFrame 建立 DataFrame 使用 Series 欄位 columns 屬性 Series 物件的屬性 使用元素是字典的串列建立 DataFrame  使用字典建立 DataFrame index屬性 將 columns 欄位當作 DataFrame 物件的 index 基本 Pandas 資料分析與處理 索引參照屬性 直接索引 四則運算方法 邏輯運算方法 Numpy 的函數應用在 Pandas NaN 相關的運算 NaN 的處理 幾個簡單的統計函數 增加 index 檔案的輸入與輸出 寫入 CSV 格式檔案 讀取 CSV 格式檔案 Pandas 繪圖 使用 Series 畫折線圖表 使用 DataFrame 繪圖表基本知識 直條圖的設計 一個圖表含不同數值資料 多個數值軸的設計 使用 Series 物件設計圓餅圖 時間序列(Time Series) 時間模組 datetime 設定特定時間 一段時間 timedelta 使用 Pyt...
閱讀全文»

如何撰寫Shell Script

圖片
如何撰寫Shell Script 前言 Shell 是一種讓使用者可以和作業系統 Kernel（核心用來控制 CPU、記憶體、硬碟等硬體）互動溝通的橋樑。Shell Script 主要是使用在 Linux 和 MacOS 等 Unix-like 作業系統的自動化操作指令的程式語言。其透過 Shell 命令列直譯器來執行（我們這邊主要使用 bash shell，其他的 Unix shell 觀念大致類似）。 一般情況 Shell Script 常用於系統管理、自動化操作檔案、自動化重複的指令碼、分析 log 等文件檔案、列印呈現我們想要的資料等，透過程式語言的使用來減少重複瑣碎的工作，所以若能妥善使用將提升不少開發者和軟體工程師的日常工作效率。 流程步驟 1. 編輯檔案 一般我們會使用 .sh 副檔名來命名 Shell Script 檔案。然後將該檔案設定為可執行： 這邊以demo.sh 為範例。 更改檔案 +x 的執行權限。 chmod +x demo.sh 可以透過檢視檔案詳細資料觀看是否已有 +x 的執行權限 $ls -l demo.sh # -rwxr-xr-x 1 user staff 106 Nov 16 10:41 demo.sh 2. 第一行: 宣告 # 宣告使用 /bin/bash 這是Linux預設的Shell 為bash，若你使用的是其他的Shell，如: csh, sh, ksh，請改為 /bin/bash=> /bin/csh....。 3. 程式內容直接使用Shell Command 接著，我們先利用一個簡單的範例：將目前執行 process 的 PID 依照數字大小排序，取出前 10 名，來了解撰寫 Shell Script 的基本架構。 # 宣告使用 /bin/bash #!/bin/bash echo "=== 將目前執行 process 的 PID 依照數字大小排序，取出前 10 名 === " # ps 為列出 process 相關資訊，透過 | pipe 管線傳遞資料。awk 可以根據 pattern 進行資料處理（這邊印出第一欄 PID）而 sort 是進行排序，其排序時，預設都是把資料當作字串來排序，若想讓資料根據實際數值的大小來排序，可以加上 -n 參數。-r 則是由大到小排序，預設是...
閱讀全文»

查詢指令或設定 -Linux 線上手冊 - man

圖片
 Linux 線上手冊（man page） man page（manual page 的簡寫）是在 UNIX/Linux 系統上特有的說明文件格式，在這個領域大家都會直接稱呼這樣的文件為 man page。 參考網址 : Ubuntu manuals官 網   (外連結) ， Michael Kerrisk - man page (外連結)  。 基本查詢 一般稍微有經驗的 Linux 使用者大概都知道使用 man 指令加上要查詢的說明主題來閱讀線上手冊，通常主題的名稱就是指令或是函數的名稱，例如查詢 ls 的用法： $man ls $ls(1)、$kill(1)  ....可用指令檢視不同章節的介紹。 指定章節（Section） Linux 的線上手冊分為幾個主要的章節（sections），每個章節對應不同的類別： man 1 ：執行檔或程式或是 shell 指令。如: ls、kill ....等。 man 2 ：系統呼叫（system calls，Linux 核心所提供的函數）。 man 3 ：函式庫或例行工作。 man 4 ：特殊檔案（通常位於 /dev）。 man 5 ：檔案格式與協定，如 /etc/passwd。 man 6 ：遊戲。 man 7 ：雜項（巨集等，如 man(7)、groff(7)）。 man 8 ：系統管理者指令（通常是管理者 root 專用的）。 man 9 ：內核中的接口和子程序（非標準）。 而在線上手冊中的文件都會以小括弧來標明該文件所屬的章節，例如 LS(1) 就代表這份文件隸屬於第 1 個章節。 有些時候一個主題名稱在不同章節中有不同的說明文件，如果查詢一個主題的時候沒有指定章節，預設會依照 1 n l 8 3 2 3posix 3pm 3perl 5 4 9 6 7 這個順序來搜尋，然後顯示第一個搜尋到的章節。 例如 passwd 這個主題有 passwd(1) 與 passwd(5) 兩個章節，如果不指定章節的話： $man passwd 就會顯示 passwd(1)，而若要查詢 passwd(5) 的話，就要明確指定章節數： $man 5 passwd 列出所有章節 有時候我們對於某個主題有興趣，但是卻不知道該主題有哪些章節可以查詢，這時候就可以使用 -a...
閱讀全文»

下載網頁使用 requests 模組

圖片
下載網頁使用 requests 模組 前言 本篇介紹如何在 Python 中使用 requests 模組建立各種 HTTP 請求，從網頁伺服器上取得想要的資料。 大綱 requests 模組重要功能 安裝套件 使用方法 requests 基本應用範例 搜尋網頁特定內容 下載網頁失敗的異常處理 網頁伺服器阻擋造成讀取錯誤 爬蟲程式偽裝成瀏覽器 認識 robots.txt 儲存下載的網頁 檢視網頁原始檔 Chrome瀏覽器為例 requests 模組重要功能 Keep-Alive & Connection Pooling 保持持續連接直到一方中斷和連接池 International Domains and URLs 支持國際域名和 URL Sessions with Cookie Persistence 具有 Cookie 持久性的會話 Browser-style SSL Verification 瀏覽器式 SSL 驗證 Automatic Content Decoding 自動內容解碼 Basic/Digest Authentication 基本/摘要式身份驗證 Elegant Key/Value Cookies 優雅的鍵/值 (key/value) 結構的 Cookie Automatic Decompression  自動解壓縮 Unicode Response Bodies  支援Unicode格式的伺服器回應文件主體 HTTP(S) Proxy Support 支持代理 IP  Multipart File Uploads 分段文件上傳 Streaming Downloads 串流下載 Connection Timeouts 連接超時 Chunked Requests 支援 Chunked 編碼，也可想成分塊傳輸編碼請求 .netrc Support  支持.netrc 文件 安裝套件 pip install requests 使用方法 引入  import requests ...
閱讀全文»