網路服務Port(埠口)監測與管理

網路服務Port(埠口)監測與管理

1.前言

為什麼我們的主機會回應網路上面的一些要求封包呢？例如我們設定了一部 WWW 主機後，當有來自 Internet 的 WWW 要求時，我們的主機就會予以回應，這是因為我們的主機有啟用了 WWW 的監聽埠口啊！所以，當我們啟用了一個 daemon 時，就可能會造成主機的埠口在進行監聽的動作，此時該 daemon 就是已經對網路上面提供服務了！萬一這個 daemon 程式有漏洞，因為他提供了 Internet 的服務，所以就容易被 Internet 上面的 Hacker 所攻擊了！所以說，仔細的檢查自己系統上面的埠口到底開了多少個，並且予以嚴格的管理，才能夠降低被攻擊的可能性啊！

大綱

2.什麼是 port

當我們的主機啟動了一些服務，相對應的這些服務就會開啟一些Port (埠口) 。『服務』跟『 port 』對應表。參考下列網址:常見的連接埠中文說明 ， Internet Assigned Numbers Authority (IANA)連接埠的官方清單

  • 伺服器端啟動的監聽埠口所對應的服務是固定的：
    • 例如 WWW 服務開啟在 port 80 ，FTP 服務開啟在 port 21，email 傳送開啟在 port 25 等等，都是通訊協定上面的規範！
  • 用戶端啟動程式時，隨機啟動一個大於 1024以上的埠口：
    • 用戶端啟動的 port 是隨機產生的，主要是開啟在大於 1024 以上的埠口。這個 port 也是由某些軟體所產生的， 例如瀏覽器、Filezilla 這個 FTP 用戶端程式等等。
  • 一部伺服器可以同時提供多種服務：
    • 所謂的『監聽』是某個服務程式會一直常駐在記憶體當中，所以該程式啟動的 port 就會一直存在。 只要伺服器軟體啟動的埠口不同，那就不會造成衝突。當用戶端連接到此伺服器時，透過不同的埠口，就可以取得不同的服務資料囉。 所以，一部主機上面當然可以同時啟動很多不同的服務啊！
  • 共 65536 個 port：
    • TCP/UDP 表頭資料中，就知道 port 佔用 16 個位元，因此一般主機會有 65536 個 port，而這些 port 又分成兩個部分，以 port 1024 作區隔：
    • 只有 root 才能啟動的保留的 port：
      • 在小於 1024 的埠口，都是需要以 root 的身份才能啟動的，這些 port 主要是用於一些常見的通訊服務，在 Linux 系統下，常見的協定與 port 的對應是記錄在 /etc/services 裡面的。
    • 大於 1024 用於 client 端的 port：
      • 在大於 1024 以上的 port 主要是作為 client 端的軟體啟動的 port 。
  • 可以自定義連外Port範圍嗎?
    • 只要更改核心參數即可，位置在 /proc/sys/net/ipv4/ip_local_port_range
    • 例如，Ubuntu 預設 32768 - 60999，若要將連外Port範圍設在60000~65000之間，可執行下列指令
      • $echo "60000 65000"> /proc/sys/net/ipv4/ip_local_port_range
    • 可使用 netstat  查詢是否有更改範圍
      • $netstat -tun
  •  port 的安全性：
    • 沒有所謂的 port 的安全性！對安全真正有危害的是『某些不安全的服務』 而不是『開了哪些 port 』才是！因此，沒有必要的服務就將他關閉吧！ 尤其某些網路服務還會啟動一些 port 哩！另外，那些已啟動的軟體也需要持續的保持更新喔！

3.埠口的觀察： netstat, nmap

我們現在知道這個 port 是什麼鬼東西了，再來就是要來瞭解一下，我們的主機到底是開了多少的 port 呢？由於 port 的啟動與服務有關，那麼『服務』跟『 port 』對應的檔案是哪一個？再提醒一次呦！是『 /etc/services 』啦！而常用來觀察 port 的則有底下兩個程式：

  • netstat：在本機上面以自己的程式監測自己的 port；
  • nmap：透過網路的偵測軟體輔助，可偵測非本機上的其他網路主機，但有違法之虞。

netstat

在做為伺服器的 Linux 系統中，開啟的網路服務越少越好！ 因為較少的服務可以較容易除錯 (debug) 與瞭解安全漏洞，並可避免不必要的入侵管道！ 所以，這個時候請瞭解一下您的系統當中有沒有哪些服務被開啟了呢？ 要瞭解自己的系統當中的服務項目，最簡便的方法就是使用 netstat 了！

列出在監聽的網路服務：

  • $netstat -tunl

上面說明了我的主機至少有啟動 port 22，631，53 ...等，而且觀察各連線介面，可發現 631 為 TCP 埠口，但只針對 lo 內部迴圈測試網路提供服務，網際網路是連不到該埠口的。至於 port 22 則有提供網際網路的連線功能。

列出已連線的網路連線狀態：

  • $netstat -tun

從上面的資料來看，我的本地端沒有直接上網非伺服器，連在VirtualBox內 (Local Address， 10.0.2.2:67，而非192.168......) 目前僅有一條已建立的連線。

刪除已建立或在監聽當中的連線：

如果想要將已經建立，或者是正在監聽當中的網路服務關閉的話，最簡單的方法當然就是找出該連線的 PID， 然後將他 kill 掉即可啊！例如下面的範例：

  • $netstat -tunp

如上面的範例，我們可以找出來該連線是由 sshd 這個程式來啟用的，並且他的 PID 是 1342， 希望你不要心急的用 killall 這個指令，否則容易刪錯人 (因為你的主機裡面可能會有多個 sshd 存在)， 應該要使用 kill 這個指令才對喔！

  • $kill -9 1342

詳細有關 netstat ，參考 : netstat 指令介紹

nmap

如果你要偵測的設備並沒有可讓你登入的作業系統時，那該怎麼辦？舉例來說，你想要瞭解一下公司的網路印表機是否有開放某些協定時， 那該如何處理啊？現在你知道 netstat 可以用來查閱本機上面的許多監聽中的通訊協定， 那例如網路印表機這樣的非本機的設備，要如何查詢啊？呵呵！用 nmap 就對了！

nmap (註1)的軟體說明之名稱為：『Network exploration tool and security / port scanner』，顧名思義， 這個東西是被系統管理員用來管理系統安全性查核的工具！他的具體描述當中也提到了， nmap 可以經由程式內部自行定義的幾個 port 對應的指紋資料，來查出該 port 的服務為何，所以我們也可以藉此瞭解我們主機的 port 到底是幹嘛用的！

# nmap [掃瞄類型] [掃瞄參數] [hosts 位址與範圍]

[掃瞄類型]：主要的掃瞄類型有底下幾種：

  • -sT：掃瞄 TCP 封包已建立的連線 connect() ！
  • -sS：掃瞄 TCP 封包帶有 SYN 標籤的資料
  • -sP：以 ping 的方式進行掃瞄
  • -sU：以 UDP 的封包格式進行掃瞄
  • -sO：以 IP 的協定 (protocol) 進行主機的掃瞄

[掃瞄參數]：主要的掃瞄參數有幾種：

  • -PT：使用 TCP 裡頭的 ping 的方式來進行掃瞄，可以獲知目前有幾部電腦存活(較常用)
  • -PI：使用實際的 ping (帶有 ICMP 封包的) 來進行掃瞄
  • -p ：這個是 port range ，例如 1024-, 80-1023, 30000-60000 等等的使用方式

[Hosts 位址與範圍]：這個有趣多了，有幾種類似的類型

  • 192.168.1.100  ：直接寫入 HOST IP 而已，僅檢查一部；
  • 192.168.1.0/24 ：為 C Class 的型態，
  • 192.168.*.*　　：嘿嘿！則變為 B Class 的型態了！掃瞄的範圍變廣了！
  • 192.168.1.0-50,60-100,103,200 ：這種是變形的主機範圍啦！很好用吧！

範例1：使用預設參數掃瞄本機所啟用的 port (只會掃瞄 TCP)

  • $nmap localhost

詳細有關 nmap，參考 : nmap 指令介紹

4.埠口與服務的啟動/關閉及開機時狀態設定

我們就知道，其實 port 是由執行某些軟體之後被軟體啟動的。所以要關閉某些 port 時，那就直接將某個程式給他關閉就是了！關閉的方法你當然可以使用 kill，不過這畢竟不是正統的解決之道，因為 kill 這個指令通常具有強制關閉某些程式的功能，但我們想要正常的關閉該程式啊！ 所以，就利用系統給我們的 script 來關閉就好了啊。 在此同時，我們就得再來稍微複習一下，一般傳統的服務有哪幾種類型？

stand alone 與 super daemon

在一般正常的 Linux 系統環境下，服務的啟動與管理主要有兩種方式：

  • Stand alone
    • 顧名思義，stand alone 就是直接執行該服務的執行檔，讓該執行檔直接載入到記憶體當中運作， 用這種方式來啟動可以讓該服務具有較快速回應的優點。一般來說，這種服務的啟動 script 都會放置到 /etc/init.d/ 這個目錄底下，所以你通常可以使用：『 /etc/init.d/sshd restart 』之類的方式來重新啟動這種服務。
  • Super daemon
    • 用一個超級服務作為總管，來統一管理某些特殊的服務。在 CentOS 6.x 裡面使用的則是 xinetd 這個 super daemon 啊！這種方式啟動的網路服務雖然在回應上速度會比較慢， 不過，可以透過 super daemon 額外提供一些控管，例如控制何時啟動、何時可以進行連線、 那個 IP 可以連進來、是否允許同時連線等等。通常個別服務的設定檔放置在 /etc/xinetd.d/ 當中，但設定完畢後需要重新以『 /etc/init.d/xinetd restart 』重新來啟動才行！
詳述內容，參考 : 服務(service)與守護神(daemons)

那麼如果我想要將我系統上面的 port 111 關掉的話， 那應該如何關閉呢？最簡單的作法就是先找出啟動那個 port 111 的程式喔！

找出啟動port的服務程式

透過上面的這個分析的流程，你可以利用系統提供的很多方便的工具來達成某個服務的關閉！ 為啥這麼麻煩？不是利用 kill -9 990 就可以刪掉該服務了嗎？ 

  • $kill -9 990

是沒錯啦！不過，你知道該服務是做啥用的嗎？你知道將他關閉之後，你的系統會出什麼問題嗎？ 如果不知道的話，那麼利用上面的流程不就可以找出該服務軟體，再利用 rpm 查詢功能， 不就能夠知道該服務的作用了？所以說，這個方式還是對您會有幫助的啦！

另外，最簡單的，我們也可以利用第一道防火牆 ufw 封鎖port 111

  • $sudo ufw deny 111      # 封鎖port 111

預設啟動的服務

剛剛上頭的作法僅是『立即將該服務啟動或關閉』喔！並不會影響到下次開機時，這個服務是否預設啟動的情況。 如果你想要在開機的時候就啟動或不啟動某項服務時，那就得要瞭解一下 "開機流程管理" 的內容啦！在 Unix like 的系統當中我們都是透過 run level 來設定某些執行等級需要啟動的服務，以 Red Hat 系統來說，這些 run level 啟動的資料都是放置在  /etc/rc.d/rc[0-6].d/  裡面的，那如何管理該目錄下的 script 呢？手動處理嗎？會瘋掉的吶！所以你必須要熟悉 chkconfig  或 Red Hat 系統的 ntsysv 這幾個指令才行！

例題：(1)如何查閱 rpcbind 這個程式一開機就執行？ (2)如果開機就執行，如何將他改為開機時不要啟動？ (3)如何立即關閉這個 rpcbind 服務？

  • 可以透過『 chkconfig --list | grep rpcbind 』與『 runlevel 』確認一下你的環境與 rpcbind 是否啟動？
  • 如果有啟動，可透過『 chkconfig --level 35 rpcbind off 』來設定開機時不要啟動；
  • 可以透過『 /etc/init.d/rpcbind stop 』來立即關閉他！

幾個常見的必須要存在的系統服務！這些服務請不要關閉啊！

服務名稱 服務內容
acpid 新版的電源管理模組，通常建議開啟，不過，某些筆記型電腦可能不支援此項服務，那就得關閉
atd 在管理單一預約命令執行的服務，應該要啟動的
crond 在管理工作排程的重要服務，請務必要啟動啊！
haldaemon 作系統硬體變更偵測的服務，與 USB 設備關係很大
iptables Linux 內建的防火牆軟體，這個也可以啟動啦！
network 這個重要了吧？要網路就要有他啊！
postfix 系統內部郵件傳遞服務，不要隨便關閉他！
rsyslog 系統的登錄檔記錄，很重要的，務必啟動啊！
sshd 這是系統預設會啟動的，可以讓你在遠端以文字型態的終端機登入喔！
xinetd 就是那個 super daemon 嘛！所以也要啟動啦！

上面列出的是主機需要的重點服務，請您不要關閉他！除非你知道作了之後會有什麼後果。

舉例來說，你如果不需要管理電源， 那麼將 acpid 關閉也沒有關係啊！如果你不需要提供遠端連線功能，那麼 sshd 也可以關閉啊！那其他你不知道的服務怎辦？ 沒關係，只要不是網路服務，你都可以保留他！如果是網路服務呢？那...建議你不知道的服務就先關閉他！ 以後我們談到每個相關的服務時，再一個一個打開即可。

底下我們就來做作看關閉網路服務這個部分！

5.安全性考量-關閉網路服務埠口

我們的 Linux distribution 很好心的幫使用者想到很多了，所以在一安裝完畢之後， 系統會開啟一堆有的沒有的網路服務，例如那個 rpcbind 之類的咚咚，這些東西你或許知道或許不知道，不過他就是有開啟～ 但我們的主機明明就是用來做為伺服器的，所以這些本來預計要給 client 使用的服務其實有點『多此一舉』的感覺～ 所以啦，請你將他關閉吧！底下我們舉個簡單的例子來處理，將你的網路服務關閉就好，其他在系統內部的服務，就暫時保留吧！

範例: 找出目前系統上面正在運作中的服務，並且找到相對應的啟動腳本 (在 /etc/init.d 內的檔名之意)。

要找出服務，就利用 netstat -tunlp 即可找到！

看起來總共有 sshd, master, rpc.statd, xinetd, rpcbind 等這幾個服務，對照前一小節的資料內容來看， master (port 25), sshd 不能關掉，那麼其他的就予以關閉啊！透過前兩個小節的介紹，使用 which 與 rpm 搜尋吧！舉例來說， rpc.statd 的啟動腳本在：『rpm -qc $(rpm -qf $(which rpc.statd) ) | grep init』這樣找，結果是在『/etc/rc.d/init.d/nfslock』這裡！ 因此最終的結果如下：

接下來就是將該服務關閉，並且設定為開機不啟動吧！

做完上面的例子之後，你再次下達 netstat -tlunp 之後，會得到僅剩 port 25, 22 而已！ 如此一來，絕大部分伺服器用不到的服務就被你關閉，而且即使重新開機也不會被啟動的啦！ ^_^


參考資料

特色、摘要，Feature、Summary:

關鍵字、標籤，Keyword、Tag:

  • Ubuntu,Linux,Network,Security,

留言

張貼留言

Aron阿龍，謝謝您的留言互動!

這個網誌中的熱門文章

Ubuntu 常用指令、分類與簡介

圖片
常用指令分類與簡介 大綱 前言 常用指令 指令分類 前言 在 Ubuntu 中我們可以打開終端機 (Ctrl+Alt+T) 進行指令操作，就可以透過指令來管理檔案、系統與網路管理。 在說明指令 $ls(1) ， $ 表示命令提示符號， ls 表示指令本身， (1) 表示本指令是在手冊第一章節中，詳細說明請參閱► 線上手冊(man page) 一般指令格式 ► $指令  [選項]  [選項值] 該指令的所有用法  ► $指令 --help 指令是由英文單字縮寫構成，因為指令繁多，所以理解指令原文，就很容易記住了。列如  ►ls：list (中文為列表) 。 常用指令 clear(1) ► 清空螢幕，當終端機列出資料太多。 $clear cd(1)► change directory，移動進入資料夾 $cd ./examples ► 移動到目前資料夾下的 examples 資料夾。 $cd ~  ► 移動到使用者home家目錄：~。 $cd ..  ► 移動到上一層目錄 :  ..。 $cd / ► 移動到根目錄 :  /。 $cd !$ ►移動到前一個命令最後一個參數指定的目錄。 pwd(1) ► print work directory，印出目前工作目錄。 $pwd ls(1) ► list - 查看檔案及子目錄。 $ls ► 列出資料夾、檔案名稱。 $ll  ► 就是  $ls -l : 將資料以列表形式呈現，並且包含檔案細部資料(屬性、權限、時間…) $ls temp  ► 列出資料夾temp 內資料。 $ls -la ► 列出詳細資料和隱藏資料，-l 列出詳細資料，-a 列出隱藏資料。 $ ls *.md ► 列出部分檔案：列出為 .md 的檔案。 cp(1) ► copy，複製檔案。 $echo "TEST" >  README.md ►將字串 "TEST"存新檔案 "README.md" $cp README.md  test.txt ►複製 README.md 另存為 test.txt $cp <file> <dir> ►複製檔案 file 到目錄 dir 下面。 $...
閱讀全文»

iptables的觀念與使用

圖片
iptables的觀念與使用 1.前言 "iptables" 主要是第一層 : 封包過濾式的 netfilter 防火牆，他不是一種服務，是操作netfilter的命令。 Ubuntu server環境，防火牆有很多選擇，從最為易用便捷的 "ufw" 防火牆(Ubuntu預設)，到較新的動態防火牆 " Firewalld "，再到較為專業的防火牆 "iptables"  一應俱全，如何選擇一款合適的防火牆呢？沒有標準答案，但肯定有最合適的選擇。 其中，iptables 這個工具功能全面強大，可以實現很多 ufw 及  Firewalld無 法完成的網絡功能，推薦有一定基礎的用戶使用。 2.理論與觀念 正確的觀念，才能理解，才能正確地應對不同的入侵方式。 iptables防火牆的結構 iptables 是Linux中功能最為強大的防火牆，使用靈活，可以對流入和流出伺服器的數據包進行很精細的控制，當然如果只是用來開啟或禁止某個網絡服務的某個網絡埠，它和 ufw 以及Firewalld都差不多 iptables的三大核心要素是表，鏈和規則。 一言以蔽之，iptables是表的集合，包含四張表(常用的三張 filter, nat, mangle)，表則是鏈的集合，每個表都包含若干個鏈， 而鏈則是規則的集合，真正過濾規則是屬於鏈，iptables的處理流程如下圖所示: 從上圖可觀察到Kernel處理和過濾數據包的流程，描述了封包進入主機到離開主機，會經過哪些tables，這些tables裡面會寫規則，進行放行或攔截。 大致上你可以發現數據包在主機流通時有四張表、五個階段: iptables 四張表(彩色的部分) filter :  整個iptables最關鍵的表，實現封包的過濾，可以由INPUT,FORWARD,OUTPUT這三個能夠實現過濾功能的鏈組成。 nat  :   學過網路的人應該都知道NAT(Network Address Translation)網路地址轉換，正是應為有了這項技術才使得我們現今還能夠有IPv4可以使用，在iptables中也可以實現NAT的相關功能, 例如SNAT, DNAT, MASQUERADE等功能，nat表可以由PREROUTING, FORWARD, P...
閱讀全文»

網路設定必要參數IP、netmask(遮罩)、Gateway(閘道)、DNS

圖片
網路設定必要參數 前言 IP 位址 netmask(遮罩) : 因為 network IP 與 broadcase IP 都可以透過 IP/Netmask 計算出來，因此需要 IP 位址與 Netmask 即可。 Gateway(閘道) 的 IP 位址： 此外，還需要考慮到路由裡面的 Default Gateway 才能夠正確的將非同網域的封包給他傳送出去。 DNS server 的 IP 位址： 想要使用主機名稱上網，就一定要有 DNS server 的 IP 位址才行。 IP: 由 192.168.1.1~192.168.1.254 Netmask(遮罩): 255.255.255.0 Network: 192.168.1.0 Broadcast: 192.168.1.255 Gateway: 每個環境都不同，請自行詢問網路管理員 DNS: 也可以直接設定成 168.95.1.1。台灣地區常用的有中華電信提供的 168.95.1.1 以及 google 提供的 8.8.8.8  與 8.8.4.4 來設定。 那這些參數都需要使用者自己手動來設定嘛？基本上網路參數的給予跟你的主機所在的環境有關系。如果是自己教室內部的環境， 自己指定私有 IP 位址後，再跟計中要一個 public IP 的參數即可～如果是一般住家，可以考慮 ADSL、光纖到府、第四台纜線的網路等等， 如果是跟 ISP 申請伺服器代管，就可以透過手動設定 IP 來處置。基本上，常見的網路參數取得方式有： 自動取得：學名為 dhcp 這個協定，通常使用 auto 取代此方法。網路參數統一放置於 DHCP server 上面，用戶端電腦開機時會去詢問 DHCP 伺服器， 藉以得到正確的網路參數的方式，常見於宿舍網路環境與辦公環境下。 手動設定：手動處理 (manual) 的方式，自己向 ISP 取得相關的網路參數，直接手動設定好網路參數之意。 常見於伺服器本身的環境設定中。 撥接：台灣地區包括 ADSL 以及中華電信光世代，對外都是走電話線，或者是 CAT5 (通常最多到 CAT 5e) 的網路線，只是都附掛在電話上， 需要透過數據機撥接的情況，這種情況的 IP 網路參數也是由 ISP 機房主動分配的，使用者無法手動設定。 第四台纜線 (Cable)：透過電視纜線，第四台提供的線路...
閱讀全文»

了解、分析登錄檔 - log

圖片
了解、分析登錄檔 - log 前言 當你的 Linux 系統出現不明原因的問題時，很多人都告訴你，你要查閱一下登錄檔才能夠知道系統出了什麼問題了，所以說， 了解登錄檔是很重要的事情呢。登錄檔可以記錄系統在什麼時間、哪個主機、哪個服務、出現了什麼訊息等資訊， 這些資訊也包括使用者識別資料、系統故障排除須知等資訊。如果你能夠善用這些登錄檔資訊的話，你的系統出現錯誤時， 你將可以在第一時間發現，而且也能夠從中找到解決的方案，而不是昏頭轉向的亂問人呢。 此外，登錄檔所記錄的資訊量是非常大的，要人眼分析實在很困難。此時利用 shell script 或者是其他軟體提供的分析工具來處理複雜的登錄檔，可以幫助你很多很多喔！ 本文大綱 登錄檔 log 如何運作 logrotate.conf-定義記錄檔的循環的週期 哪些登錄檔log應該定期檢視 常見的登錄檔 Ubuntu下 /var/log/ 下各個日誌檔案的說明 登錄檔所需相關服務 (daemon) 與程式 登錄檔內容的一般格式 分析登錄檔 使用Gnome Logs日誌檢視器查看登錄檔！ 使用指令查看登錄檔 使用 GoAccess 分析 Nginx 網頁記錄檔，即時監控伺服器狀態 Ubuntu日誌管理方法 登錄檔log如何運作 有的登錄檔紀錄的是系統訊息，稱為「系統登錄檔」。而有的登錄檔是紀錄某個特定的服務之使用情況，稱為「服務登錄檔」。通常，這兩者都由系統所提供的一項服務來統一管理(若在傳統Linux系統下這個服務名為syslog，若在ubuntu等系統中則名為rsyslog)，不過也有些大型軟體所提供的服務，其登錄檔不受syslog(或rsyslog)來管理，而有其特別的管理方式。 syslog(或rsyslog)可以設定「哪個類型的系統事件，要寫在哪個登錄檔中」，這些設定被寫在設定檔中。其所在位置如下表： 系列 管理登錄檔的服務 設定檔位置 傳統Linux系統 (如Fedora、centOS、RedHat…等) syslog /etc/syslog.conf Ubuntu等系統 rsyslo...
閱讀全文»

Python 與SQLite 資料庫

圖片
Python 與SQLite 資料庫 大綱 SQLite 基本觀念 資料庫連線 SQLite 資料類型 建立SQLite 資料庫表單 增加SQLite 資料庫表單紀錄 查詢SQLite 資料庫表單 更新SQLite 資料庫表單紀錄 刪除SQLite 資料庫表單紀錄 DB Browser for SQLite 安裝DB browser for sqlite 建立新的 SQLite 資料庫 打開舊的secret資料庫 將台北人口數儲存至 SQLite 資料庫 SQLite 基本觀念 在先前我們有說明 CSV、JSON...等資料格式，我們可以將資料以這些格式儲存，不過我們使用資料時，有時候只是取一個小小的部分，如果每次都要大費周章的開啟檔案處理完成在儲存檔案，其實不是很經濟的事情。 一個好的解決方式是使用輕量級的資料庫程式當作儲存媒介，未來我們可以使用資料庫語法取得資料庫的部分有用資料，這將是一個很好的想法。本文我們將介紹如何使用 Python 建立 SQLite 資料庫，同時也將說明使用 Python 插入insert、截取select、更新update、刪除delete ，SQLite資料庫的內容。 Python 3.0版以上安裝完成後有內建 SQLite 資料庫，本文將以此為實例說明，在使用此 SQLite 前需要 import 導入此 SQLite : import sqlite3 資料庫連線 執行 Python 與資料庫連線的方法如下 : conn = sqlite3.connect(“資料庫名稱”) 上述 conn 是定義的物件名稱，讀者也可以自行定義不一樣的名稱。 connect()  方法執行時，如果 connect() 內的資料庫名稱存在，就可以將 Python 程式與此資料庫名稱建立連線，然後我們可以再 Python 程式內做更進一步的操作，如果這樣庫名稱不存在就會以此為名稱建立一個新的資料庫，然後執行資料庫連線。 資料庫操作結束，我們可以在 Python 內使用下列方法結束 Python 程式與資料庫的連線。 conn.close() 範例 pythonSQLite-01.py :  建立一個新的資料庫 myData.db ，我們習慣使用的 db 當副檔名稱。 ...
閱讀全文»

Blogger文章排版範本

圖片
Text-title大標題 會隨著桌機或手機螢幕調整 Text-head 大標題 會隨著桌機或手機螢幕調整 h1 主題1 會隨著桌機或手機螢幕調整 h2 主題2 會隨著桌機或手機螢幕調整 h3 大標題 會隨著桌機或手機螢幕調整 h4 小標題 會隨著桌機或手機螢幕調整 一般文字 - 一邊不需要能否困難出版社普通使得小學那時付出本文個人，將在這樣外資還在做什麼不限研究所印度，下面機。 參考連結 :尖端的電子設備以及用於配備感知 success 成就、獲獎、感言、結論.....等，文字內容。 quoted m-2 波士頓動力是移動機器人的全球領導者，它應對了一些最棘手的機器人挑戰。我們將動態控制和平衡的原理與複雜的機械設計，尖端的電子設備以及用於配備感知，導航和智能功能的高性能機器人的下一代軟件結合在一起。 callout-info 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-warning 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center callout-danger 本文檔包含Spot機器人的重要安全信息。 負責任地使用Spot對防止操作員和附近其他人的危險情況至關重要。確保閱讀，理解並遵守本文檔，以減少受傷或損壞機器人或其他財產的風險。 Boston Dynamics Support Center m-1 border-primary 眼淚設置沒人每個人緩緩精美趕緊跟我賓館之家父母，本身即使物業他就正常策略成就超級反覆，充滿核心而來人口完全。 m-2 bo...
閱讀全文»

Pandas 模組

圖片
Pandas 模組 前言 pandas 是Python程式語言的用於數據操縱和分析的軟體庫。特別是，它提供操縱數值表格和時間序列的資料結構和運算操作。 Pandas 套件全名 Pan el D a taFrame S eries，很多人常用熊貓作為暱稱，但實際上命名的意義和緣由與熊貓八竿子打不著關係。Pandas 套件提供了新的資料結構類別 Index、Series、DataFrame 與 Panel（其中 Panel 資料結構類別在 0.20.0 停止開發維護，）扮演著 Python 在資料分析中的「最後一塊拼圖」；當使用者有表格式資料（Tabular data）的運算處理需求時，就可以透過她達成目的，另外她也提供了豐富的表格式資料載入、整併清理、轉換外型與視覺化的函式。 本文  實例 使用 Python Shell 做演示。 大綱 安裝 Pandas 的 Series 資料型態 使用串列 list 建立 Series 物件 使用 python 字典建立 Series 物件 使用 Numpy 的 ndarray 建立 Series 物件 建立含索引的 Series 物件 使用純量建立 Series 物件 列出 Series 物件索引與值 Series的運算 DataFrame 建立 DataFrame 使用 Series 欄位 columns 屬性 Series 物件的屬性 使用元素是字典的串列建立 DataFrame  使用字典建立 DataFrame index屬性 將 columns 欄位當作 DataFrame 物件的 index 基本 Pandas 資料分析與處理 索引參照屬性 直接索引 四則運算方法 邏輯運算方法 Numpy 的函數應用在 Pandas NaN 相關的運算 NaN 的處理 幾個簡單的統計函數 增加 index 檔案的輸入與輸出 寫入 CSV 格式檔案 讀取 CSV 格式檔案 Pandas 繪圖 使用 Series 畫折線圖表 使用 DataFrame 繪圖表基本知識 直條圖的設計 一個圖表含不同數值資料 多個數值軸的設計 使用 Series 物件設計圓餅圖 時間序列(Time Series) 時間模組 datetime 設定特定時間 一段時間 timedelta 使用 Pyt...
閱讀全文»

如何撰寫Shell Script

圖片
如何撰寫Shell Script 前言 Shell 是一種讓使用者可以和作業系統 Kernel（核心用來控制 CPU、記憶體、硬碟等硬體）互動溝通的橋樑。Shell Script 主要是使用在 Linux 和 MacOS 等 Unix-like 作業系統的自動化操作指令的程式語言。其透過 Shell 命令列直譯器來執行（我們這邊主要使用 bash shell，其他的 Unix shell 觀念大致類似）。 一般情況 Shell Script 常用於系統管理、自動化操作檔案、自動化重複的指令碼、分析 log 等文件檔案、列印呈現我們想要的資料等，透過程式語言的使用來減少重複瑣碎的工作，所以若能妥善使用將提升不少開發者和軟體工程師的日常工作效率。 流程步驟 1. 編輯檔案 一般我們會使用 .sh 副檔名來命名 Shell Script 檔案。然後將該檔案設定為可執行： 這邊以demo.sh 為範例。 更改檔案 +x 的執行權限。 chmod +x demo.sh 可以透過檢視檔案詳細資料觀看是否已有 +x 的執行權限 $ls -l demo.sh # -rwxr-xr-x 1 user staff 106 Nov 16 10:41 demo.sh 2. 第一行: 宣告 # 宣告使用 /bin/bash 這是Linux預設的Shell 為bash，若你使用的是其他的Shell，如: csh, sh, ksh，請改為 /bin/bash=> /bin/csh....。 3. 程式內容直接使用Shell Command 接著，我們先利用一個簡單的範例：將目前執行 process 的 PID 依照數字大小排序，取出前 10 名，來了解撰寫 Shell Script 的基本架構。 # 宣告使用 /bin/bash #!/bin/bash echo "=== 將目前執行 process 的 PID 依照數字大小排序，取出前 10 名 === " # ps 為列出 process 相關資訊，透過 | pipe 管線傳遞資料。awk 可以根據 pattern 進行資料處理（這邊印出第一欄 PID）而 sort 是進行排序，其排序時，預設都是把資料當作字串來排序，若想讓資料根據實際數值的大小來排序，可以加上 -n 參數。-r 則是由大到小排序，預設是...
閱讀全文»

查詢指令或設定 -Linux 線上手冊 - man

圖片
 Linux 線上手冊（man page） man page（manual page 的簡寫）是在 UNIX/Linux 系統上特有的說明文件格式，在這個領域大家都會直接稱呼這樣的文件為 man page。 參考網址 : Ubuntu manuals官 網   (外連結) ， Michael Kerrisk - man page (外連結)  。 基本查詢 一般稍微有經驗的 Linux 使用者大概都知道使用 man 指令加上要查詢的說明主題來閱讀線上手冊，通常主題的名稱就是指令或是函數的名稱，例如查詢 ls 的用法： $man ls $ls(1)、$kill(1)  ....可用指令檢視不同章節的介紹。 指定章節（Section） Linux 的線上手冊分為幾個主要的章節（sections），每個章節對應不同的類別： man 1 ：執行檔或程式或是 shell 指令。如: ls、kill ....等。 man 2 ：系統呼叫（system calls，Linux 核心所提供的函數）。 man 3 ：函式庫或例行工作。 man 4 ：特殊檔案（通常位於 /dev）。 man 5 ：檔案格式與協定，如 /etc/passwd。 man 6 ：遊戲。 man 7 ：雜項（巨集等，如 man(7)、groff(7)）。 man 8 ：系統管理者指令（通常是管理者 root 專用的）。 man 9 ：內核中的接口和子程序（非標準）。 而在線上手冊中的文件都會以小括弧來標明該文件所屬的章節，例如 LS(1) 就代表這份文件隸屬於第 1 個章節。 有些時候一個主題名稱在不同章節中有不同的說明文件，如果查詢一個主題的時候沒有指定章節，預設會依照 1 n l 8 3 2 3posix 3pm 3perl 5 4 9 6 7 這個順序來搜尋，然後顯示第一個搜尋到的章節。 例如 passwd 這個主題有 passwd(1) 與 passwd(5) 兩個章節，如果不指定章節的話： $man passwd 就會顯示 passwd(1)，而若要查詢 passwd(5) 的話，就要明確指定章節數： $man 5 passwd 列出所有章節 有時候我們對於某個主題有興趣，但是卻不知道該主題有哪些章節可以查詢，這時候就可以使用 -a...
閱讀全文»

下載網頁使用 requests 模組

圖片
下載網頁使用 requests 模組 前言 本篇介紹如何在 Python 中使用 requests 模組建立各種 HTTP 請求，從網頁伺服器上取得想要的資料。 大綱 requests 模組重要功能 安裝套件 使用方法 requests 基本應用範例 搜尋網頁特定內容 下載網頁失敗的異常處理 網頁伺服器阻擋造成讀取錯誤 爬蟲程式偽裝成瀏覽器 認識 robots.txt 儲存下載的網頁 檢視網頁原始檔 Chrome瀏覽器為例 requests 模組重要功能 Keep-Alive & Connection Pooling 保持持續連接直到一方中斷和連接池 International Domains and URLs 支持國際域名和 URL Sessions with Cookie Persistence 具有 Cookie 持久性的會話 Browser-style SSL Verification 瀏覽器式 SSL 驗證 Automatic Content Decoding 自動內容解碼 Basic/Digest Authentication 基本/摘要式身份驗證 Elegant Key/Value Cookies 優雅的鍵/值 (key/value) 結構的 Cookie Automatic Decompression  自動解壓縮 Unicode Response Bodies  支援Unicode格式的伺服器回應文件主體 HTTP(S) Proxy Support 支持代理 IP  Multipart File Uploads 分段文件上傳 Streaming Downloads 串流下載 Connection Timeouts 連接超時 Chunked Requests 支援 Chunked 編碼，也可想成分塊傳輸編碼請求 .netrc Support  支持.netrc 文件 安裝套件 pip install requests 使用方法 引入  import requests ...
閱讀全文»