先機致勝 AI Advantage

請求Request 表頭(headers) 前言大綱 請求Request  表頭(headers) 是描述客戶端(client)向伺服器端(server)發出 請求Request 時所使用的協議、編碼、以及傳送內容的長度。有的網站沒有反爬蟲機制，我們設計的網路爬蟲可以自由的爬取網站內容。有的網站有反爬蟲機制，伺服器就會針對所有客戶請求的表頭做檢查，然後判斷這是瀏覽器的請求或是這是非瀏覽器的請求，如果是非瀏覽器的請求，就會予以阻擋。 請求Request表頭的資料型態是字典 以下是常見的參數內容: 協定頭欄位名 說明 範例 狀態 Accept 能夠接受的回應內容類型（Content-Types）。參見 內容協商 。 Accept: text/plain 常設 Accept-Charset 能夠接受的字元集 Accept-Charset: utf-8 常設 Accept-Encoding 能夠接受的編碼方式列表。參考 HTTP壓縮 。 Accept-Encoding: gzip, deflate 常設 Accept-Language 能夠接受的回應內容的自然語言列表。參考 內容協商 。 Accept-Language: en-US 常設 Accept-Datetime 能夠接受的按照時間來表示的版本 Accept-Datetime: Thu, 31 May 2007 20:35:00 GMT 臨時 Authorization 用於超文字傳輸協定的認證的認證資訊 Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ== 常設 Cache-Control 用來指定在這次的請求/回應鏈中的所有快取機制 都必須 遵守的指令 Cache-Control: no-cache 常設 Connection 該瀏覽器想要優先使用的連接類型 Connection: keep-alive Connection: Upgrade 常設 Cookie 之前由伺服器通過 Set- Cookie （下文詳述）傳送的一個 超文字傳輸協定  Cookie Cookie: $Version=1; Skin=...

認識HTTP 與HTTPS 前言大綱 相信大多數的讀者，對這個畫面應該都不陌生吧？當前最熱門的瀏覽器 Google Chrome 從 Chrome 69 開始，會在網站使用 HTTP 作為傳輸協定時，在網址列提示使用者「不安全」，甚至出現上圖的提示畫面，藉此來要求網站開發者盡快將網站轉為透過 HTTPS 傳輸資料，甚至 在今年底的 Chrome 79，將會逐步封鎖 HTTPS 網頁中以 HTTP 下載的內容；但 HTTP 與 HTTPS 的差別到底是什麼？HTTPS 又是如何讓資料傳遞變安全的呢？ HTTP 的資料傳輸 HTTP 全名是 超文本傳輸協定（HyperText Transfer Protocol），內容只規範了客戶端請求與伺服器回應的標準，實際上是藉由 TCP 作為資料的傳輸方式。 傳輸過程，資料都是 明文；如果傳遞的過程中有惡意竊聽者，資料便有機會被窺探、盜用。 HTTPS 的資料傳輸 說了這麼多加密，所以到底什麼是 HTTPS？ HTTPS的觀念是增加SSL/TLS加密封包，也就是說HTTPS經由HTTP進行網路通訊，但是經由SSL/TLS作加密封包，HTTPS可以對網站伺服器的身分認證，可以保護帳戶身份和網路瀏覽資料的隱密與完整性。 由於非對稱加密的運算量較高，傳遞回應較慢；實際的架構上，會透過公開金鑰加密傳遞出共用的金鑰，再透過共用金鑰加密進行後續的傳遞，兼顧了安全性及傳遞速度。 參考資料 特色、摘要，Feature、Summary: 關鍵字、標籤，Keyword、Tag:

網路爬蟲是否合法? 前言 所有的網站內容皆是歡迎使用者瀏覽，因此使用網路爬蟲的精神是合法的，我們平日使用的 google、 yahoo和百度的搜尋引擎也是這些公司使用網路爬蟲蒐集來的。不過如果過度的使用網路爬蟲和越界者，可能造成非法。 本文大綱 歸屬權 影響合法性的因素之一：數據屬性 影響合法性的因素之二：授權模式 案例 結論 歸屬權 合不合法 ? 必須先回答這樣一個問題：被爬取的數據到底屬於誰。只有討論清楚「歸屬權」，才能在此基礎上討論「授權問題」。 數據歸屬權的確認困難重重。 企業的平台數據中常常包含大量的個人數據，因此平台數據可以被認為是個人所有、平台所有、個人與平台共有，也可以被認為是 Internet 空間的公共數據。 在法律界，各國對數據權屬領域都沒有直接、明確的立法，學界也沒有達成廣泛的共識。但在實務層面，當事人常常會選擇直接繞開這一爭議，從實際情境出發，在已有法律明確規定和保護的範疇內解決問題。-----這是一種尋求司法救濟的有效方式-----。 在美國，法院規制數據爬蟲的法律途徑主要有四種： 非法入侵私人財產（trespass to chattels）； 合約違約（breach of contract）； 違反著作權（copyright violations）； 違反《電腦欺詐和濫用法》（CFAA violations）。 其中，CFAA 在實務中被廣泛援用是近年來的一大趨勢。 這一法案對「故意 未經授權 或 超越授權 存取電腦訊息系統並因此從任何受保護的電腦獲取訊息」的行為創設了民事和刑事責任。 美國最高法院則進一步解釋，CFAA 規定了兩類非法存取受保護的電腦訊息系統進而構成犯罪的行為： 未經授權存取； 雖獲得授權存取但不當使用。 影響合法性的因素之一：數據屬性 問題1：是「公開數據」嗎？ 數據是否公開、可存取是影響爬取行為正當性的重要因素。 怎麼定義數據的公開與否？ 一般來說，數據控制者採取了技術保護手段的數據屬於不公開數據。舉個例子，在 Facebook v. Power Ventures 案中，以帳號密碼方式保護的使用者數據被明確認定為不屬於公開數據。 對於非公開數據，美國的司法主張：相應的數據爬取行為需要得到數據控制者的授權。 問題2：原始數據還是衍生數據？ 數據屬於原始數據還是衍生數據，也是影響數據爬蟲行為合法性的重...

爬蟲的類型 前言大綱 網路爬蟲（英語： web crawler ），也叫網路蜘蛛（ web spider ），是一種用來自動瀏覽、抓取網頁資訊的網路機器人。 爬蟲的類型 網路爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型： 通用網路爬蟲(General Purpose Web Crawler) 主題網路爬蟲(Topical Web Crawler) 深層網路爬蟲(Deep Web Crawler)。 實際應用中通常是將系統幾種爬蟲技術相互結合。 通用網路爬蟲(general purpose web crawler) 常見 Google、Yahoo、百度搜尋引擎....等，算是通用網路爬蟲。通用網路爬蟲，根據預先設定的一個或若干初始種子URL開始，以此獲得初始網頁上的URL列表，在爬行過程中不斷從URL隊列中獲一個的URL，進而訪問並下載該頁面。頁面下載後頁面解析器去掉頁面上的HTML標記後得到頁面內容，將摘要、URL等信息保存到Web資料庫中，同時抽取當前頁面上新的URL，保存到URL隊列，直到滿足系統停止條件。其工作流程如下: 通用爬蟲主要存在以下幾方面的局限性： 1)由於抓取目標是儘可能大的覆蓋網路，所以爬行的結果中包含大量用戶不需要的網頁。 2)不能很好地搜索和獲取信息含量密集且具有一定結構的數據。 3)通用搜索引擎大多是基於關鍵字的檢索，對於支持語義信息的查詢和索引擎智能化的要求難以實現。 由此可見，通用爬蟲想在爬行網頁時，既保證網頁的質量和數量，又要保證網頁的時效性是很難實現的。 主題(聚焦)網路爬蟲(Topical Web Crawler) 主題爬蟲的目標是儘可能多的發現和搜集與預定主題相關的網頁，其最大特點在於具備分析網頁內容和判別主題相關度的能力。根據主題爬蟲的工作原理，下麵設計了一個主題爬蟲系統，主要有頁面採集模塊、頁面分析模塊、相關度計算模塊、頁面過濾模塊和鏈接排序模塊幾部分組成，其總體功能模塊結構如下圖: 頁面採集模塊 ：主要是根據待訪問URL Queue隊列進行頁面下載，再交給網頁分析模型處理以抽取網頁主題向量空間模型。該模塊是任何爬蟲系統都必不可少的模塊。 頁面分析模塊 ：該模塊的功能是對採集到的頁面進行分析，主要用於連接超鏈接排序模塊和頁面相關度計算模塊。 頁面相關度計算模塊 ：該模塊是整個系統的核心模塊，主要用...

前言 作為投資者，我們常聽到了一句話是"不要把雞蛋放入同一個籃子中"，可見分散投資可以降低風險，但如果選擇不同的籃子，在每個籃子中放多少雞蛋，見仁見智，量化投資就是解決這樣問題的一種工具。量化投資有關很多方面，有各種場景象的應用，定義也比較困難，我們姑且將其定義為 : 借助於數學知識統計學知識，開發出策略模型，並根據策略模型列出的訊號嚴格執行訊號的投資過程。其本質就是從資料的角度提煉出市場不夠有效的成份，用模型加以概括。 量化投資FAQ  為了方便大家在短時間內更進一步的了解量化投資，並且能在實際投資中進行應用，龍哥準備了FAQ常見問答題目，希望對大家做投資有一點幫助。 量化投資可以在哪些方面幫助我投資呢? 量化投資是萬能的嗎? 主動投資和量化投資的區別是什麼? 我不會程式設計高大上的量化投資會不會讓我遙不可及? 量化投資有哪些優點? 你覺得做量化投資最大的困難是什麼? 說明量化投資是怎麼樣做的嗎? 量化投資的應用有哪些? 量化投資是不是在追求高勝率的方法? 圍棋出現 AlphaGo，投資會不會出現 AlphaStock ? 量化投資可以在哪些方面幫助我投資呢? 整體來說，量化投資在投資的前、中、後都有強大的應用，在投資前可以根據量化投資策略選股，包含基於股票基本面和技術面因素等。在投資中可以透過量化方方法關注目前持倉股票是否有重大事件發生或有影響股價波動的其他因素，即對持倉風險的監控與識別；在投資後可以做一些歸納與分析，明確了解自己投資股票的風格與產業偏重。 量化投資是萬能的嗎? 千萬不要把量化投資當作印鈔機，他並不是萬能的，只能說，我們可以透過它獲得機率上的優勢。且量化投資並不是 "一招走天下" ，需要根據市場的不斷變化對策略和模型進行補強和最佳化，將多套策略結合才能使系統具有可持續性穩定獲利的能力，其中就包含從歷史的資料中，透過量化方法找到合理的規律，在投資決策中進行應用。量化投資更像西醫，對於所有病症都有大量的臨床案例和測量參數，而且材料齊全、容易複製。另外，量化投資一定要與主觀相結合，不然光靠量化投資、機器和數學模型，很難在所有時期都有效執行。 主動投資和量化投資的區別是什麼? 主動選股和量化投資並非互相矛盾的，相反的兩者是相輔相成的。從某種意義上來說，量化投資賺的是市場空隙的錢，市場的大部分...

電池電力限制 在沒有附載外掛的形況下，電池可使用時間為 : 90分鐘(最少) 。 待機時間 :  180分鐘。 充電時間 : 120分鐘。 環境地形限制 操作溫度在 :  -20°C  到 45°C 之間。 人員直接控制操作，距離限制在 : 4 m。 環境光線亮度，要保持大於 :  > 2 Lux 流明燭光 。 最大坡度限制 :  ±30° 。 最大階梯高度 :  300 mm(12")。 樓梯的平面與高度要介於175 x 255-280 mm, 而最大跨度為 300 mm ，(7"rise & 10"-11" run)。 操作限制 人與機器狗Spot至少保持安全距離: 2m 。 機器狗Spot最大速度 : 1.6 m/s。       外掛附載最大重量限制 :  14 kg (30.8 lbs)。 緩衝間隔 : 最小 3"(7.5cm)  -  最大 20"(50cm) 基準標記(Fiducial)  :  貼基準點平貼在垂直牆壁上，距離地面 18-24 英寸之間 (45-60cm) 。放置在 間距最少跨越 3m 且特徵有限的區域，放置在固定位置。避免光線不一致或昏暗的區域、背光、會被阻擋、損壞、移動或移除的地方。 機器狗Spot身體要保持水平，否則需要校正或維修。 機器狗Spot信號丟失： 3秒鐘 無控制器通信後，Spot將坐下。 8秒無通訊後，Spot將關閉其電動機。 機器狗Spot跌倒檢測：當Spot檢測到跌倒時，電動機立即斷電。 不要急著去抓Spot，先在控制面板按下STOP模式。 更詳細說明，請參考 :  3-1.使用限制與注意事項 、 3-2.錯誤使用方式 。 參考資料 特色、摘要，Feature、Summary: 關鍵字、標籤，Keyword、Tag:

操作與安全Spot Operation & Safety SPOT機械狗使用(外連結) : 參考使用手冊之 5.安裝與調適 ， 6.機器的使用 。 Spot機械狗的行動能力限制 有關操作上之安全、電池與充電、使用操作步驟、開關機，請參考 : 培訓影片系列 。 系統管理Spot System Administration 管理者操作Administration 系統管理介面(Spot system administration)  軟體授權書(Managing Spot Licenses ) 使用者帳號管理(Spot User and Account Management ) 如何更新 Core軟體(How to update Spot CORE software) 更新 Spot系統軟體(Updating the Spot system software ) 請求"支持中心"登錄訪問(Requesting Support Center Login Access) 維護保養 維護保養緊急情況(Spot Robot Maintenance) 清潔保養(Robot Maintenance ) 電池空運(Battery Air Shipment) 運送機器人(Shipping the Robot) 重新校準SpotCheck(Recalibration with SpotCheck) 日誌管理(Log Management)，有兩種方式 機器狗 Spot 日誌(Spot Robot Logs) 使用 SpotMetrics 進行診斷日誌(Diagnostic logging with SpotMetrics) 機器狗網路Spot Networking 筆記 :  有關網路操作問題 使用遠端連線作站內巡查(Using teleoperation for site inspection) 機器狗 Spot 網路設置(Spot Network Setup) 遠端操作(Teleoperation) 虛擬控制室架構(Virtual control room architecture -Scout) 啟用 AutoReturn 以恢復丟失的通信(Enabling AutoReturn to recover lost comms) 配置多點傳送域...

DroneDeploy:   DroneDeploy公司是一家針對商用無人機的雲端軟體平臺。不久前，該公司推出了一款智慧地圖APP，可以免費適用於IOS及安卓系統。使用這款APP的使用者不光能讓無人機自動飛行拍照，而且還可以將成像在此款APP中進行分析。 Trimble: Trimble Inc.(天寶公司)   前稱為Trimble Navigation Limited成立於1978年，於2016年10月變更為現名，總部位於加州桑尼維爾。 為全世界最大的衛星定位接收儀製造及定位系統軟體研發，提供航海、勘測、農業、艦隊管理和電信應用。定位、建模、連接和數據分析方面的核心技術使客戶能夠提高生產力、質量、安全性和可持續性。 從專用產品到企業生命週期解決方案，Trimble 軟件、硬件和服務正在改變農業、建築、地理空間以及運輸和物流等行業。 Trimble X7 Laser Scanner for reality capture Trimble SPS 986 gnss smart antenna wasd.pie web site has many resource for AI Introducing Trimble TDC600, a Next-Generation Smartphone and GIS Data Collector Cognite  :  Cognite 是全球工業軟件即服務 (SaaS) 的領導者，核心軟件產品是 Cognite Data Fusion (CDF)，旨在快速將 OT/IT (OT; operational technology)數據情境化，以開發和擴展公司解決方案。 換句話說，我們幫助客戶讓數據發揮更多作用。 我們使用混合人工智能、大數據、機器學習和 3D 建模等技術來實現這一目標。 Portainer  :    portainer.io 是 Docker 的图形化管理工具開發商，是一個強大的基於 GUI 的容器即服務解決方案，可幫助組織快速安全地管理和部署雲原生應用程序。。 CeTI’s    德國的一個研究組織，專門研究人機介面cyber-physical systems (CPS網絡實體系統或稱「虛實整合系統」是一個...

1.工廠工地的檢查 應用客戶有 英國國家電網公司 ，是一間總部位於英格蘭沃里克之輸電與瓦斯供應公司，其營業範圍為英格蘭和威爾斯地區，及北美東北部，並於倫敦證券交易所與紐約證券交易所上市。 BP英國石油 ，是世界最大私營石油公司之一，也是世界前十大私營企業集團之一，2012年營業額達到3882.85億美元。該公司前身是創立於1908年的英波石油公司，1954年改稱「英國石油公司」。該公司整合探油、探氣、煉油、儲油、售油、零售等營業領域。 伍德塞德石油 ，是一家澳大利亞石油勘探和生產公司，是澳大利亞最大的獨立石油及天然氣企業，也是澳大利亞證券交易所的上市企業之一。 新布朗斯威克電力公司 （New Brunswick Power Corporation）以NB Power的名義運營，是加拿大新不倫瑞克省的主要電力公司。NB Power是一家垂直整合的Crown Corporation，由新不倫瑞克省政府全資擁有，負責發電，傳輸和配電。 美國和加拿大稱為默克公司 ，是一家美國的製藥企業，同時也是世界上最大的製藥企業之一。默克公司總部位於美國新澤西州凱尼爾沃思。 默克公司作為德國默克集團的子公司建立於1891年。第一次世界大戰期間，默克公司被美國政府收購，並且後來獨立為美國公司。2009年，默沙東和先靈葆雅合併。 2.營建工地的測量與巡邏 應用客戶有 Brasfield＆Gorrie ，LLC總部位於阿拉巴馬州伯明翰，是美國最大的私營建築公司之一，為各種市場提供總承包，設計建造和施工管理服務。該公司擅長施工最佳實踐，包括虛擬設計和施工，綜合項目交付和精益施工，但以其預施工和自我執行專業知識以及出色的客戶服務而聞名。 Foster+Partners 福斯特建築事務所 ，是一家位於英國倫敦的建築公司，由英國著名建築師諾曼·福斯特創立，該建築事務所設計了許多備受關注的建築，獲得多項斯特靈獎。 1967年，福斯特建築事務所脫離建築公司第4隊時名為Foster Associates。 STRABAG SE是一家奧地利建築公司 ，總部位於奧地利的Spittal an der Drau，總部位於維也納。它是全球最大的建築公司在奧地利和最大的建築公司在歐洲的一個。該公司活躍在其母國奧地利和德國以及中歐，東歐和東南歐的所有國家，西歐，阿拉伯半島的特定市場以及加拿大，智利，中國和印度。...

研究目的 作為職業選手特色分析，並先統計職業選手的比賽數據、臨場力clutch force、基本能力特色的分析........希望從這些數據中能找到輸贏的關鍵時刻與選手能依環境與自身條件採用最佳對策。 比賽時選手之AI深層思考 1.我很清楚分析過對手的...... 1.1 對手的雷達圖五力分析: 心理素質、技巧、體能協調柔軟、戰術移位、臨場力。 心理素質判定的因素: 1.判讀賽況、預判能力。2.會自我對話、自我激勵。3.有察覺力、會適時改變節奏。4.優雅自然放鬆，很少會出現焦慮、緊張、碎碎唸。5.不怕成功、不怕失敗。5.完全專注。6.自我控制。7.自信心。8.心理沉著及運動樂趣。 網球技巧: 1.很少非受迫性失誤。2.球速球質好。3.落點常變化，並會落在前後左右點而非靠中線。4.重心支撐很有型。5.握拍、發球 、接發球、正手拍 、反手拍，很穩定有信心不會偏重某一項。6.截擊  、半截擊  、近網短球、高吊球、到位並且順暢。7.進攻球、上網球、穿越球、扣殺，果決大膽。8.特殊擊球及雙打都會。 體能協調柔軟: 1.移位、就位、回位。2.體力充沛有耐力。3.回擊球線路改變時不容易失誤。4.揮收拍不順暢僵硬。5.很少受迫性失誤。6.全場型，前後左右都能到位。 戰術戰略定位思考移動: 1.致勝球不多。2.網前球不會暴力。3.都在3-5拍結束一分。4.對不同年紀不同類型對手，很明顯有不同打法。5.很少想一球打死對方。6.常使用三步驟: 第1拍壓迫對方，第2拍製造機會，第3拍致勝球。7.移位、就位、回位。 臨場力clutch force: 1.預判能力強 2.回接球分明顯的用「紅綠燈」劃分來球，判斷回球的進攻、繼續在底線周旋、防守  3.經常能讓對手近身壓迫  4.經常出現致勝球  5.保發能力強   6.搶七常會贏   7.能在0:30或0:40倒贏  8.經常在輸第一盤後，連贏兩盤  9.在機會出現之前他們很少會改變擊球路線，更不會上網。  10.局數出現1:3，或2:4時常會出現破對方發球局  11.常出現盤數3:0或是會贏5盤大戰。 1.2 對手的比賽偏好型態分析: 戰略型態:  侵略底線型:  1.意志力強、個性...

2015年我第一次聽到"AlphaGo"、"蒙地卡羅"、"次一手正答率"...這些名詞，心裡想深層學習是專學棋譜，蒙地卡羅可是用自己的機制在下棋 ，這又不是在圍棋講解會上猜次一手，正答率有什麼用呢 ？ 不會下棋的人還是很容易受騙。正答率高就是棋力高的想法， 不是表示他只會猜次一手，他的意義是對圍棋看法的全面提升，例如：後補手，不止第一順位的候補手，第2位以下的候補手水準也會全面提升，這樣的話棋力當然也會進步 ，概率不是單獨和你打賭次一手，而是在各種互相作用裡，對全方位理解的表現。 ownership(所有權)、criticality (重要度)、第三参數 Ownership 占地模擬結果的平均值 ， 模擬到最後空地必為一方所占， 他的平均值就是目前棋盤空間的情況， 會用黑白記號大小顯示佔有率的高低，棋盤全體顯示的就是雙方的勢力分佈圖。 Criticality 是占據某點時，對勝率產生的影響度 。 空點的數字越高顏色越深表示該點對勝率產生的影響度也越大，也就是棋局的重要部位 。和無關緊要的點，不管哪一邊下道都不會影響勝負，數字就會很低。棋子被吃掉，其點就會被對方佔據，所以已經有棋子的點本身也有criticality值，介面無法在旗子上面顯示。 Ownership 是"地"的指標 ，criticality顯示"力"的方向。 地與力是圍棋的兩大要素， 經過電腦的深層學習，加強訓練後的模擬棋力變強，參數的準確性也大大提高，使得參數本身對軟體具有參考價值。 不止於前述"現在對手下哪裡？"有關，狂石下法穩定的部分原因，正是源自ownership。 Zen在中央攻殺蠶鬥時幾乎不會出錯的原因，可能有賴於對於criticality的處理 有關。 第三参數 : 一般的圍棋知識是求更好，但若是變化無限的話，好壞的方向也會模糊，所以要借用概率。我覺得圍棋可以用兩個觀點去含蓋即所謂"空壓法": 第一、棋子之間的位置關係...空(間) ， 第二、棋子之間的力量關係...壓(力)。  和第三參數就是統合空與壓的互補互盛的條件，不是可以分開處理的。 參考資料 特色、摘要，Feature、Summary: 關鍵字、標籤，Keyword、Tag: