資料科學

資料科學、資料探勘

前言

資料搜尋技巧
資料科學（英語：data science）: 是一門利用資料學習知識的學科，其目標是通過從資料中提取出有價值的部分來生產資料產品。它結合了諸多領域中的理論和技術，包括應用數學、統計、圖型識別、機器學習、資料視覺化、資料倉儲以及高效能計算。資料科學通過運用各種相關的資料來幫助非專業人士理解問題。資料科學技術可以幫助我們如何正確的處理資料並協助我們在生物學、社會科學、人類學等領域進行研究調研。此外，資料科學也對商業競爭有極大的幫助。
這數十年來，作為資料科學基礎的數學和統計理論一直都很重要。但是，最近的技術趨勢使以前僅是理論的工業實施成為可能。這些趨勢觸發了對資料科學需求的另一個層級，以及對資料科學能實現的成就感到前所未有的興奮。資料科學包括：
- 大數據與物聯網 (IoT ) 的崛起。商業世界數位轉型，連帶衍生出大量資料，這些資料與客戶、競爭對手、市場趨勢以及其他攸關財務成就的重要因素息息相關。由於資料來源眾多，而且可能屬於非結構化資料，因此非常棘手。即便並非不可行，內部團隊 (如使用舊型系統傳統業務分析師和的 IT 團隊) 也難以自行管理及運用。
- 人工智慧 (AI) 有了全新的使用方式。人工智慧和機器學習 (ML) 曾經是科幻概念，現在已經成了普遍的技術，而且正好能讓大數據方面的困難迎刃而解。資料量、資料的變化以及速度全數大幅增加，找出模式並進行預測的能力已經超出人類認知與傳統統計技術可行的範圍。現在一定得仰仗 AI 和 MI，才能妥善做好資料分類、分析以及預測。
- 運算能力大幅提升。若非近年來電腦處理能力有長足的進步，就不會有高等資料科學這門學問。其中一項重要的發展，就是瞭解為轉譯電玩遊戲影像而設計的電腦處理器也很適合用於 ML 和 AI。這些高級電腦晶片能夠處理極其複雜的統計與數學演算法，即使用於最複雜的問題，也能快速發揮成效，因此非常適合應用於資料科學。
- 新的資料儲存技術，包括雲端運算。同樣地，資料科學要能發展，就要更有能力以合理成本儲存各種類型的資料。現在，企業的資料儲存容量以 PB (或百萬 GB) 為單位已經司空見慣，而且資料不分內部或外部、不分結構化或非結構化，這全都是拜混合運用內部儲存與雲端儲存所賜。
- 系統整合。資料科學緊密連結組織當中的每一個環節，因此，一定要有高速系統整合。自動建模功能運用機器學習演算法預測結果，必須採用專為即時移動資料而設計的技術和系統。得到預測結果後，要能即時將結果傳送到能與客戶互動的應用程式，才能把握優勢。
資料科學家擅長以下三個學科：應用統計和數學、電腦科學以及企業和領域的專業知識。儘管資料科學家可能具有物理學、工程學、數學和其他技術或科學領域的背景，但他們也需要了解您組織的策略規劃，以便他們實現真正的企業優勢。

資料科學人員的日常工作就是定義業務問題或機會、管理及分析與某個問題相關的所有資料、建構及測試用於提供見解和預測結果的模型、向業務關係人報告結果，然後撰寫用於執行所選解決方案的電腦程式碼。撰寫程式碼時，科學人員會組合運用自己拿手的資料管理和預測分析語言，例如 Python、R、SAS 以及 SQL/PostgreSQL。最後，資料科學人員也負責分析及報告實際業務成果。
簡單的答案是：您需要專注於資料科學，因為您的競爭對手已經在使用，而您的客戶也期待它的出現。專注於分析的競爭對手正在加深對客戶的了解，以提高銷售、支援和客戶滿意度。他們正在盡最大可能提升控制成本過程的效率。他們正在深刻了解策略規劃的未來趨勢。也許最重要的是，他們是根據事實而不是最佳猜測來做出決定的。

如果您不積極地投入資料科學，您的組織將處於落後狀態，並在人工智慧和資料復興的時代落後。
資料科學可以提供廣泛的財務成果和策略優勢，而這取決於您的組織，其明確的挑戰和策略目標。

例如，一個公用事業可以依靠即時的使用和成本模式來充分利用智慧電網，使能源消耗降到最低的程度。零售商可以將資料科學運用於購買點資訊，以預測未來的購買和訂製產品的分類。汽車製造商正積極地利用資料科學來收集真實世界的駕駛資訊，並透過機器學習來開發自動駕駛系統。工業製造商使用資料科學將浪費降到最低並充分地利用設備的正常運行時間。

簡單來說，資料科學和人工智慧在文本分析中進度超前，影像識別和自然語言處理不斷發展，而這些發展也推動了各個產業的創新。

資料科學可以明顯地提高您企業幾乎所有領域的效能，包括：
- 充分利用供應鏈。
- 增加員工的保留率。
- 了解並滿足客戶的需求。
- 精準預測企業指標。
- 追蹤和改善產品的設計和效能。
資料科學能做什麼？問題不在於此。更準確的問題是，有什麼是資料不能做的？您的企業已經擁有大量的儲存資訊，並可以存取關鍵的外部資料串流。資料科學可以運用這一切資訊改善幾乎每一個攸關效能的層面，就連長期財務成果也不例外。
資料科學正變得越來越自動化，並且自動化的節奏必定會持續下去。例如，現在的資料科學家可以設定一台機器，對數千種資料範圍的所有可能組合進行自動網格搜尋，以即時找到給予問題的最佳可能解決方案。

從歷史上來看，預測模式必須由統計學家在很長的一段時間內，以手動方式設計和調整並結合統計經驗和人類創造力。但如今，隨著資料量和企業問題的複雜性增加，這類型的任務在數學上是非常複雜的，以至於必須透過人工智慧、機器學習和自動化來解決。這種趨勢只會隨著大數據越來越強大而持續下去。

雖然 AI 和 ML 通常與淘汰人類員工有關，但實際上它們僅增加了資料科學家和相關領域的重要性。當每個公司都能存取這些技術時，若想獲得競爭優勢，就需要不斷的創新和以新的方法來測試目前的統計資料、電腦科學和領域專業知識的極限。資料科學家將提供新的理論、新的 R&D 和新的 AI 臨時應用程式，以實現下一代的策略和財務成果。

沒有跡象表明自動化將取代有技能的資料科學家、資料工程師和 DataOps 專業人士的需求，因為在許多步驟中都需要大量的人類創造力才能利用自動化和 AI 的全部力量。
DataOps 又稱資料運作，是近年來新興的概念，也是人工智慧紀元的企業資料管理模式。倘若採用支配一切的 DataOps 策略，就能緊密結合資料使用者與生產者，迅速找到並運用資料所蘊藏的一切價值。

DataOps 並非產品、服務或解決方案。它是一套方法，一項兼具技術和文化的改變，透過加強資料品質、縮短循環時間和出色的資料管理來改善組織使用資料的方式。

顯然，資料科學是資料操作中的關鍵概念。儘管 DataOps 跨越了收集和應用資訊的整個週期，但資料科學是應用數學、統計、人工智慧和機器學習來理解您資料的關鍵性要素。資料科學透過將原始的資訊轉化成可以操作的見解來支援端對端的 DataOps 過程，以幫助您實現最高等級的策略。
值得關注的資料科學部落格、網站

數據資料的格式、模型 Data Format & Model

網路爬蟲(Web Crawler)

參考資料

特色、摘要，Feature、Summary:

關鍵字、標籤，Keyword、Tag:

Data Mining，資料探勘，Data Science、資料科學，AI，網路爬蟲，Web Crawler，Data-Structure，資料結構