養成數據智能,為什麼?如何做?

數據智能 (data intelligence) 是指組織或個人運用知識、方法及工具,將數據轉換為價值的能力。這包含了取得數據、整理數據、了解和判斷數據、探索和分析數據、以機器學習建立模型、解讀和溝通數據分析或建模的結果。

企業為什麼需要培養數據智能:

  • 企業要能永續經營需要建立在理性決策上,而數據和分析是理性決策最重要的方法。長期而言,數據智能成熟度愈高的組織愈能做出高品質的決策。
  • 數據智能幫助企業更有系統及有效率的探索潛在問題和可能的機會。透過數據的累積和探索,數據分析可做到精確時間、空間及趨勢的比對和比較,更容易偵測細微的變化和差異;此外,數據視覺化的技能有助於將抽像的數據轉換為具體的圖像,大幅增加探索問題或機會的能力。
  • 數據智能是幫助解決問題的重要能力。解決問題的關鍵步驟:從了解問題到確認原因,之後再針對原因下對策,在這個過程中,取得和分析數據是這個過最關鍵的能力。
  • 數據智能促進理解事情的樣貌,從複雜的情境挖掘出有用的資訊,提供相關人員可據以行動的見解或指導。

數據智能的基礎

培養員工的數據素養,和建構組織的數據流程,是企業養成數據智能的基礎工作。

數據素養

企業的數據素養是指企業員工有能力讀取數據、處理和運用數據、分析數據、以及溝通數據涵意。

員工的數據素養必須融入(或者要跟得上)企業應用數據的情境。不同的企業、不同的職務內容,以及因應企業所所能提供的數據基礎設施及工具,會有不同數據素養的需求。舉製造業為例,基本的數據素養包含:

  • 理解變異是製造的本質,大部分在製造上的數據含有不確定性。要能區分隨機變異與非隨機變異。
  • 統計基礎知識,能運用統計做理性判斷或決策。
  • 確保數據品質,理解數據的來源及其可能的誤差,判斷數據的合理性。
  • 整理和探索數據、視覺化數據、統計及分析的能力。要能運用分析工具如試算表, minitab, tableau, 或 R、Python 等程式語言。
  • 能夠理解數據經分析後的意涵,有能力據以行動。
  • 呈現及溝通分析結果的能力。(推薦參考書:Google必修的圖表簡報術)

若企業有應用到更高階的數據科技,如運用機器學習或人工智慧的模型來做預測,或者以電腦視覺來做缺陷檢測,那麼企業中也應當要有人能理解機器學習、深度學習及電腦視覺的理論基礎,能夠解釋數據內容、數據分佈、演算法及其參數對所建立的預測模型或判斷模型的影響。

數據流程

數據流程指導或規範員工個人或團隊如何取得、運用數據,將數據轉化為可據以行動的資訊或指示。

數據流程主要的框架大致包含了五個階段:

  1. 瞭解商業或應用需求
  2. 取得、了解、整理數據
  3. 探索和分析數據
  4. 建立模型或產生決策指引
  5. 發佈和溝通成果

這篇文章 What is CRISP DM? 提供了數據分析的流程框架較詳細的解說。

數據流程框架提供了數據及分析的指引參考。但在製造的實務上,企業需要針對自己的需求及資源上的限制及配置,以及因應不同的數據分析需求,發展出不同的數據流程以支援各種不同的例行工作或專案。大部分的公司其實已存在許多數據流程在運作,只是大部分被隱含在各部門的工作流程中,未被整合成明確、標準化和文件化的操作指引或規範。

數據素養是在員工身上的隱性技能,數據流程是企業外顯的工具和方法。

缺乏具有數據素養的員工,企業難以展開數據智能所需要的規劃執行的專案任務。而缺乏系統化的數據流程,即使擁有優秀數據素養的人才也難以發揮大的效用。另一方面,員工要培養精進那些數據素養,也需搭配企業數據流程的情境和需求; 而精進的員工數據養則可以持續的改善數據流程的效能。企業要養成成熟的數據智能,這兩者必須相輔相成。

培養數據智能的方法

善用持續改善的系統來培養數據智能。

培養數據智能最務實和可靠的方式是從推行各類型的持續改善中逐步建構和累積而來。這種方式有幾個優點:

  • 持續改善已是大部分產業的常態活動,可減少推行上的阻力及成本。
  • 改善專案常會涉及數據的收集與分析,是練習數據分析、培養數據素養的最佳時機。
  • 改善專案有明確的目標,對企業營運效能的提升助益容易評估,成功的機率較大。企業及參與員工也相對能獲得明確的回報,提高對推動數據智能的信心和信認。
  • 數據基礎設施、工具和訓練的投資有明確的商業目標。與商業策略明確的連結是發展各種數據能力成功的最重要因素。

企業可依據長、短期的商業策略,規劃持續改善的計劃。盤點這些計劃可能需要的數據技術、技能和設施,按改善計劃的優先順序,逐步的在執行改善專案的過程中建置數據基礎設施、培養及訓練數據人才、提升公司整體的數據素養、整合及完備數據流程,以此有系統的養成數據智能。

譬如產品良率是製造業最重要的績效指標,良率是製程中各種因素影響的總合,好的良率管理模式會將良率跟製程因子做關聯分析,找出影響良率的關鍵因子加以管制,以維持良率或進一步的提升良率。要有效的以這種方法提升及維持良率,企業必須要檢視:

  • 是否了解製程因子對良率的影響程度?那些是關鍵因子?
  • 各階段製程的管制是否最終能有效的管控良率?
  • 製程因子的管控是管控輸出(落後指標),還是管控輸入(領先指標)?
  • 難以固定管控的關鍵製程因子,是否能以先進製程管制的技術來克服?
  • 製程管制因子是各自獨立管理,還是會考量交互作用?
  • 對良率波動的反應是基於目標設定,還是基於良率模型?
  • 低良率發生時,是否能快速回推到發生的製程點及時間點?
  • 以上相關的因子管控是否有容易使用及分析的介面,花一分鐘就了解問題跟花一天才找到數據的競爭力差別很大。

這些都是可以成為改善活動的議題。透過這些良率相關的改善活動,企業不僅能收到穩定高良率的效果,同時也能在專案的計劃和執行的過程,建置和提升數據智能:

  • 良率及製程數據的產生、檢核和除錯能訓練員工建立數據品質和完整性的意識。這會讓企業建立和累積高品質的數據和更完整的數據量,或者意識到不完整的數據所產生的問題。
  • 良率跟製程因子的關聯分析可能會讓員工有機會了解及應用幾種統計和機器學習的技能,如機率分佈,統計檢定及推論、廻歸或分類模型。同時在這個過程也會實務應用到如何整埋、探索和分析數據。
  • 建立使用及分析的介面,或者儀表板,能促成及加速員工運用數據來解決問題及輔助決策。
  • 數據的整合應用所呈現的效果會進一步催化員工提升自己的數據應用能力。
  • 專案成果的呈現和對策實施會增進員工以事實溝通及決策。
  • 過程中會促使相關部門合作產生數據流程以標準化及自動化數據處理、分析及決策的過程。
  • 促成企業投資在數據和分析的工具和設施上,進一步的提升員工的數據技能和數據流程的效能。

數據智能在挖掘問題或機會、解決問題及促進理性決策等企業經營基礎層面提供無可取待的價值。養成企業的數據智能是複雜且持續的工作,企業需要有一套發展數據智能的的策略才有可能在這方面取得好的成果。以持續改善為推動提升數據智能的機制,並以達到商業目標或策略為目的,在推行相關的專案中持續的提升員工的數據素養和精進企業的數據流程,這將會不斷的推進企業數據智能的成熟度。