發布源:深圳維創信息技術發布時間:2020-09-16 瀏覽次數: 次
而且在大多數情況下,必須對工作人員進行培訓,讓其獲得新的工作技能。
調研機構Enterprise Strategy Group的高級分析師Mike Leone表示,總體而言,云計算中的大數據可以降低內部部署數據中心的成本,并非運行在云端的大數據工作負載或項目都需要企業擁有一名大數據專家,但也有一些企業需要數據專家的幫助,例如涉及Hadoop。
Leone表示,雖然在云端使用五節點集群替換五節點Hadoop集群非常簡單,但卻出現了管理方面的挑戰,尤其是軟件互操作性方面的管理挑戰。
云端獲得大數據的四大技能 根據IT培訓機構Linux Academy公司的大數據分析主管Manisha Sule的說法,IT團隊應該把重點放在四大技能上,以便在云計算領域運行大數據。
管理:工作人員知道如何管理Hadoop和NoSQL變得至關重要。
工作人員還需要仔細配置和管理(諸如計算、存儲和網絡等)基礎設施組件,以支持大數據項目。
Sule說,使用Hadoop分布式文件系統和NoSQL數據庫的經驗也是有幫助的,這兩者都可以存儲大量的數據。
開發:Sule表示,大數據開發人員應該具有Python、Scala和Java等語言的編程經驗。
此外,具有使用亞馬遜網絡服務(AWS)Kinesis和Lambda等產品的經驗也是一個優勢,因為它們提供了基于微服務架構的實時處理的替代方案。
分析:云端大數據分析需要統計學、數據挖掘、機器學習、操作研究、計算機編程方面的專業知識。
Sule說,數據科學家和分析師以及機器學習和人工智能工程師需要學習如何構建算法,然后將這些算法實現自動化以處理大量的實時數據。
可視化:可視化開發人員設計儀表板,講述組織收集的大數據的故事。
這個角色的IT專業人員需要訪問不同的數據源,并將其整合到統一的交互式平臺中。
Sule指出,雖然有一些課程可以幫助掌握這四項技能,但對于IT專業人員來說,最好采取邊做邊學的方法。
云計算也適合采用這種模式。
Sule說:“在人們準備充分的時候,可以輕松地注冊一個試用賬戶,直接感受到可用的服務。
許多正式課程的內容也涉及實踐經驗。
” Cloud Technology Partners首席架構師Muhammad Nabeel表示,IT團隊也應該為提供商提供的多種云服務結合起來做好準備,以支持大數據計劃。
他說:“企業需要詳細了解它們并一起實施。
” 根據Nabeel的說法,在三家行業領先的公共云提供商云平臺上運行的關鍵的大數據服務包括: 微軟Azure:在微軟Azure上使用Hadoop、Spark、R Server、HBase,以及Storm群集的HDInsight。
谷歌云平臺:用于分析數據倉庫的BigQuery,用于批量和流處理的云數據流,用于托管Hadoop和Spark的Cloud Dataproc,以及用于數據挖掘的Cloud Datalab。
AWS云平臺:使用Hadoop和Spark的Elastic MapReduce; Athena在簡單存儲服務中進行分析; Elasticsearch集群。
除了第三方培訓選項外,云計算提供商還提供有用的學習功能以加速采用。
例如,在谷歌云計算控制平臺中,有一個“試用”功能的例子。
Nabeel認為,實踐經驗有很長的路要走。
他說:“學習一門課程是有幫助的,但如果課程真正涉及到工作人員所需要的具體知識時,并不總是能夠解決問題。
” 網絡流量分析提供商Kentik公司聯合創始人兼首席執行官Avi Freedman表示,雖然提供特定于供應商的大型數據工具的知識非常重要,但組織也應該努力在多個云平臺上使其團隊的技能多樣化。
過于依賴單一供應商的企業有些短視,因為現在市場上沒有明顯的贏家。
Copyright © 2021 深圳市維創信息技術有限公司 版權所有