全文共4398字,預計學習時長13分鐘
過年期間,小芯努力學習了一些數據科學技能,作為數據領域的人,最終總會閱讀並了解很多很多東西。
數據科學對小芯來說,是一種力量,能使企業和利益相關者做出明智的決策,並用數據解決問題。
如今,不是每個技術專家都對其他技能充滿熱情,但都會對自己工作領域的技能充滿熱情。數據科學家也是如此。新的一年,隨著新技術趨勢和更重大挑戰出現,技術基礎必須夯實。
下面是小芯整理出來的最新鮮的2020年數據科學家所需的10大技能,排序不分先後!
1. 資料庫管理
對筆者來說,數據科學家是不一樣的存在,他們需要掌握所有知識,包括數學、統計、編程、數據管理、可視化,以及定義非「完整堆棧」。
正如筆者前面提到的,80%的工作在於準備數據,以便能在項目環境中對數據進行處理。需要處理大量數據時,數據科學家要知道管理這些數據是非常重要的。
資料庫管理本質上由一組可以編輯、索引和操作資料庫的程序組成。資料庫管理系統接受來自應用程式的數據請求,並指示作業系統提供所需的特定數據。在大型系統中,資料庫管理系統幫助用戶在任何給定的時間點存儲和檢索數據。
資料庫管理能為數據科學帶來什麼?
1. 定義、檢索和管理資料庫中的數據
2. 操縱數據本身、數據格式、欄位名、記錄結構和文件結構
3. 定義寫入、驗證和測試數據的規則
4. 在資料庫的記錄層操作
5. 支持多用戶環境並行訪問及操作數據
一些流行的資料庫管理系統包括:MySQL、SQL伺服器、Oracle、IBM DB2、PostgreSQL和NoSQL資料庫(Mongo資料庫、Couch資料庫、Dynamo資料庫、H庫、Neo4j、Cassandra、Redis)
2. 機器學習/深度學習
如果你工作的公司管理並操作大量數據,並且決策過程是以數據為中心的,那麼你可能需要掌握機器學習這一技能。機器學習是數據科學生態系統的一個子集,就像統計學或概率一樣,它有助於數據建模和獲得結果。
面向數據科學的機器學習包括對機器學習至關重要的算法;KNN最近鄰算法,隨機森林,樸素貝葉斯,回歸模型,PyTorch、TensorFlow和Keras在數據科學機器學習中的也都很有用。
機器學習能為數據科學帶來什麼?
1. 欺詐監測和風險管理
2. 醫療保健(蓬勃發展的數據科學領域之一!遺傳學、基因組學、圖像分析)
3. 航線規劃
4. 垃圾郵件自動過濾
5. 面部和語音識別系統
6. 改進的交互式語音響應(IVR)
7. 全面的語言和文檔識別和翻譯
3.數據可視化
數據可視化實際上意味著什麼?對筆者來說,它是數據中發現的圖形表示。可視化可以有效地溝通,並引導用戶探索得出結論。
筆者是數據可視化的核心人物。可視化使筆者可以從數據中構思出故事,並創建全面的展示。數據可視化是更重要的技能之一,因為它不僅僅反映最終的結果,還能理解並學習數據及數據的脆弱性。
把事物形象地描繪出來總是好的;真正的價值已經確立和理解了。創建可視化時,肯定會得到有意義的信息,令人驚訝的是,這些信息竟然可以影響系統。
直方圖、條形圖、餅圖、散點圖、折線圖、時間序列圖、關係圖、熱圖、地理圖、三維圖以及一長串可用於數據的可視化列表。如需更詳細的列表,請訪問此處。
數據可視化能為數據科學帶來什麼?
1. 為強大的觀點繪製數據
2. 確定未知變量之間的關係
3. 可視化需要關注或需要改進的領域
4. 確定影響客戶行為的因素
5. 了解將哪些產品放在哪裡
6. 顯示來自新聞、關係、網站、社交媒體的趨勢
7. 可視化信息量
8. 客戶報告、員工績效、季度銷售映射
9. 針對用戶群體設計營銷策略
一些流行的數據可視化工具包括:Tableau、PowerBI、QlikView、谷歌分析(用於網絡)、微軟Excel、Plotly、融合圖表、SAS
4.多元微積分&線性代數
大多數機器學習,無一例外都是數據科學模型,都是由幾個預測因子或未知變量構成的。多元微積分知識對建立機器學習模型有重要意義。以下是一些在數據科學工作中常見的數學話題:
1. 導數和梯度
2. 階躍函數、S型函數、邏輯函數、ReLU函數
3. 成本函數(最重要)
4. 函數繪製
5. 函數的最小值和最大值
6. 標量、向量、矩陣和張量函數
5.微軟Excel表
眾所周知,微軟的電子表格可能是處理數據最好用並且最流行的工具之一。還可能會聽到,「嘿,你收到老闆發來的Excel表了嗎?」等一下,本文不是在討論數據科學的技能嗎?Excel?筆者總認為一定有什麼簡單的方法來管理數據。隨著用Excel進行數據管理的經驗積累,筆者意識到,Excel是:
1. 2D數據的最佳編輯
2. 對高級數據進行分析的基礎平臺
3. 在Python中實現與運行中Excel表的實時連接
4. 讓你可以在任何時候做任何你想做的事,並保存你喜歡的版本
5. 使數據操作相對簡單
如今,大多數非技術人員經常使用Excel表替代資料庫。這可能是一個錯誤的用法,因為Excel表在某種程度上缺乏版本控制、準確性、可再現性或可維護性。然而,Excel所能做的也令人驚訝!
Excel能為數據科學帶來什麼?
1. 命名並創建範圍
2. 過濾、排序、合併、修剪數據
3. 創建透視表和圖表
4. Visual Basic for Applications (VBA)[如果你還不知道這是什麼的話,谷歌一下。這是微軟的超能力,在這裡三言兩語說不清楚。VBA是Excel的程式語言,使你可以運行循環、宏,if..else語句]
5. 清除數據:刪除重複值,在絕對、混合和相對之間更改引用
6. 在數千條記錄中查找所需數據
6. DevOps
筆者一直聽說並相信數據科學是為懂數學、統計學、算法和數據管理的人而設的。不久前,筆者遇到了一個在核心開發方面有超過6年經驗的人,他正在探索數據科學領域的職業轉變。筆者出於好奇心研究了DevOps是否以及如何成為數據科學的一部分。雖然筆者對DevOps知之甚少(實際上,是什麼都不知道),但有一點是肯定的:DevOps對數據科學越來越重要。
DevOps是一套將軟體開發和信息技術操作相結合的方法,旨在縮短開發生命周期並提供高質量軟體的不間斷交付。
DevOps團隊與開發團隊密切合作,有效地管理應用程式的生命周期。數據轉換要求數據科學團隊與DevOps密切合作。DevOps團隊預計將使用高可用性的Apache Hadoop、Apache Kafka、Apache Spark和Apache Airflow集群來處理數據提取和轉換。
DevOps 會為數據科學帶來什麼?
1. 提供、配置、擴展和管理數據集群
2. 通過持續集成、部署和監控數據來管理信息基礎架構
3. 創建腳本,自動為各種環境調配和配置基礎。
7. 概率&統計
數據科學是關於如何使用資本過程、算法或系統從數據中提取信息、見解等,以做出明智的決策。在這種情況下,做出推論、估計或預測就構成了數據科學的重要部分。
在統計方法的幫助下,概率有助於為進一步分析作出預估。統計學主要依賴於概率論。簡而言之,概率與統計兩者相互交織。
概率和統計能為數據科學帶來什麼?
1. 探索並了解更多的數據信息
2. 確定兩個變量之間可能存在的潛在關係或依賴關係
3. 預測未來趨勢或基於之前的數據趨勢來預測趨勢
4. 確定數據的模式或動機
5. 發現數據中的異常
尤其是對於數據驅動型公司來說,利益相關者依賴數據進行決策和設計/評估數據模型,概率和統計是數據科學不可或缺的部分。
8.編程、軟體包和軟體
當然!數據科學本質上是關於編程的。數據科學領域的編程技能匯集了能夠將原始數據轉化為可操作見解的所有基本技能。雖然對編程的語言選擇沒有具體規則,但Python和R是最受歡迎的。
對於程式語言的偏好或平臺選擇,筆者並不執著。數據科學家只是選擇一種程式語言來解決手頭的問題。然而,Python似乎已經成了數據科學的通用語言。
這裡有一個程式語言列表和一些可供數據科學選擇的軟體包,順序不分先後:
1. Python
2. R
3. SQL
4. Java
5. Julia
6. Scala
7. MATLAB
8. TensorFlow (非常適合Python中的數據科學)
並且,本文不是在寫能用數據科學的編程技能做什麼
下文全都是關於編碼的。如果沒有編碼經驗或不熟悉編碼知識,數據科學將會很困難。因此,筆者總喜歡先溫習Python技能,閱讀項目相關文獻,然後才開始構建代碼。
9. 數據爭論
通常,企業需要或接收的數據還並不適合用於建模。因此,非常有必要理解並掌握如何處理不完美的數據。
數據爭論是為做進一步分析準備數據的過程;將原始數據從一種形式轉換和映射到另一種形式,為深入了解數據做準備。對於數據爭論,基本上就是獲取數據,合併相關欄位,然後清理數據。
數據爭論能為數據科學帶來什麼?
1. 通過從多個渠道收集數據,揭示數據中的深層智能
2. 及時、準確地描述企業和數據分析師手中可操作數據
3. 減少處理時間、響應時間以及收集、組織不規則數據所花費的時間
4. 使數據科學家能夠更加關注數據分析,而不是數據清理部分
5. 領導數據驅動的決策過程,朝著準確數據支持的方向發展
10. 雲計算
數據科學的實踐通常包括使用雲計算產品和服務來幫助數據專業人員訪問管理和處理數據所需的資源。[customerthink.com]數據科學家的日常通常包括分析和可視化存儲在雲中的數據。
你可能已經了解到數據科學和雲計算是相輔相成的,這通常是因為雲計算幫助數據科學家使用諸如AWS、Azure、谷歌雲等平臺,通過這些平臺能夠訪問資料庫、框架、程式語言和操作工具。
熟悉數據科學包括與大量數據的交互這一事實,鑑於工具和平臺的規模和可用性,理解雲計算的概念對數據科學家來說不僅是一項相關技能,也是一項關鍵技能。
雲計算能為數據科學帶來什麼?
1. 數據採集
2. 解析、管理、爭論、轉換、分析和數據殺毒
3. 數據挖掘[探索性數據分析(EDA),匯總統計,…
4. 驗證和測試預測模型、推薦系統和諸如此類的模型
5. 調整數據變量並優化模型性能
一些流行的數據科學雲平臺包括亞馬遜網絡服務、WindowsAzure、谷歌雲或IBM雲。筆者有時還讀到,有人在嘗試阿里巴巴雲,這聽起來很有趣。
你具備以上技能嗎?
留言點讚關注
我們一起分享AI學習與發展的乾貨
如轉載,請後臺留言,遵守轉載規範