雷鋒網 AI 科技評論按，一些小的技巧在編程領域可能會非常有用，在數據科學領域同樣如此。數據科學愛好者 Parul Pandey 在近日發表了一篇博文，分享了在數據科學中非常實用的 10 個小技巧。雷鋒網 AI 科技評論將他的文章編譯整理如下。
有時候，一點小小的黑客行為可以節省時間，挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物，並且可以真正提高生產力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數據分析項目時，它們會非常有用。
1.Profiling the pandas dataframe
Profiling 是一個幫助我們理解數據的程序，而 Pandas Profiling 正是實現這一點的一個 python 包。這是對 pandas 數據幀進行探索性數據分析的一種簡單快速的方法。pandas df.describe（）和 df.info（）函數通常用作 EDA 過程的第一步。但是，它只提供了非常基本的數據概述，對於大型數據集沒有太大幫助。另一方面，pandas 分析函數使用 df.profile_report（）擴展 pandas 數據幀，以便快速進行數據分析。它用一行代碼顯示了大量信息，在交互式 HTML 報告中也顯示了這些信息。
對於給定的數據集，pandas 分析包計算以下統計信息：
Pandas Profiling 包計算統計信息
安裝
pip install pandas-profiling
or
conda install -c anaconda pandas-profiling
使用
讓我們使用古老的 Titanic 數據集來演示通用的 Python 分析器的功能。
#importing the necessary packages
import pandas as pd
import pandas_profiling
# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)
註：在這篇文章發表一周後，Pandas-Profiling 發布了一個升級版本 2.0.0。其語法發生了一些變化，事實上，功能已經包含在 pandas 中，報告也變得更加全面。以下是最新的語法用法：
使用
要在 Jupyter notebook 中顯示報告，請運行：
#Pandas-Profiling 2.0.0
df.profile_report()
這一行代碼就是在 Jupyter notebook 中顯示數據分析報告所需的全部代碼。報告非常詳細，必要時包括圖表。
還可以將報告導出到具有以下代碼的交互式 HTML 文件中。
profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")
有關更多詳細信息和示例，請參閱這個文檔。
2.第二步，為 pandas plots 帶來交互性
pandas 有一個內置的.plot（）函數作為數據幀類的一部分。然而，用這個函數呈現的可視化並不是交互式的，這使得它不那麼吸引人。相反，也不能排除使用 pandas.dataframe.plot（）函數繪製圖表的易用性。如果我們不需要對代碼進行重大修改，就可以像繪製 pandas plots 那樣繪出交互式圖表呢？你可以在 Cufflinks 庫的幫助下做到這一點。
Cufflinks 將 plotly 的力量與 pandas 的靈活性結合起來，便於繪製。現在讓我們來看看如何安裝這個庫並讓它在 pandas 中工作。
安裝
pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks
使用
#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf
import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)
是時候用 Titanic 數據集來展示它的魔法了。
df.iplot()
df.iplot() vs df.plot()
右視圖顯示的是靜態圖表，左圖表是交互式的，更詳細地說，所有這一切在語法上都沒有重大變化。
點擊這裡獲取更多的示例。
3.一點點 Magic
Magic 命令是 Jupyter notebook 中的一組方便的函數，旨在解決標準數據分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。
所有可用的 magic 函數列表
magic 命令有兩種：行 magics（前綴為一個% 字符並在一行輸入上操作）和單元 magics（用%% 前綴關聯並在多行輸入上操作）。如果設置為 1，則可以調用 magic 函數，而無需鍵入初始百分比。
讓我們看看其中一些在常見數據分析任務中可能有用的功能：
% pastebin
%Pastebin 將代碼上載到 Pastebin 並返回 URL。Pastebin 是一種在線內容託管服務，我們可以在其中存儲純文本（如原始碼片段），然後可以與其他人共享 URL。事實上，Github gist 也類似於 Pastebin，儘管有版本控制。
考慮使用包含以下內容的 python script file.py：
#file.py
def foo(x):
return x
使用 Jupyter notebook 中的%pastebin 生成 pastebin url
%matplotlib notebook
%matplotlib inline 函數用於呈現 Jupyter noteboo 中的靜態 matplotlib 繪圖。嘗試用 notebook 替換內嵌部件，以輕鬆獲得可縮放和可調整大小的繪圖。確保在導入 Matplotlib 庫之前調用了函數。
%matplotlib inline vs %matplotlib notebook
%run
%run 函數在 notebook 內運行 python 腳本。
%run file.py
%%writefile
%WriteFile 將單元格的內容寫入文件。在這裡，代碼將被寫入一個名為 foo 的文件，並保存在當前目錄中。
%%latex
%%latex 函數將單元格內容呈現為 LaTeX。它可用於在單元中編寫數學公式和方程。
4.發現和消除錯誤
interactive debugger 也是一個神奇的函數，但我已經為它提供了自己的一個類別。如果在運行代碼單元時遇到異常，請在新行中鍵入%debug 並運行它。這將打開一個交互式調試環境，將您帶到發生異常的位置。您還可以檢查程序中分配的變量值，並在此處執行操作。要退出調試器，請單擊 q。
5.輸出也可以很漂亮
如果您想為數據結構生成美觀的表示，pprint 是你想要的模塊，它在列印字典或 JSON 數據時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。
6.突出報警框
我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內容或任何需要突出顯示的內容。注釋的顏色取決於警報的類型。只需在需要突出顯示的單元格中添加以下代碼。
藍色警報框：信息提示
<div>
<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.
If it』s a note, you don』t have to include the word「Note」.
</div>
黃色警報框：警告
<div>
<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.
</div>
綠色警報框：成功
<div>
Use green box only when necessary like to display links to related content.
</div>
紅色警報框：危險
<div>
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
</div>
7.列印單元格的所有輸出
考慮一個包含以下代碼行的 Jupyter notebook 單元：
In [1]: 10+5
11+6
Out [1]: 17
通常情況下，單元格中只有最後一個輸出會被列印出來，對於其他輸出，我們需要添加 print（）函數。好吧，其實我們只需在 notebook 頂部添加以下代碼片段就可以列印所有輸出。
from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"
現在所有的輸出都被一個接一個地列印出來
In [1]: 10+5
11+6
12+7
Out [1]: 15
Out [1]: 17
Out [1]: 19
要恢復到原始設置：
InteractiveShell.ast_node_interactivity = "last_expr"
8.使用「i」文件運行 python 腳本
從命令行運行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運行同一腳本（如 python）時添加了一個額外的-i hello.py，那麼它提供了更多的優勢。讓我們看看怎麼做。
首先，只要程序不結束，python 就不會退出解釋器。因此，我們可以檢查變量的值以及程序中定義的函數的正確性。
其次，我們可以通過以下方式輕鬆調用 Python 調試器，因為我們仍在解釋器中：
import pdb
pdb.pm()
這將使我們進入異常發生的位置，然後我們可以處理代碼。
查看來源可以點擊這裡。
9.自動注釋代碼
ctrl/cmd+/自動將單元格中選定的行注釋掉，再次點擊組合將取消對同一行代碼的注釋。
10.刪除容易恢復難
你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經歷？如果有，那麼這裡有一個快捷方式可以撤消刪除操作。
如果刪除了單元格的內容，則可以通過按 ctrl/cmd+z 輕鬆恢復該內容。
如果需要恢復整個已刪除單元格，請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。
結論
在本文中，我列出了在使用 Python 和 Jupyter notebook 時收集到的主要技巧。我相信它們會對你有用，你會從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧！.
via：https://www.kdnuggets.com/2019/07/10-simple-hacks-speed-data-analysis-python.html
雷鋒網(公眾號：雷鋒網)雷鋒網
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。