原文:https://www.biaodianfu.com/python-error-retry.html
作者:標點符
全文約 2600 字,讀完可能需要 4 分鐘。
在做數據抓取的時候,經常遇到由於網絡問題導致的程序保存,先前只是記錄了錯誤內容,並對錯誤內容進行後期處理。
原先的流程:
def crawl_page(url):
pass
def log_error(url):
pass
url = ""
try:
crawl_page(url)
except:
log_error(url)
改進後的流程:
attempts = 0
success = False
while attempts < 3 and not success:
try:
crawl_page(url)
success = True
except:
attempts = 1
if attempts == 3:
break
最近發現的新的解決方案:retrying
retrying 是一個 Python 的重試包,可以用來自動重試一些可能運行失敗的程序段。retrying 提供一個裝飾器函數 retry,被裝飾的函數就會在運行失敗的條件下重新執行,默認只要一直報錯就會不斷重試。
import random
from retrying import retry
@retry
def do_something_unreliable():
if random.randint(0, 10) > 1:
raise IOError("Broken sauce, everything is hosed!!!111one")
else:
return "Awesome sauce!"
print do_something_unreliable()
如果我們運行 haveatry 函數,那麼直到 random.randint 返回 5,它才會執行結束,否則會一直重新執行。
retry 還可以接受一些參數,這個從源碼中 Retrying 類的初始化函數可以看到可選的參數:
stopmaxattempt_number:用來設定最大的嘗試次數,超過該次數就停止重試
stopmaxdelay:比如設置成 10000,那麼從被裝飾的函數開始執行的時間點開始,到函數成功運行結束或者失敗報錯中止的時間點,只要這段時間超過 10 秒,函數就不會再執行了
wait_fixed:設置在兩次 retrying 之間的停留時間
waitrandommin 和 waitrandommax:用隨機的方式產生兩次 retrying 之間的停留時間
waitexponentialmultiplier 和 waitexponentialmax:以指數的形式產生兩次 retrying 之間的停留時間,產生的值為 2^previousattemptnumber * waitexponentialmultiplier,previousattemptnumber 是前面已經 retry 的次數,如果產生的這個值超過了 waitexponentialmax 的大小,那麼之後兩個 retrying 之間的停留值都為 waitexponentialmax。這個設計迎合了 exponential backoff 算法,可以減輕阻塞的情況。
我們可以指定要在出現哪些異常的時候再去 retry,這個要用 retryonexception 傳入一個函數對象:
def retry_if_io_error(exception):
return isinstance(exception, IOError)
@retry(retry_on_exception=retry_if_io_error)
def read_a_file():
with open("file", "r") as f:
return f.read()
在執行 readafile 函數的過程中,如果報出異常,那麼這個異常會以形參 exception 傳入 retryifio_error 函數中,如果 exception 是 IOError 那麼就進行 retry,如果不是就停止運行並拋出異常。
我們還可以指定要在得到哪些結果的時候去 retry,這個要用 retryonresult 傳入一個函數對象:
def retry_if_result_none(result):
return result is None
@retry(retry_on_result=retry_if_result_none)
def get_result():
return None
在執行 getresult 成功後,會將函數的返回值通過形參 result 的形式傳入 retryifresultnone 函數中,如果返回值是 None 那麼就進行 retry,否則就結束並返回函數值。
其他相關資料:
題圖:pexels,CC0 授權。
點擊閱讀原文,查看更多 Python 教程和資源。