你可能不知道的 Python 技巧

2021-03-02 Python程式設計師
英文 | Python Tips and Trick, You Haven't Already Seen原作 | Martin Heinz (https://martinheinz.dev)

聲明 :本文獲得原作者授權翻譯,轉載請保留原文出處,請勿用於商業或非法用途。

有許許多多文章寫了 Python 中的許多很酷的特性,例如變量解包、偏函數、枚舉可迭代對象,但是關於 Python 還有很多要討論的話題,因此在本文中,我將嘗試展示一些我知道的和在使用的,但很少在其它文章提到過的特性。那就開始吧。

1、對輸入的字符串「消毒」

對用戶輸入的內容「消毒」,這問題幾乎適用於你編寫的所有程序。通常將字符轉換為小寫或大寫就足夠了,有時你還可以使用正則表達式來完成工作,但是對於複雜的情況,還有更好的方法:

user_input = "This\nstring has\tsome whitespaces...\r\n"

character_map = {
 ord('\n') : ' ',
 ord('\t') : ' ',
 ord('\r') : None
}
user_input.translate(character_map)  # This string has some whitespaces... "

在此示例中,你可以看到空格字符「 \n」和「 \t」被單個空格替換了,而「 \r」則被完全刪除。這是一個簡單的示例,但是我們可以更進一步,使用unicodedata 庫及其 combining() 函數,來生成更大的重映射表(remapping table),並用它來刪除字符串中所有的重音。

2、對迭代器切片

如果你嘗試直接對迭代器切片,則會得到 TypeError ,提示說該對象不可取下標(not subscriptable),但是有一個簡單的解決方案:

import itertools

s = itertools.islice(range(50), 10, 20)  # <itertools.islice object at 0x7f70fab88138>
for val in s:
 ...

使用itertools.islice,我們可以創建一個 islice 對象,該對象是一個迭代器,可以生成我們所需的內容。但是這有個重要的提醒,即它會消耗掉切片前以及切片對象 islice 中的所有元素。

(譯註:更多關於迭代器切片的內容,可閱讀Python進階:迭代器與迭代器切片)

3、跳過可迭代對象的開始

有時候你必須處理某些文件,它們以可變數量的不需要的行(例如注釋)為開頭。itertools 再次提供了簡單的解決方案:

string_from_file = """
// Author: ...
// License: ...
//
// Date: ...

Actual content...
"""

import itertools

for line in itertools.dropwhile(lambda line:line.startswith("//"), string_from_file.split("\n")):
    print(line)

這段代碼僅會列印在初始的注釋部分之後的內容。如果我們只想丟棄迭代器的開頭部分(在此例中是注釋),並且不知道有多少內容,那麼此方法很有用。

4、僅支持關鍵字參數(kwargs)的函數

當需要函數提供(強制)更清晰的參數時,創建僅支持關鍵字參數的函數,可能會挺有用:

def test(*, a, b):
 pass

test("value for a", "value for b")  # TypeError: test() takes 0 positional arguments...
test(a="value", b="value 2")  # Works...

如你所見,可以在關鍵字參數之前,放置單個 * 參數來輕鬆解決此問題。如果我們將位置參數放在 * 參數之前,則顯然也可以有位置參數。

5、創建支持 with 語句的對象

我們都知道如何使用 with 語句,例如打開文件或者是獲取鎖,但是我們可以實現自己的麼?是的,我們可以使用__enter__ 和__exit__ 方法來實現上下文管理器協議:

class Connection:
 def __init__(self):
  ...

 def __enter__(self):
  # Initialize connection...

 def __exit__(self, type, value, traceback):
  # Close connection...

with Connection() as c:
 # __enter__() executes
 ...
 # conn.__exit__() executes

這是在 Python 中實現上下文管理的最常見方法,但是還有一種更簡單的方法:

from contextlib import contextmanager

@contextmanager
def tag(name):
 print(f"<{name}>")
 yield
 print(f"</{name}>")

with tag("h1"):
 print("This is Title.")

上面的代碼段使用 contextmanager 裝飾器實現了內容管理協議。tag 函數的第一部分(yield 之前)會在進入 with 語句時執行,然後執行 with 的代碼塊,最後會執行 tag 函數的剩餘部分。

5、用__slots__節省內存

如果你曾經編寫過一個程序,該程序創建了某個類的大量實例,那麼你可能已經注意到你的程序突然就需要大量內存。那是因為 Python 使用字典來表示類實例的屬性,這能使其速度變快,但內存不是很高效。通常這不是個問題,但是,如果你的程序遇到了問題,你可以嘗試使用__slots__ :

class Person:
    __slots__ = ["first_name", "last_name", "phone"]
    def __init__(self, first_name, last_name, phone):
    self.first_name = first_name
    self.last_name = last_name
    self.phone = phone

這裡發生的是,當我們定義__slots__屬性時,Python 使用固定大小的小型數組,而不是字典,這大大減少了每個實例所需的內存。使用__slots__還有一些缺點——我們無法聲明任何新的屬性,並且只能使用在__slots__中的屬性。同樣,帶有__slots__的類不能使用多重繼承。

6、限制CPU和內存使用量

如果不是想優化程序內存或 CPU 使用率,而是想直接將其限制為某個固定數字,那麼 Python 也有一個庫能做到:

import signal
import resource
import os

# To Limit CPU time
def time_exceeded(signo, frame):
 print("CPU exceeded...")
 raise SystemExit(1)

def set_max_runtime(seconds):
 # Install the signal handler and set a resource limit
 soft, hard = resource.getrlimit(resource.RLIMIT_CPU)
 resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard))
 signal.signal(signal.SIGXCPU, time_exceeded)

# To limit memory usage
def set_max_memory(size):
 soft, hard = resource.getrlimit(resource.RLIMIT_AS)
 resource.setrlimit(resource.RLIMIT_AS, (size, hard))

在這裡,我們可以看到兩個選項,可設置最大 CPU 運行時間和內存使用上限。對於 CPU 限制,我們首先獲取該特定資源(RLIMIT_CPU)的軟限制和硬限制,然後通過參數指定的秒數和先前獲取的硬限制來設置它。最後,如果超過 CPU 時間,我們將註冊令系統退出的信號。至於內存,我們再次獲取軟限制和硬限制,並使用帶有 size 參數的setrlimit 和獲取的硬限制對其進行設置。

8、控制可以import的內容

某些語言具有非常明顯的用於導出成員(變量、方法、接口)的機制,例如Golang,它僅導出以大寫字母開頭的成員。另一方面,在 Python 中,所有內容都會被導出,除非我們使用__all__ :

def foo():
 pass

def bar():
 pass

__all__ = ["bar"]

使用上面的代碼段,我們可以限制from some_module import * 在使用時可以導入的內容。對於以上示例,通配導入時只會導入 bar。此外,我們可以將__all__ 設為空,令其無法導出任何東西,並且在使用通配符方式從此模塊中導入時,將引發 AttributeError。

9、比較運算符的簡便方法

為一個類實現所有比較運算符可能會很煩人,因為有很多的比較運算符——__lt__、__le__、__gt__ 或__ge__。但是,如果有更簡單的方法呢?functools.total_ordering 可救場:

from functools import total_ordering

@total_ordering
class Number:
 def __init__(self, value):
  self.value = value

 def __lt__(self, other):
  return self.value < other.value

 def __eq__(self, other):
  return self.value == other.value

print(Number(20) > Number(3))
print(Number(1) < Number(5))
print(Number(15) >= Number(15))
print(Number(10) <= Number(2))

這到底如何起作用的?total_ordering 裝飾器用於簡化為我們的類實例實現排序的過程。只需要定義__lt__ 和__eq__,這是最低的要求,裝飾器將映射剩餘的操作——它為我們填補了空白。

譯註: 原作者的文章分為兩篇,為了方便讀者們閱讀,我特將它們整合在一起,以下便是第二篇的內容。)

10、使用slice函數命名切片

使用大量硬編碼的索引值會很快搞亂維護性和可讀性。一種做法是對所有索引值使用常量,但是我們可以做得更好:

# ID   First Name   Last Name
line_record = "2        John         Smith"

ID = slice(0, 8)
FIRST_NAME = slice(9, 21)
LAST_NAME = slice(22, 27)

name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}"
# name == "John Smith"

在此例中,我們可以避免神秘的索引,方法是先使用 slice 函數命名它們,然後再使用它們。你還可以通過 .start、.stop和 .stop 屬性,來了解 slice 對象的更多信息。

11、在運行時提示用戶輸入密碼

許多命令行工具或腳本需要用戶名和密碼才能操作。因此,如果你碰巧寫了這樣的程序,你可能會發現 getpass 模塊很有用:

import getpass

user = getpass.getuser()
password = getpass.getpass()
# Do Stuff...

這個非常簡單的包通過提取當前用戶的登錄名,可以提示用戶輸入密碼。但是須注意,並非每個系統都支持隱藏密碼。Python 會嘗試警告你,因此切記在命令行中閱讀警告信息。

12、查找單詞/字符串的相近匹配

現在,關於 Python 標準庫中一些晦澀難懂的特性。如果你發現自己需要使用Levenshtein distance 【2】之類的東西,來查找某些輸入字符串的相似單詞,那麼 Python 的 difflib 會為你提供支持。

import difflib
difflib.get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'], n=2)
# returns ['apple', 'ape']

difflib.get_close_matches 會查找最佳的「足夠好」的匹配。在這裡,第一個參數與第二個參數匹配。我們還可以提供可選參數 n ,該參數指定要返回的最多匹配結果。另一個可選的關鍵字參數 cutoff (默認值為 0.6),可以設置字符串匹配得分的閾值。

13、使用IP位址

如果你必須使用 Python 做網絡開發,你可能會發現 ipaddress 模塊非常有用。一種場景是從 CIDR(無類別域間路由 Classless Inter-Domain Routing)生成一系列 IP 地址:

import ipaddress
net = ipaddress.ip_network('74.125.227.0/29')  # Works for IPv6 too
# IPv4Network('74.125.227.0/29')

for addr in net:
    print(addr)

# 74.125.227.0
# 74.125.227.1
# 74.125.227.2
# 74.125.227.3
# ...

另一個不錯的功能是檢查 IP 地址的網絡成員資格:

ip = ipaddress.ip_address("74.125.227.3")

ip in net
# True

ip = ipaddress.ip_address("74.125.227.12")
ip in net
# False

還有很多有趣的功能,在這裡【3】可以找到,我不再贅述。但是請注意,ipaddress 模塊和其它與網絡相關的模塊之間只有有限的互通性。例如,你不能將 IPv4Network 實例當成地址字符串——需要先使用 str 轉換它們。

14、在Shell中調試程序崩潰

如果你是一個拒絕使用 IDE,並在 Vim 或 Emacs 中進行編碼的人,那麼你可能會遇到這樣的情況:擁有在 IDE 中那樣的調試器會很有用。

你知道嗎?你有一個——只要用python3.8 -i 運行你的程序——一旦你的程序終止了, -i 會啟動交互式 shell,在那你可以查看所有的變量和調用函數。整潔,但是使用實際的調試器(pdb )會如何呢?讓我們用以下程序(script.py ):

def func():
    return 0 / 0

func()

並使用python3.8 -i script.py運行腳本:

# Script crashes...
Traceback (most recent call last):
  File "script.py", line 4, in <module>
    func()
  File "script.py", line 2, in func
    return 0 / 0
ZeroDivisionError: division by zero
>>> import pdb
>>> pdb.pm()  # Post-mortem debugger
> script.py(2)func()
-> return 0 / 0
(Pdb)

我們看到了崩潰的地方,現在讓我們設置一個斷點:

def func():
    breakpoint()  # import pdb; pdb.set_trace()
    return 0 / 0

func()

現在再次運行它:

script.py(3)func()
-> return 0 / 0
(Pdb)  # we start here
(Pdb) step
ZeroDivisionError: division by zero
> script.py(3)func()
-> return 0 / 0
(Pdb)

大多數時候,列印語句和錯誤信息就足以進行調試,但是有時候,你需要四處摸索,以了解程序內部正在發生的事情。在這些情況下,你可以設置斷點,然後程序執行時將在斷點處停下,你可以檢查程序,例如列出函數參數、表達式求值、列出變量、或如上所示僅作單步執行。

pdb 是功能齊全的 Python shell,理論上你可以執行任何東西,但是你還需要一些調試命令,可在此處【4】找到。

15、在一個類中定義多個構造函數

函數重載是程式語言(不含 Python)中非常常見的功能。即使你不能重載正常的函數,你仍然可以使用類方法重載構造函數:

import datetime

class Date:
    def __init__(self, year, month, day):
        self.year = year
        self.month = month
        self.day = day

    @classmethod
    def today(cls):
        t = datetime.datetime.now()
        return cls(t.year, t.month, t.day)

d = Date.today()
print(f"{d.day}/{d.month}/{d.year}")
# 14/9/2019

你可能傾向於將替代構造函數的所有邏輯放入__init__,並使用*args 、**kwargs 和一堆 if 語句,而不是使用類方法來解決。那可能行得通,但是卻變得難以閱讀和維護。

因此,我建議將很少的邏輯放入__init__,並在單獨的方法/構造函數中執行所有操作。這樣,對於類的維護者和用戶而言,得到的都是乾淨的代碼。

16、使用裝飾器緩存函數調用

你是否曾經編寫過一種函數,它執行昂貴的 I/O 操作或一些相當慢的遞歸,而且該函數可能會受益於對其結果進行緩存(存儲)?如果你有,那麼有簡單的解決方案,即使用 functools 的lru_cache :

from functools import lru_cache
import requests

@lru_cache(maxsize=32)
def get_with_cache(url):
    try:
        r = requests.get(url)
        return r.text
    except:
        return "Not Found"


for url in ["https://google.com/",
            "https://martinheinz.dev/",
            "https://reddit.com/",
            "https://google.com/",
            "https://dev.to/martinheinz",
            "https://google.com/"]:
    get_with_cache(url)

print(get_with_cache.cache_info())
# CacheInfo(hits=2, misses=4, maxsize=32, currsize=4)

在此例中,我們用了可緩存的 GET 請求(最多 32 個緩存結果)。你還可以看到,我們可以使用 cache_info 方法檢查函數的緩存信息。裝飾器還提供了 clear_cache 方法,用於使緩存結果無效。

我還想指出,此函數不應與具有副作用的函數一起使用,或與每次調用都創建可變對象的函數一起使用。

17、在可迭代對象中查找最頻繁出現的元素

在列表中查找最常見的元素是非常常見的任務,你可以使用 for 循環和字典(map),但是這沒必要,因為 collections 模塊中有 Counter 類:

from collections import Counter

cheese = ["gouda", "brie", "feta", "cream cheese", "feta", "cheddar",
          "parmesan", "parmesan", "cheddar", "mozzarella", "cheddar", "gouda",
          "parmesan", "camembert", "emmental", "camembert", "parmesan"]

cheese_count = Counter(cheese)
print(cheese_count.most_common(3))
# Prints: [('parmesan', 4), ('cheddar', 3), ('gouda', 2)]

實際上,Counter 只是一個字典,將元素與出現次數映射起來,因此你可以將其用作普通字典:

pythonprint(cheese_count["mozzarella"])¨K40Kcheese_count["mozzarella"] += 1print(cheese_count["mozzarella"])¨K41K

除此之外,你還可以使用 update(more_words) 方法輕鬆添加更多元素。Counter 的另一個很酷的特性是你可以使用數學運算(加法和減法)來組合和減去 Counter 的實例。

小結

在日常 Python 編程中,並非所有這些特性都是必不可少的和有用的,但是其中一些特性可能會時不時派上用場,並且它們也可能簡化任務,而這本來可能很冗長且令人討厭。

我還要指出的是,所有這些特性都是 Python 標準庫的一部分,雖然在我看來,其中一些特性非常像是標準庫中的非標準內容。因此,每當你要在 Python 中實現某些功能時,首先可在標準庫查看,如果找不到,那你可能看得還不夠仔細(如果它確實不存在,那麼肯定在某些三方庫中)。

如果你使用 Python,那麼我認為在這裡分享的大多數技巧幾乎每天都會有用,因此我希望它們會派上用場。另外,如果你對這些 Python 技巧和騷操作有任何想法,或者如果你知道解決上述問題的更好方法,請告訴我!🙂

相關連結

[1] 原文地址: https://martinheinz.dev/blog/1

[2] Levenshtein distance: https://en.wikipedia.org/wiki/Levenshtein_distance

[3] 在這裡: https://docs.python.org/3/howto/ipaddress.html

[4] 此處: https://docs.python.org/3/library/pdb.html%23debugger-commands#debugger-commands

相關焦點

  • 一些你可能不知道的 Python 小技巧!
    簡單來說就是:集合是一組無序事物的匯集,不包含重複元素。如果你熟練掌握集合及其邏輯,那麼很多問題都可以迎刃而解。舉個例子,如何獲取一個單詞中出現的字母?再舉一個例子,如何獲取一個列表的各個元素,且不重複?
  • 這些Python代碼技巧,你肯定還不知道
    本文或許能夠讓你學到一些新技巧。請點擊這裡:https://pypi.org/project/emoji/$ pip install emoji別以為我不知道你會偷偷試它→→Jedi:https://jedi.readthedocs.io/en/latest/docs/usage.html你可能已經在使用 Jedi 了。
  • 零基礎學Python--你應知道的30個小技巧
    關於Python,可能有很多的初學者還沒有什麼概念!但是Python確實是一個非常容易學習的膠水語言,為了增加大家學習的樂趣,我們先來看看Python的一些小技巧。一、交換兩個變量的值。在Python裡面交換變量的值,不需要像C語言一下用異或操作,並且只需要一行就搞定了。
  • 你不知道的Python小技巧,趕快收藏吧!
    python沒有使用語法強制定義常量,也就是說,python中定義常量本質上就是變量。如果非要定義常量,變量名必須全大寫。如果是常量,那就沒必要更改,所以python就只制定了一個規範,而沒指定常量的語法,因此常量也是可以修改的,但不建議。在c語言中有專門的常量定義語法,const int age = 19 一旦定義 age 為常量,更改age即會報錯 。
  • 【Python 第51課】 and-or技巧
  • Python2 已終結,入手Python 3,你需要這30個技巧
    這篇教程有 30 個你會喜歡的方法。勤勞的程式設計師們,這裡有 30 條使用 Python 時實用的建議和小技巧。你可以把讀這篇文章當做工作間隙的小憩,而且我保證你學到的東西會跟工作時一樣多。1.使用 Python3如果你關注 Python 的話,應該會知道 Python 2 已經於今年(2020 年)1 月 1 日正式棄用了。這份教程的很多例子都是只支持 Python 3 的,如果你還在用 Python 2.1,那也是時候與時俱進了。2.
  • 零基礎學python,你需要掌握這8個技巧!
    學python從哪來開始來說,就看和寫兩個字,隨便買本書來看都能學習到基礎的語法,寫的話就是根據書上的各種hello world練習。最終要在項目上使用,而且是大量使用,你發現遇到各種問題和坑,隨之百度、Google等網站上找到了你的答案,慢慢經過項目的歷練發現已經不再是小白了。
  • 10 個 Python 字符串處理技巧
    在我看來,必須掌握兩種字符串處理技巧:首先是正則表達式,一種基於模式的文本匹配方法。關於正則表達式有許多精彩的介紹,但是喜歡通過視頻學習的朋友仍然可以從這個視頻中受益良多:https://youtu.be/Q1zLqfnEXdw?
  • 掌握這10個python技巧,讓你代碼工作如魚得水!
    福布斯最新發布的一篇報告指出,python的使用量在去年增長了456%。Netfix、IBM以及其它數以百計的公司都在使用python。包括Dropbox也是由python創建的。Dice的研究表明,python是世界上最熱門的技巧之一,根據程式語言的流行度指數來看,python同時也是最受歡迎的程式語言。Python為何有如此大的魅力呢?
  • 這25條極簡Python代碼,你還不知道
    可能有些你還不知道,但對你未來的Python項目很有用。# a = 4 b = 5a,b = b,a# print(a,b) >> 5,4讓我們通過交換兩個變量作為一個簡單的開始。這是最簡單、最直觀的方法之一,無需使用臨時變量或應用算術操作即可編寫。
  • 乾貨 | 從 A 到 Z 的 Python 編程技巧
    一路走來,他積累了不少有用的技巧和 tips,現在優達菌就將這些技巧分享給大家。這些技巧將根據其首字母按 A-Z 的順序進行展示。Python之所以成為這麼一門受歡迎的語言一個原因是它的可讀性和表達能力非常強。Python也因此經常被調侃為「可執行的偽代碼」。不信你看:Python有一些很棒的默認數據類型,但是有時候他們並不會像你所希望的那樣發揮作用。
  • 秘籍:10個Python字符串處理技巧(附代碼)
    這些領域包括各種具體的技能和概念,在深入具體實踐之前需要對它們有徹底的理解,為此,必須掌握一些基本的字符串操作和處理技巧。在我看來,必須掌握兩種字符串處理技巧:首先是正則表達式,一種基於模式的文本匹配方法。關於正則表達式有許多精彩的介紹,但是喜歡通過視頻學習的朋友仍然可以從這個視頻中受益良多:https://youtu.be/Q1zLqfnEXdw?
  • vs code配合Anaconda寫Python?掌握這些技巧讓數據分析事半功倍
    不僅如此,Anaconda內部conda管理工具以及jupyter notebook,這些工具已經可以滿足你在Python的數據領域中如虎添翼。Anaconda中使用圖界面管理python環境以及包管理如上圖,打開Anaconda Navigator主界面左邊選擇"Environments",即可看到你本機安裝的所有Python版本環境,這裡可以看到我本機又5個Python環境例如我現在希望在py37環境中安裝pandas庫,只要選中該環境,右上方選擇"Not installed",搜索中輸入pandas,下方勾選後
  • 獨家 | 秘籍:10個Python字符串處理技巧(附代碼)
    這些領域包括各種具體的技能和概念,在深入具體實踐之前需要對它們有徹底的理解,為此,必須掌握一些基本的字符串操作和處理技巧。在我看來,必須掌握兩種字符串處理技巧:首先是正則表達式,一種基於模式的文本匹配方法。關於正則表達式有許多精彩的介紹,但是喜歡通過視頻學習的朋友仍然可以從這個視頻中受益良多:https://youtu.be/Q1zLqfnEXdw?
  • 5年 Python 功力,總結了 10 個開發技巧
    比如在 PyCharm 中,你可以 Ctrl +滑鼠點擊進入函數的原始碼。那如果沒有 IDE 呢?當我們想使用一個函數時,如何知道這個函數需要接收哪些參數呢?當我們在使用函數時出現問題的時候,如何通過閱讀原始碼來排查問題所在呢?
  • 你想要的Python編程技巧,我都給你整理好了
    但事實上,還是應該歸功於 awesome-python.com ,因為我在上面找到了四個或五個實用的技巧。這是數百個有趣的 Python 工具和模塊。非常值得瀏覽以獲取靈感。all or any Python 受歡迎的眾多原因之一是它的可讀性和易表達性。人們經常笑稱 Python 是可執行的偽代碼。
  • python那些實用且不為人知的技巧
    python技巧同步滾動:開    雖然使用python很多年,但是有些方法,還是沒有掌握;最近仔細閱讀了一本書
  • 5個助你效率提升的python小技巧
    使用交互模式使用python -i xxxx.py可以直接進入python的交互模式,可以很方便的調用xxxx.py中定義的方法和函數,特別適合調試沒有main()方法的文件,強力推薦。使用pdb進行調試很多從c++/java轉到python的同學可能對python沒有斷點功能相當失望。
  • Python: 你不知道的 super
    __init__(a, b)        self.c = c深入 super()看了上面的使用,你可能會覺得 super 的使用很簡單,無非就是獲取了父類,並調用父類的方法。其實,在上面的情況下,super 獲得的類剛好是父類,但在其他情況就不一定了,super 其實和父類沒有實質性的關聯。
  • 14 個你可能不知道的 JavaScript 調試技巧
    (點擊上方公眾號,可快速關注)英文: raygun   譯文:oschinahttps: