Python模塊學習:subprocess模塊

2021-03-02 學點編程吧

subprocess模塊，最簡單的用法就是調用shell命令或者程序,並且可以通過stdout,stdin和stderr進行交互。

根據官方文檔給出的說明：此模塊允許您生成進程，連接到它們input/output/error管道，並獲取其返回代碼。這個模塊打算替換幾個較舊的模塊和功能：os.system、os.spawn、os.popen、popen2.、commands.。

subprocess的主類

subprocess.Popen(      args,      bufsize = 0,      executable = None,      stdin = None,      stdout = None,      stderr = None,      preexec_fn = None,      close_fds = False,      shell = False,      cwd = None,      env = None,      universal_newlines = False,      startupinfo = None,      creationflags = 0)

args可以是字符串或者序列類型（如：list，元組），用於指定進程的可執行文件及其參數。如果是序列類型，第一個元素通常是可執行文件的路徑。我們也可以顯式的使用executeable參數來指定可執行文件的路徑。

bufsize：指定緩衝。0 無緩衝,1 行緩衝,其他 緩衝區大小,負值 系統緩衝(全緩衝)

stdin, stdout, stderr：分別表示程序的標準輸入、輸出、錯誤句柄。他們可以是PIPE，文件描述符或文件對象，也可以設置為None，表示從父進程繼承。

preexec_fn：只在Unix平臺下有效，用於指定一個可執行對象（callable object），它將在子進程運行之前被調用。

Close_sfs：在windows平臺下，如果close_fds被設置為True，則新創建的子進程將不會繼承父進程的輸入、輸出、錯誤管道。我們不能將close_fds設置為True同時重定向子進程的標準輸入、輸出與錯誤(stdin, stdout, stderr)。

shell：設為true，程序將通過shell來執行。

cwd：用於設置子進程的當前目錄

env：是字典類型，用於指定子進程的環境變量。如果env = None，子進程的環境變量將從父進程中繼承。

Universal_newlines：不同作業系統下，文本的換行符是不一樣的。如：windows下用』/r/n』表示換，而Linux下用』/n』。如果將此參數設置為True，Python統一把這些換行符當作』/n』來處理。startupinfo與createionflags只在windows下用效，它們將被傳遞給底層的CreateProcess()函數，用於設置子進程的一些屬性，如：主窗口的外觀，進程的優先級等等。

startupinfo與createionflags：只在windows下有效，它們將被傳遞給底層的CreateProcess()函數，用於設置子進程的一些屬性，如：主窗口的外觀，進程的優先級等等。

Popen.poll()：用於檢查子進程是否已經結束。設置並返回returncode屬性。

Popen.wait()：等待子進程結束。設置並返回returncode屬性。

Popen.communicate(input=None)：與子進程進行交互。向stdin發送數據，或從stdout和stderr中讀取數據。可選參數input指定發送到子進程的參數。Communicate()返回一個元組：(stdoutdata, stderrdata)。注意：如果希望通過進程的stdin向其發送數據，在創建Popen對象的時候，參數stdin必須被設置為PIPE。同樣，如果希望從stdout和stderr獲取數據，必須將stdout和stderr設置為PIPE。

Popen.send_signal(signal)：向子進程發送信號。

Popen.terminate()：停止(stop)子進程。在windows平臺下，該方法將調用Windows API TerminateProcess（）來結束子進程。

Popen.kill()：殺死子進程。

Popen.stdin：如果在創建Popen對象是，參數stdin被設置為PIPE，Popen.stdin將返回一個文件對象用於策子進程發送指令。否則返回None。

Popen.stdout：如果在創建Popen對象是，參數stdout被設置為PIPE，Popen.stdout將返回一個文件對象用於策子進程發送指令。否則返回None。

Popen.stderr：如果在創建Popen對象是，參數stdout被設置為PIPE，Popen.stdout將返回一個文件對象用於策子進程發送指令。否則返回None。

Popen.pid：獲取子進程的進程ID。

Popen.returncode：獲取進程的返回值。如果進程還沒有結束，返回None。

舉個例子（windows作業系統）：

假設桌面上有一個」ls.bat」的批處理文件，我們調用程序執行一下，」ls.bat」中只有一個命令」dir/w」。

代碼如下：

s = subprocess.Popen('C:\Users\Administrator\Desktop\ls.bat', shell=True)
print s.poll()

執行結果如下：

再假設我們需要將目錄中」ls1.bat」重命名為」ls2.bat」，其實」ls1」是不存在的。同時從stdout設置為PIPE。我們看得到的輸出是什麼？

s = subprocess.Popen('copy ls1.bat ls2.bat', shell=True, stdout=subprocess.PIPE)r = s.communicate()
print type(r)
print r[0]
print s.poll()

執行結果如下：

出現錯誤的話，s.poll()是非0，而上一個例子是執行成功。可以通過這個判斷一下是否執行成功。

再來一個可以交互的例子，我們現有這樣的一個bat批處理文件，可以進行加法操作，如下圖：

現在我們通過程序來實現添加具體的數字信息：

p =subprocess.Popen('add.bat', stdin = subprocess.PIPE,stdout = subprocess.PIPE, stderr = subprocess.PIPE, shell = True)  p.stdin.write('100')
print p.stdout.readline()

執行結果如下：

注意：在上述代碼中我們均使用了」shell = True」，那麼問題來了，什麼時候使用」shell = False」？它們的區別是什麼？

「shell = True」參數會讓subprocess.Popen(subprocess.call)接受字符串類型的變量作為命令，並調用shell去執行這個字符串。

當」shell = False」是，subprocess.Popen(subprocess.call)只接受數組變量作為命令，並將數組的第一個元素作為命令，剩下的全部作為該命令的參數，毫無疑問」shell=False」的參數能讓你的程序更加安全，尤其是當你的cmd變量值是從外部讀取到的時候。

所以我們再來看一下這個例子：

>>> s = subprocess.Popen(['ping','127.0.0.1'], shell=False)>>>正在 Ping 127.0.0.1 具有 32 字節的數據:來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64

127.0.0.1 的 Ping 統計信息:    數據包: 已發送 = 4，已接收 = 4，丟失 = 0 (0% 丟失)，往返行程的估計時間(以毫秒為單位):    最短 = 0ms，最長 = 0ms，平均 = 0ms>>> s = subprocess.Popen('ping 127.0.0.1', shell=False)>>>正在 Ping 127.0.0.1 具有 32 字節的數據:來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64
來自 127.0.0.1 的回覆: 字節=32 時間<1ms TTL=64

127.0.0.1 的 Ping 統計信息:    數據包: 已發送 = 4，已接收 = 4，丟失 = 0 (0% 丟失)，往返行程的估計時間(以毫秒為單位):    最短 = 0ms，最長 = 0ms，平均 = 0ms

subprocess常用的函數如下：

運行命令。該函數將一直等待到子進程運行結束，並返回進程的returncode。如果子進程不需要進行交互,就可以使用該函數來創建。

舉個例子：

rcode = subprocess.call(['dir', '/w'], shell=False)
print 'returnCode:', rcode

執行結果如下：

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False)

運行由args指定的命令，直到命令執行完成。如果返回碼為零，則返回。否則，拋出 CalledProcessError異常。CalledProcessError對象包含有返回碼的屬性值。

示例代碼如下:

>>> s = subprocess.check_call(['nslookup','www.baidu.com'], stdin=None, stdout=None, stderr=None, shell=False)

執行結果如下：

>>> s = subprocess.check_call("exit 1", shell=True)

執行結果如下：

注意：不要在這個函數中使用 stdout=PIPE 或 stderr=PIPE, 否則會造成子進程死鎖。如果需要使用管道，可以在 communicate()方法中使用Popen.

subprocess.check_output

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

運行args定義的命令，並返回一個字符串表示的輸出值。 如果返回碼為非零，則拋出 CalledProcessError異常。

示例代碼如下:

>>> subprocess.check_output(["echo", "Hello World!"])'Hello World!\n'>>> subprocess.check_output("exit 1", shell=False)Traceback (most recent call last):   ...subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

最後

我們用今天學習到的知識完成一個統計IP位址延遲信息程序，假設我有10個IP位址，用ping命令查看平均延遲表示IP位址的延遲時間。例如：

然後我們運用正則表達式提取相應相應的數據進行統計，原理就是這樣的，程序採用多線程方式。

import sysreload(sys)sys.setdefaultencoding('utf8')

from threading import Thread, Lock
from subprocess import PIPE, Popen
from re import compile, findall

class mythread(Thread):    def __init__(self, fun ,args):        Thread.__init__(self)        self.fun = fun        self.args = args    
   def run(self):        apply(self.fun, self.args)

def ping(ip):    try:            ret = Popen(['ping',ip.strip()], stdin = PIPE, stdout = PIPE, stderr = PIPE, shell = False)            pingres = ret.stdout.read().decode('gb2312').encode('utf-8')            reg = compile(r'最長 = (.*?)ms')            p = reg.findall(pingres)            
       if lock.acquire():                
           if len(p) >= 1:                    
               print 'pinging:%s\t\tdelay:%sms '%(ip,p[0])
           else:
               print 'pinging:%s\t\tdelay:down '%ip        lock.release()
    except:        if lock.acquire():
           print " ping error"        lock.release()iplist = {'123.125.81.6':'','180.97.33.108':'','180.97.33.107':'','222.189.34.10':'','43.248.101.97':'','58.223.164.86':'','58.216.109.186':'',         '47.52.93.148':'','180.96.11.188':'','151.101.1.69':'','8.8.8.8':'','1.1.1.1':''}lock = Lock()mt = []
print "Please waiting...\n"

for ip in iplist.keys():    t = mythread(ping,(ip,))    mt.append(t)

for m in mt:    m.start()

for m in mt:    m.join()

執行結果如下：

ps：上述程序在Python2.7.10環境調測；

附：add.bat的代碼

@echo offset /p cho=請輸入a：set /a res = %cho%+100echo %cho%+100 = %res%pause>nul

相關焦點

  • Python 中的 Subprocess 模塊
    我們能從Python官方文檔裡讀到應該用subprocess 模塊來運行系統命令。subprocess模塊允許我們創建子進程,連接他們的輸入/輸出/錯誤管道，還有獲得返回值。subprocess模塊打算來替代幾個過時的模塊和函數，比如： os.system, os.spawn*, os.popen*, popen2.*命令。
  • 程序媛筆記分享——python模塊之subprocess模塊
    subprocess模塊：專門用於py執行系統命令1. 簡單命令的執行# ！usr/bin/env python# -*- coding:utf-8 -*-import subprocess# subprocess模塊中，多個指令的輸入，由參數shell決定輸入形式是字符串還是序列，如下：# ret = subprocess.call(["ls", "-l"], shell=False)# ret = subprocess.call
  • 每周一個 Python 模塊|subprocess
    subprocess 模塊主要用於創建子進程，並連接它們的輸入、輸出和錯誤管道，獲取它們的返回狀態。通俗地說就是通過這個模塊，你可以在 Python 的代碼裡執行作業系統級別的命令，比如ipconfig、du -sh等。subprocess 模塊替代了一些老的模塊和函數，比如：os.system、os.spawn*等。
  • python命令參數及模塊的導入學習
    python已經成為程式語言排行榜的老大了，要向不被時代淘汰，就要緊跟時代步伐，在IT編程世界的今天，不會python可是不行的，今天繼續學習python的命令及相關模塊導入學習。import 與 from...import
  • Python導入模塊的幾種姿勢
    python-import-101/作為一名新手Python程式設計師，你首先需要學習的內容之一就是如何導入模塊或包。在頂層的_init_.py文件中，輸入以下代碼：from . import subpackage1from . import subpackage2接下來進入subpackage1文件夾，編輯其中的_init_.py文件，輸入以下代碼：from . import module_xfrom . import module_y
  • Python學習筆記:模塊和包
    模塊就是python程序，任何python程序都可作為模塊導入。對於任何程序，只要導入了模塊，即可使用該模塊內的所有成員。,您好，歡迎學習Python4User[name=Charlie],您好，歡迎學習Python5白骨精正在慢慢地走路6User[name=白骨精]加載模塊在編譯一個python模塊之後，如果直接用import或from … import來導入該模塊，python通常並不能加載該模塊。
  • Python之re模塊方法詳解(正則表達式)
    學習re模塊首先要對python正則表達式要了解，正則表達式是一個特殊的字符序列，它能幫助你方便的檢查一個字符串是否與某種模式匹配
  • python執行系統命令
    在python3中，推薦使用subprocess模塊來執行系統命令，基本用法如下>>> import subprocess>>> cmd = subprocess.run(['ls','-l'])>>> cmd.returncode0上述代碼中通過一個列表來記錄執行的命令，軟體名稱，選項，參數等都對應列表中的一個元素
  • 關於Python導入模塊,你可能沒學透?!
    作者 | EarlGrey來源 | 戀習Python(ID:sldata2017)作為一名新手Python程式設計師，你首先需要學習的內容之一就是如何導入模塊或包
  • python的模塊和序列
    前言概要本章節主要講述python中的模塊和序列的概念以及如何使用模塊和序列化方面的知識。模塊的概念在python中有個關鍵詞是import，代表的是導入、加載的意思。通常import加載的模塊分為四個通用類別：使用python語言編寫的代碼（後綴名為py的文件）已被編譯為共享庫或DLL的C或C++的擴展使用C編寫並連接到python解釋器的內置模塊
  • Python爬蟲核心模塊urllib的學習
    因為在玩Python challenge的時候，有用過這個模塊，而且學習這個模塊之後也對系統學習網絡爬蟲有用。
  • 萬字長文詳解Python正則表達式及re模塊
    ))  # None開局導入re模塊，r""表示為一個正則表達式，因為string2中間出現了一個數字5 所以不匹配！']print(re.split(pattern, string, 5))  # 分隔5次# ['hello', 'hi', 'good', 'morning', 'goodnight', 'python\njavascript\nLinux\n']與str模塊的split不同的是，re模塊的split支持正則
  • 推薦|Python 正則表達式 re 模塊簡明筆記
    re 模塊在 Python 中，我們可以使用內置的 re 模塊來使用正則表達式。有一點需要特別注意的是，正則表達式使用 \ 對特殊字符進行轉義，比如，為了匹配字符串 『python.org』，我們需要使用正則表達式 'python\.org'，而 Python 的字符串本身也用 \ 轉義，所以上面的正則表達式在 Python 中應該寫成 'python\\.org'，這會很容易陷入 \ 的困擾中，因此，我們建議使用 Python 的原始字符串，只需加一個 r 前綴
  • 徹底明白os.system、os.popen、subprocess.popen的用法和區別
    該模塊是在2.4版本中新增的，官方文檔描述可以用來替換以下函數:os.system、os.spawn、os.popen、popen2，它的目的是啟動一個新進程並且與之進行通信，最常用的定義是使用類Popen()， 它可以創建進程，並且與進程進行複雜的交互，一個比較明顯的缺點是它是一個阻塞的方法，如果運行的CMD命令時產生的內容非常多，函數就是會非常容易阻塞，另外一點
  • Python模塊學習 ---- math模塊
    點擊這段文字： 獲取2020年，最強Python學習資料
  • Python之os模塊
    Python部落(python.freelycode.com)組織翻譯，禁止轉載，歡迎轉發。
  • python包package和模塊module導入深入詳解
    源 / 戀習Python      文 / EarlGrey作為一名新手Python程式設計師，你首先需要學習的內容之一就是如何導入模塊或包在頂層的 __init__.py文件中，輸入以下代碼：from . import subpackage1from . import subpackage2接下來進入 subpackage1文件夾，編輯其中的 __init__.py文件，輸入以下代碼：from . import module_xfrom
  • 正確的使用python調用shell的姿勢
    具體點：popen 支持 stdoutpopen2 支持stdin, stdoutpopen3 支持stdin, stdout, stderrpopen4 支持stdin, stdout and stderr方式三：看到上面這些這麼繁瑣的調用，後面就又有了最強大的subprocess模塊，subprocess模塊的出現是用來替代OS模塊中的system（）和popen（）
  • python中的模塊詳解
    概念python中的模塊是什麼？簡而言之，在python中，一個文件（以「.py」為後綴名的文件）就叫做一個模塊，每一個模塊在python裡都被看做是一個獨立的文件。模塊可以被項目中的其他模塊、一些腳本甚至是交互式的解析器所使用，它可以被其他程序引用，從而使用該模塊裡的函數等功能，使用Python中的標準庫也是採用這種方法。分類在Python中模塊分為以下幾種：系統內置模塊，例如：sys、time、json模塊等等；自定義模塊，自定義模塊是自己寫的模塊，對某段邏輯或某些函數進行封裝後供其他函數調用。
  • 淺談 Python 中的模塊
    模塊分類Python 中的模塊共分為三類，即內置模塊、第三方模塊、以及自定義模塊。內置模塊與第三方模塊還有很多，大家可以通過搜尋引擎去了解、學習。我們將上篇文章中的 笑話生成器 函數封裝至自定義模塊 my_demo.py 中，代碼如下：import requestsauthor = "可樂python說"def get_joke()->str:    """笑話生成器""