python基礎模塊三劍客:sys、os、shutil

前面，我們學習了python模塊的基本概念、如何安裝第三方模塊，並學習了寫自己的模塊和包。可以點這裡回顧一下：

Python的模塊介紹及安裝（離線、非管理員）

如何自己寫的模塊和包

有同學問了個問題：在python裡如何複製、刪除、重命名文件？

有個同學知道os.system()，就回答說：

os.system('cp a.v b.v')

os.system('rm b.v')

os.system('mv a.v b.v')

那如果是windows系統呢？

有個熟悉DOS命令的同學回答說：

os.system('copy a.v b.v')

os.system('del b.v')

os.system('rename a.v b.v')

又有個同學找到一個「通用的」方法說，windows上可以安裝類unix小工具，然後繼續用linux的方法。

其實python已經為我們考慮過系統兼容的問題了。在python的官方網站上有以下的描述：

「Runs anywhere, including Mac OS X, Windows, Linux, and Unix, with unofficial builds also available for Android and iOS.

所以，在開始更深入的學習之前，我們有必要先來學一下基本的與作業系統（os）、文件（sys）、shell（shutil）打交道的方式。os, sys, shutil這三個模塊/包是python安裝時自帶的，基本上能覆蓋我們的需求。

研究os、sys、shutil提供了哪些函數

我們先用dir()來看看這三個模塊/包提供了哪些函數，然後挑一些常用的函數介紹下。import os模塊後，用dir(os)來查看os提供了哪些函數，如下（常用的用藍色標出）：

>>> import os
>>> dir(os)

[..., 'abc', 'abort', 'access', 'altsep', 'chdir', 'chmod', 'chown', 'chroot', 'close', 'closerange', 'confstr', 'confstr_names', 'cpu_count', 'ctermid', 'curdir', 'defpath', 'device_encoding', 'devnull', 'dup', 'dup2', 'environ', 'environb', 'errno', 'error', 'execl', 'execle', 'execlp', 'execlpe', 'execv', 'execve', 'execvp', 'execvpe', 'extsep', 'fchdir', 'fchmod', 'fchown', 'fdatasync', 'fdopen', 'fork', 'forkpty', 'fpathconf', 'fsdecode', 'fsencode', 'fspath', 'fstat', 'fstatvfs', 'fsync', 'ftruncate', 'fwalk', 'get_blocking', 'get_exec_path', 'get_inheritable', 'get_terminal_size', 'getcwd', 'getcwdb', 'getegid', 'getenv', 'getenvb', 'geteuid', 'getgid', 'getgrouplist', 'getgroups', 'getloadavg', 'getlogin', 'getpgid', 'getpgrp', 'getpid', 'getppid', 'getpriority', 'getresgid', 'getresuid', 'getsid', 'getuid', 'getxattr', 'initgroups', 'isatty', 'kill', 'killpg', 'lchown', 'linesep', 'link', 'listdir', 'listxattr', 'lockf', 'lseek', 'lstat', 'major', 'makedev', 'makedirs', 'minor', 'mkdir', 'mkfifo', 'mknod', 'name', 'nice', 'open', 'openpty', 'pardir', 'path', 'pathconf', 'pathconf_names', 'pathsep', 'pipe', 'pipe2', 'popen', 'posix_fadvise', 'posix_fallocate', 'pread', 'putenv', 'pwrite', 'read', 'readlink', 'readv', 'remove', 'removedirs', 'removexattr', 'rename', 'renames', 'replace', 'rmdir', 'scandir', 'sched_get_priority_max', 'sched_get_priority_min', 'sched_getaffinity', 'sched_getparam', 'sched_getscheduler', 'sched_param', 'sched_rr_get_interval', 'sched_setaffinity', 'sched_setparam', 'sched_setscheduler', 'sched_yield', 'sendfile', 'sep', 'set_blocking', 'set_inheritable', 'setegid', 'seteuid', 'setgid', 'setgroups', 'setpgid', 'setpgrp', 'setpriority', 'setregid', 'setresgid', 'setresuid', 'setreuid', 'setsid', 'setuid', 'setxattr', 'spawnl', 'spawnle', 'spawnlp', 'spawnlpe', 'spawnv', 'spawnve', 'spawnvp', 'spawnvpe', 'st', 'stat', 'stat_float_times', 'stat_result', 'statvfs', 'statvfs_result', 'strerror', 'supports_bytes_environ', 'supports_dir_fd', 'supports_effective_ids', 'supports_fd', 'supports_follow_symlinks', 'symlink', 'sync', 'sys', 'sysconf', 'sysconf_names', 'system', 'tcgetpgrp', 'tcsetpgrp', 'terminal_size', 'times', 'times_result', 'truncate', 'ttyname', 'umask', 'uname', 'uname_result', 'unlink', 'unsetenv', 'urandom', 'utime', 'wait', 'wait3', 'wait4', 'waitid', 'waitid_result', 'waitpid', 'walk', 'write', 'writev']

sys和shutil就留給同學們自己做實驗了。

把研究結果整理如下

我們把函數名字看起來眼熟的整理如下。

os.name

os.getcwd

os.listdir

os.remove

os.makedirs

os.mkdir

os.rmdir

os.chdir

os.rename

os.system

os.sep

os.linesep

os.environ

os.path.abspath

os.path.dirname

os.path.basename

os.path.isfile

os.path.isdir

os.stat

os.path.split

os.path.join

os.popen

os.path.exists

os.symlink

sys.argv

sys.exit

sys.path

sys.platform

sys.stdin

sys.stdout

sys.stderr

shutil.chown

shutil.copy

shutil.copy2

shutil.copytree

shutil.disk_usage

shutil.errno

shutil.make_archive

shutil.which

只列個函數名字有什麼用？怎麼沒有用法介紹？函數太多，我不想也不太實際為每個函數都寫一段完整的用法說明和使用示例。我還是來介紹下怎麼查幫助文檔吧。

搞懂每個函數的用途和用法

舉個例子，如果你想看看os.getcwd和os.popen的用法，你可以在terminal裡如下操作：

[billc@bclinux ~]$ python3   進入python互交模式
Python 3.6.2 (default, Aug 20 2017, 10:04:14)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import os
>>> import sys
>>> help(os.getcwd)      用help()查看用法

Help on built-in function getcwd in module posix:
getcwd()
    Return a unicode string representing the current working directory.

>>> help(os.popen)      用help()查看用法

Help on function popen in module os:
popen(cmd, mode='r', buffering=-1)
    # Supply os.popen()

>>> os.getcwd()         還不明白？做個實驗
'/home/billc'     列印了當前路徑

>>> os.popen('ls')     再做個實驗
<os._wrap_close object at 0x7f75fcda1208>  返回了一個對象

>>> os.popen('ls').readlines()  繼續做實驗
['Desktop\n', 'Documents\n', 'Downloads\n', 'Music\n', 'Pictures\n', 'Public\n', 'Videos\n']       輸出了ls命令的執行結果

還不懂怎麼辦？

當然還可以閱讀本公眾號ExASIC的《Python在ASIC中的應用》系列文章。

疑難問題辨析

os.mkdir與os.makedirs

mkdir創建單個目錄，而makedirs創建一串目錄，類似shell命令make -p。

os.mkdir('a')

os.makedirs('a/b/c')

os.path.curdir、os.path.abspath、os.path.dirname、os.path.basename

curdir是屬性，不是函數，返回一個字符串 『.』

abspath返回完整的路徑。

dirname和basename的輸入參數是完整路徑，basename返回文件名，dirname返回文件名前面的路徑。

os.path.abspath('file.txt')     #  /home/xxx/dir/file.txt

os.path.dirname('/home/xxx/dir/file.txt')     #  /home/xxx/dir

os.path.baseame('/home/xxx/dir/file.txt')     #  file.txt

os.path.dirname('../../file.txt')  # ../../

所以說，dirname和basename並不會判斷文件或路徑是否真實存在，只是對提供的字符串做處理。

os.path.isdir、os.path.isfile、os.path.islink

這幾個函數不只是字符串處理哦，文件或目錄不存在時會報錯。從名字上就可以看出它們的功能，判斷是否是文件、目錄、軟連結，返回True和False。

os.path.split、os.path.splitext、os.path.join

split是把目錄和文件分開，splitext是把文件名和後綴名分開，join把目錄、文件用/組合成路徑。

os.path.split('/home/xxx/dir/file.txt')  # ['/home/xxx/dir', 'file.txt']

os.path.splitext('file.txt')  # ['file', '.txt']

os.path.getsize、os.path.getatime、os.path.getctime、os.path.getmtime

os.path.getsize獲取文件的大小。

os.path.getatime最後一次access時間，可以是創建、修改、讀等。

os.path.getctime最後一次change時間，可以是修改、改變權限、改變所有者等。

os.path.getmtime最後一次modify時間，創建、修改等。

文件的更多信息可以通過os.stat()來獲取。

寫個實用的腳本/代碼

比如，我們在仿真時，需要根據testcase名字建立一個仿真目錄。

具體事項如下：

從命令行獲取testcase名

確認項目根目錄，獲取當前目錄的相對路徑

用find命令獲取testcase的類別

如果類別不存在，則新建類別目錄，並產生Makefile

進入類別目錄裡

如果testcase目錄不存在，則新建，並創建仿真腳本的軟連結和Makefile

完畢後，列印成功提示

參考腳本：

    更多python的文章    

Why Python

初識Python語言

寫Python前的準備

我的第一個Python程序

Python的數據類型（一）：介紹

Python的數據類型（二）：數字

Python的數據類型（三）：字符串

Python的數據類型（四）：列表List與元組Tuple

Python的數據類型（五）：字典Dict

Python的條件與循環

Python的函數（一）：基本概念

Python的函數（二）：作用域

Python的函數（三）：參數傳遞

Python的函數（四）：遞歸函數與匿名函數，函數的屬性與標註

寫Python選什麼編輯器，大家心裡都有數了吧。（原來用Emacs的人這麼少）

複製連結到瀏覽器查看完整《調查報告》（Python官網的調查報告）：

https://www.jetbrains.com/research/python-developers-survey-2017/

廣告時間

歡迎關注ExASIC

分享數字集成電路設計中的經驗和方法

Sharing makes work smoother