寫出健壯的 Bash 腳本 - OSCHINA - 中文開源技術交流社區

2020-12-14 開源中國

許多人用shell腳本完成一些簡單任務,而且變成了他們生命的一部分。不幸的是,shell腳本在運行異常時會受到非常大的影響。在寫腳本時將這類問題最小化是十分必要的。本文中我將介紹一些讓bash腳本變得健壯的技術。

使用set -u

你因為沒有對變量初始化而使腳本崩潰過多少次?對於我來說,很多次。

chroot=$1...rm -rf $chroot/usr/share/doc

如果上面的代碼你沒有給參數就運行,你不會僅僅刪除掉chroot中的文檔,而是將系統的所有文檔都刪除。那你應該做些什麼呢?好在bash提供了set -u,當你使用未初始化的變量時,讓bash自動退出。你也可以使用可讀性更強一點的set -o nounset

david% bash /tmp/shrink-chroot.sh

$chroot=

david% bash -u /tmp/shrink-chroot.sh

/tmp/shrink-chroot.sh: line 3: $1: unbound variable

david%

使用set -e

你寫的每一個腳本的開始都應該包含set -e。這告訴bash一但有任何一個語句返回非真的值,則退出bash。使用-e的好處是避免錯誤滾雪球般的變成嚴重錯誤,能儘早的捕獲錯誤。更加可讀的版本:set -o errexit

使用-e把你從檢查錯誤中解放出來。如果你忘記了檢查,bash會替你做這件事。不過你也沒有辦法使用$?來獲取命令執行狀態了,因為bash無法獲得任何非0的返回值。你可以使用另一種結構:

command

if [ "$?"-ne 0]; then echo "command failed"; exit 1; fi

可以替換成:

command || { echo "command failed"; exit 1; }

或者使用:

if ! command; then echo "command failed"; exit 1; fi

如果你必須使用返回非0值的命令,或者你對返回值並不感興趣呢?你可以使用 command || true ,或者你有一段很長的代碼,你可以暫時關閉錯誤檢查功能,不過我建議你謹慎使用。

set +e

command1

command2

set -e

相關文檔指出,bash默認返回管道中最後一個命令的值,也許是你不想要的那個。比如執行 false | true 將會被認為命令成功執行。如果你想讓這樣的命令被認為是執行失敗,可以使用 set -o pipefail

程序防禦 - 考慮意料之外的事

你的腳本也許會被放到「意外」的帳戶下運行,像缺少文件或者目錄沒有被創建等情況。你可以做一些預防這些錯誤事情。比如,當你創建一個目錄後,如果父目錄不存在,mkdir 命令會返回一個錯誤。如果你創建目錄時給mkdir命令加上-p選項,它會在創建需要的目錄前,把需要的父目錄創建出來。另一個例子是 rm 命令。如果你要刪除一個不存在的文件,它會「吐槽」並且你的腳本會停止工作。(因為你使用了-e選項,對吧?)你可以使用-f選項來解決這個問題,在文件不存在的時候讓腳本繼續工作。 

準備好處理文件名中的空格

有些人從在文件名或者命令行參數中使用空格,你需要在編寫腳本時時刻記得這件事。你需要時刻記得用引號包圍變量。

if [ $filename = "foo" ];

$filename變量包含空格時就會掛掉。可以這樣解決:

if [ "$filename" = "foo" ];

使用$@變量時,你也需要使用引號,因為空格隔開的兩個參數會被解釋成兩個獨立的部分。

david% foo() { for i in $@; do echo $i; done }; foo bar "baz quux"

bar

baz

quux

david% foo() { for i in "$@"; do echo $i; done }; foo bar "baz quux"

bar

baz quux

我沒有想到任何不能使用"$@"的時候,所以當你有疑問的時候,使用引號就沒有錯誤。

如果你同時使用find和xargs,你應該使用 -print0 來讓字符分割文件名,而不是換行符分割。

 david% touch "foo bar"

david% find | xargs ls

ls: ./foo: No such file or directory

ls: bar: No such file or directory

david% find -print0 | xargs -0 ls

./foo bar

設置的陷阱

當你編寫的腳本掛掉後,文件系統處於未知狀態。比如鎖文件狀態、臨時文件狀態或者更新了一個文件後在更新下一個文件前掛掉。如果你能解決這些問題,無論是 刪除鎖文件,又或者在腳本遇到問題時回滾到已知狀態,你都是非常棒的。幸運的是,bash提供了一種方法,當bash接收到一個UNIX信號時,運行一個 命令或者一個函數。可以使用trap命令。

trap command signal [signal ...]

你可以連結多個信號(列表可以使用kill -l獲得),但是為了清理殘局,我們只使用其中的三個:INTTERMEXIT。你可以使用-as來讓traps恢復到初始狀態。

信號描述

 

INT

Interrupt - 當有人使用Ctrl-C終止腳本時被觸發

TERM

Terminate - 當有人使用kill殺死腳本進程時被觸發

EXIT

Exit - 這是一個偽信號,當腳本正常退出或者set -e後因為出錯而退出時被觸發

 

 

 

 

當你使用鎖文件時,可以這樣寫:

if [ ! -e $lockfile ]; then

touch $lockfile

critical-section

rm $lockfile

else

echo "critical-section is already running"

fi

當最重要的部分(critical-section)正在運行時,如果殺死了腳本進程,會發生什麼呢?鎖文件會被扔在那,而且你的腳本在它被刪除以前再也不會運行了。解決方法:

if [ ! -e $lockfile ]; then

trap " rm -f $lockfile; exit" INT TERM EXIT

touch $lockfile

critical-section

rm $lockfile

trap - INT TERM EXIT

else

echo "critical-section is already running"

fi

現在當你殺死進程時,鎖文件一同被刪除。注意在trap命令中明確地退出了腳本,否則腳本會繼續執行trap後面的命令。

在上面鎖文件的例子中,有一個竟態條件是不得不指出的,它存在於判斷鎖文件和創建鎖文件之間。一個可行的解決方法是使用IO重定向和bash的noclobber(wikipedia)模式,重定向到不存在的文件。我們可以這麼做:

if ( set -o noclobber; echo "$$" > "$lockfile") 2> /dev/null;

then

trap 'rm -f "$lockfile"; exit $?' INT TERM EXIT

critical-section

rm -f "$lockfile"

trap - INT TERM EXIT

else

echo "Failed to acquire lockfile: $lockfile"

echo "held by $(cat $lockfile)"

fi

更複雜一點兒的問題是你要更新一大堆文件,當它們更新過程中出現問題時,你是否能讓腳本掛得更加優雅一些。你想確認那些正確更新了,哪些根本沒有變化。比如你需要一個添加用戶的腳本。

add_to_passwd $user

cp -a /etc/skel /home/$user

chown $user /home/$user -R

當磁碟空間不足或者進程中途被殺死,這個腳本就會出現問題。在這種情況下,你也許希望用戶帳戶不存在,而且他的文件也應該被刪除。

rollback() {

del_from_passwd $user

if [ -e /home/$user ]; then

rm -rf /home/$user

fi

exit

}

 

trap rollback INT TERM EXIT

add_to_passwd $user

 

cp -a /etc/skel /home/$user

chown $user /home/$user -R

trap - INT TERM EXIT

在腳本最後需要使用trap關閉rollback調用,否則當腳本正常退出的時候rollback將會被調用,那麼腳本等於什麼都沒做。

保持原子化

又是你需要一次更新目錄中的一大堆文件,比如你需要將URL重寫到另一個網站的域名。你也許會寫:

for file in $(find /var/www -type f -name "*.html"); do

perl -pi -e 's/www.example.net/www.example.com/' $file

done

如果修改到一半是腳本出現問題,一部分使用www.example.com,而另一部分使用www.example.net。你可以使用備份和trap解決,但在升級過程中你的網站URL是不一致的。

解決方法是將這個改變做成一個原子操作。先對數據做一個副本,在副本中更新URL,再用副本替換掉現在工作的版本。你需要確認副本和工作版本目錄在同一個磁碟分區上,這樣你就可以利用Linux系統的優勢,它移動目錄僅僅是更新目錄指向的inode節點。

cp -a /var/www /var/www-tmp

for file in $(find /var/www-tmp -type -f -name "*.html"); do

perl -pi -e 's/www.example.net/www.example.com/' $file

done

mv /var/www /var/www-old

mv /var/www-tmp /var/www

這意味著如果更新過程出問題,線上系統不會受影響。線上系統受影響的時間降低為兩次mv操作的時間,這個時間非常短,因為文件系統僅更新inode而不用真正的複製所有的數據。

這種技術的缺點是你需要兩倍的磁碟空間,而且那些長時間打開文件的進程需要比較長的時間才能升級到新文件版本,建議更新完成後重新啟動這些進程。對於 apache伺服器來說這不是問題,因為它每次都重新打開文件。你可以使用lsof命令查看當前正打開的文件。優勢是你有了一個先前的備份,當你需要還原 時,它就派上用場了。

相關焦點

  • Delta Lake 進入 Linux 基金會 - OSCHINA - 中文開源技術交流社區
    「將 Delta Lake 引入 Linux 基金會的中立組織之下,將有助於依賴該項目的開源社區開發解決存儲和處理大數據(本地和雲端)的技術」,Linux 基金會戰略計劃副總裁 Michael Dolan 表示。
  • 《Bash 腳本教程》發布了
    過去三個月,我一直在寫《Bash 腳本教程》[1],現在終於寫完了。
  • Bash首頁、文檔和下載 - Linux SHELL - OSCHINA - 中文開源技術...
    bash 是一個為GNU項目編寫的Unix shell。bash則在1987年由Brian Fox創造。在1990年,Chet Ramey成為了主要的維護者。 bash是大多數Linux系統以及Mac OS X v10.4默認的shell,它能運行於大多數Unix風格的作業系統之上,甚至被移植到了Microsoft Windows上的Cygwin系統中,以實現windows的POSIX虛擬接口。
  • Git 2.4.3 發布 - OSCHINA - 中文開源技術交流社區
    Git是一個開源的分布式版本控制系統,用以有效、高速的處理從很小到非常大的項目版本管理。開源中國 Git 代碼託管平臺:http://git.oschina.net/Windows下的Git請看這裡:http://www.oschina.net/p/msysgitGit 是 Linus Torvalds 為了幫助管理 Linux 內核開發而開發的一個開放源碼的版本控制軟體
  • Web 是開源最大的成功 - OSCHINA - 中文開源技術交流社區
    開源運動廣受歡迎,並且在軟體開發史上寫下了濃重一筆。但是它影響最深遠的地方在哪呢?有史以來,最成功的開源「項目」又是什麼呢? 事實上,總體來看,Web不就是開源運動最大的成功麼? 可能最有名的例子就是隱藏域眾多網站背後的LAMP,也就是Linux、Apache、MySQL和PHP。
  • 開放源碼是開源軟體嗎? - OSCHINA - 中文開源技術交流社區
    許可協議必須技術中立(License Must Be Technology-Neutral):意即許可協議不得限制為電子格式才有效,若是紙本的許可協議也應視為有效。所以,與此類似的,在中文裡,我們可以認為:「開放原始碼」是一個動詞+一個名詞。而「開源」則是一個特定的詞彙。作為動詞,我們說將某某軟體開源,是一種行為。作為形容詞,我們稱某某軟體是一個開源(的)軟體,不僅僅是指我們能夠獲取到他的原始碼。
  • 開源社區的「忌諱」話題 - OSCHINA - 中文開源技術交流社區
    加拿大資深開源技術記者Bruce Byfield較早前發表了一篇名為「開源社區從來不想承認的九大事實」(9 Things That Are Never Admitted About Open
  • zmail 6.1版本更新 - OSCHINA - 中文開源技術交流社區
    Zmail的官方主頁:www.z-email.orgZmail的官方論壇:bbs.z-email.orgZmail的QQ群: 257959126系統要求redhat 6.x centos 6.x 64位最小安裝Zmail安裝說明:概述:(1)該安裝包為一鍵安裝包,方便快捷部署;(2)Zmail是開源郵件技術社區的最新的郵件伺服器軟體包
  • Netflix 的開源文化與技術 - OSCHINA - 中文開源技術交流社區
    在之前的新聞《Netflix企業文化與架構設計》一文中我們介紹了Netflix高擴展的企業文化與架構,而作為一家在線影片租賃提供商Netflix之所以能夠在如此大量的用戶、海量的數據、複雜的拓撲結構下取得成功,離不開其背後的開源文化與技術
  • SugarCRM:開源與商業的完美結合 - OSCHINA - 中文開源技術交流社區
    他認為,在中國市場以商業為後盾的開源模式將會成為CRM軟體發展的一個趨勢。 2009年4月22日,SugarCRM在上海舉辦了精英聯合峰會,並同時宣布中國區總經理的上任。我們可以看出這是一個信號,是關於SugarCRM商業開源策略正式在中國實施的前奏。
  • JavaFX 2012:徹底開源 - OSCHINA - 中文開源技術交流社區
    其中將JavaFX完全開源赫列榜首——在2011年的JavaOne大會上,Oracle已做出保證將開源整個JavaFX平臺。 以下是Richard Bair列出的2012年JavaFX 10大目標: 1.
  • 開源軟體蓄勢待發 - OSCHINA - 中文開源技術交流社區
    相關內容11家值得關注的開源技術公司優異的技術特性和相對低廉的價格的結合使得開源產品廠商比以往有了更多進入企業網絡的路徑。Likewise公司執行長 Barry Crist 稱:「在網絡泡沫時期,由於Linux比SPARC上的Solaris更為便宜,開源產品逐漸由Unix轉移到了Linux。
  • 開源春天,此時不來,更待何時? - OSCHINA - 中文開源技術交流社區
    隨後 Apache 軟體基金會與 OpenStack 基金會相繼出來澄清,表示「開源軟體、開原始碼協作、參與公開電話會議或私人會議以及提供贊助資金都是不受 EAR 約束的活動,因此不應對社區產生影響」。
  • Google限制Python使用引熱議 - OSCHINA - 中文開源技術交流社區
    今日,csdn報導的一篇文章「Google將限制Python語言的應用 開發社區熱議」;引發網友的熱烈討論
  • Gitbook,這個開源出書平臺了不起 - OSCHINA - 中文開源技術交流社區
    GitHub充分利用了網際網路的能力,讓開發者可以方便地參與不同的項目,不要說查閱別人的代碼,修改別人的項目,是一種更高層次的交流、對話。就好像《如何閱讀一本書》裡提到的「主動閱讀」,是通過不斷了解作者核心觀念,並提出自己觀點進行碰撞的方式,讓讀者成為一名偉大的讀者。相比紙質書中作者與讀者的對話,GitHub 將兩段代碼撰寫者的溝通顯性化,不再是偷偷在旁邊的注釋裡加入自己的觀點。
  • FineUI(開源版)v4.2.0 發布了! - OSCHINA - 中文開源技術交流社區
    原始碼已經託管到OSC:http://git.oschina.net/sanshi/FineUI FineUI
  • F5 收購 NGINX - OSCHINA - 中文開源技術交流社區
    F5 是應用交付網絡(ADN)領域的全球領先廠商,其解決方案有助於整合不同的技術,以便更好地控制基礎架構,提高應用交付和數據管理能力,並使用戶能夠通過企業桌面系統和智能設備無縫、安全並更快速地接入應用。
  • 納德拉時代下的微軟開源之路 - OSCHINA - 中文開源技術交流社區
    Office 365日前微軟開源技術團隊正式宣布,微軟旗下的Offcie 365服務將會被集成到開源教育平臺Open edx中。微軟官方對此表示:「無論是當地小學的四年級小學生,還是一位40歲每夜堅持攻讀MBA的求學者,亦或者是準備參與升職培訓的公司職員,現在都有機會享受到Open edx帶來的學習管理系統(LMS)和大規模在線課堂(MOOC)。」
  • JDK/Java 15 發布 - OSCHINA - 中文開源技術交流社區
    384:Records (Second Preview)Records 提供了一種緊湊的語法來聲明類,以幫助開發者寫出更簡潔的代碼,這些類是淺層不可變數據(shallowly immutable data)的透明擁有者。該特性主要用在特定領域的類,這些類主要用於保存數據,不提供領域行為。目前處於第 2 個預覽版本階段。
  • Hutool 2.16.0 發布,Java 工具集 - OSCHINA - 中文開源技術交流社區
    HttpConnection中判斷Http Method 錯誤修復PooledDataSource和SimpleDataSource配置文件讀取錯誤問題-2016的尾巴-隨著2016的結束,Hutool又走過了一個年頭,在這一年中,因為Hutool認識了很多志同道合之人,也因為Hutool讓我接觸了更多的開源項目