Linux awk 入門教程

2021-02-25 程式設計師的那些事

（給程式設計師的那些事加星標）

來源：阮一峰

www.ruanyifeng.com/blog/2018/11/awk.html

awk 是處理文本文件的一個應用程式，幾乎所有 Linux 系統都自帶這個程序。

它依次處理文件的每一行，並讀取裡面的每一個欄位。對於日誌、CSV 那樣的每行格式相同的文本文件，awk可能是最方便的工具。

awk其實不僅僅是工具軟體，還是一種程式語言。不過，本文只介紹它的命令行用法，對於大多數場合，應該足夠用了。

一、基本用法

awk的基本用法就是下面的形式。

# 格式

$ awk 動作 文件名

 

# 示例

$ awk '{print $0}' demo.txt

上面示例中，demo.txt是awk所要處理的文本文件。前面單引號內部有一個大括號，裡面就是每一行的處理動作print $0。其中，print是列印命令，$0代表當前行，因此上面命令的執行結果，就是把每一行原樣列印出來。

awk也可以處理標準輸入（stdin）。

$ echo 'this is a test' | awk '{print $0}'

this is a test

上面代碼中，print $0就是把標準輸入this is a test，重新列印了一遍。

awk會根據空格和制表符，將每一行分成若干欄位，依次用$1、$2、$3代表第一個欄位、第二個欄位、第三個欄位等等。

$ echo 'this is a test' | awk '{print $3}'

a

上面代碼中，$3代表this is a test的第三個欄位a。

下面，為了便於舉例，我們把/etc/passwd文件保存成demo.txt。

這個文件的欄位分隔符是冒號（:），所以要用-F參數指定分隔符為冒號。然後，才能提取到它的第一個欄位。

$ awk -F ':' '{ print $1 }' demo.txt

root

daemon

bin

sys

sync

二、變量

除了$ + 數字表示某個欄位，awk還提供其他一些變量。

變量NF表示當前行有多少個欄位，因此$NF就代表最後一個欄位。

$ echo 'this is a test' | awk '{print $NF}'

test

$(NF-1)代表倒數第二個欄位。

$ awk -F ':' '{print $1, $(NF-1)}' demo.txt

root /root

daemon /usr/sbin

bin /bin

sys /dev

sync /bin

上面代碼中，print命令裡面的逗號，表示輸出的時候，兩個部分之間使用空格分隔。

變量NR表示當前處理的是第幾行。

$ awk -F ':' '{print NR ") " $1}' demo.txt

1) root

2) daemon

3) bin

4) sys

5) sync

上面代碼中，print命令裡面，如果原樣輸出字符，要放在雙引號裡面。

awk的其他內置變量如下。


三、函數

awk還提供了一些內置函數，方便對原始數據的處理。

函數toupper()用於將字符轉為大寫。

$ awk -F ':' '{ print toupper($1) }' demo.txt

ROOT

DAEMON

BIN

SYS

SYNC

上面代碼中，第一個欄位輸出時都變成了大寫。

其他常用函數如下。

tolower()：字符轉為小寫。

length()：返回字符串長度。

substr()：返回子字符串。

sin()：正弦。

cos()：餘弦。

sqrt()：平方根。

rand()：隨機數。

awk內置函數的完整列表，可以查看手冊。

四、條件

awk允許指定輸出條件，只輸出符合條件的行。

輸出條件要寫在動作的前面。

$ awk '條件 動作' 文件名

 

$ awk -F ':' '/usr/ {print $1}' demo.txt

root

daemon

bin

sys

上面代碼中，print命令前面是一個正則表達式，只輸出包含usr的行。

下面的例子只輸出奇數行，以及輸出第三行以後的行。

# 輸出奇數行

$ awk -F ':' 'NR % 2 == 1 {print $1}' demo.txt

root

bin

sync

 

# 輸出第三行以後的行

$ awk -F ':' 'NR >3 {print $1}' demo.txt

sys

sync

下面的例子輸出第一個欄位等於指定值的行。

$ awk -F ':' '$1 == "root" {print $1}' demo.txt

root

 

$ awk -F ':' '$1 == "root" || $1 == "bin" {print $1}' demo.txt

root

bin

五、if 語句

awk提供了if結構，用於編寫複雜的條件。

$ awk -F ':' '{if ($1 > "m") print $1}' demo.txt

root

sys

sync

上面代碼輸出第一個欄位的第一個字符大於m的行。

if結構還可以指定else部分。

$ awk -F ':' '{if ($1 > "m") print $1; else print "---"}' demo.txt

root

---

---

sys

sync

看完本文有收穫？請分享給更多人

關注「Linux 愛好者」加星標，提升Linux技能

相關焦點

  • Linux常用命令 awk 入門基礎教程
    二、awk命令用法示例1）按行輸出文本1、輸出所有內容[linuxmi@linux:~/linuxmi迷]$ awk '{print}' linuxmi.py[linuxmi@linux:~/linuxmi迷]$ awk '{print
  • Linux awk命令入門詳解
    awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然後執行相應的命令，來處理文本。
  • 【Linux】常用命令之 awk 常用實例
    二、awk命令用法示例1）按行輸出文本1、輸出所有內容[linuxmi@linux:~/linuxmi迷]$ awk '{print}' linuxmi.py[linuxmi@linux:~/linuxmi迷]$ awk '{print
  • 面試題linux命令之awk
    無論是在測試還是開發崗位的面試招聘中，都會被提問到：是否了解linux系統，經常使用linux命令有哪些，接著可能會出一道題目，找出下列文本中的哪些值
  • Linux 三劍客 Awk、Sed、Grep 命令詳解
    是一種程式語言，用於在linux/unix下對文本和數據進行處理。awk有很多內建的功能，比如數組、函數等，這是它和C語言的相同之處，靈活性是awk最大的優勢。 centos6.88  redhatsed -e '2,6d' -e 's/linux centos6.8/Linux Centos6.8/' testthis is a test fileLinux Centos6.8redhat#如果兩條命令功能一樣，那麼就需要用到下面的參數sed --expression='s/linux
  • AWK 入門教程
    對於日誌、CSV 那樣的每行格式相同的文本文件，awk 可能是最方便的工具。awk 其實不僅僅是工具軟體，還是一種程式語言。不過，本文只介紹它的命令行用法，對於大多數場合，應該足夠用了。awk 的基本用法就是下面的形式。
  • 詳解Linux常見的幾種awk處理文字數據用法
    詳解Linux常見的幾種awk處理文字數據用法 awk是linux上文字處理的一款工具，具有強大的欄位截取功能，今天主要介紹幾個例子，幫助大家掌握一下怎麼利用awk來進行文字數據的處理。
  • awk一個linux系統的中的好教官
    而awk教官可以很方便幫我們處理好存放在日誌中的士兵，可以幫助我們選出最高的士兵，可以幫助我們選出經常出操的士兵，可以幫我們選出哪些士兵經常在一起。看下面的一個需求：我們需要看看經常訪問網站的有哪些ip，並且把它們的訪問次數統計出來。
  • Linx awk 入門教程
    awk是處理文本文件的一個應用程式，幾乎所有 Linux 系統都自帶這個程序。對於日誌、CSV 那樣的每行格式相同的文本文件，awk可能是最方便的工具。awk其實不僅僅是工具軟體，還是一種程式語言。不過，本文只介紹它的命令行用法，對於大多數場合，應該足夠用了。一、基本用法awk的基本用法就是下面的形式。
  • awk 系列:awk 怎麼讀取標準輸入(STDIN)
    在 awk 系列的第七節中，我們將會看到幾個例子，你可以篩選其他命令的輸出代替從一個文件讀取輸入作為 awk 的輸入。我們首先從使用 dir 命令[1]開始，它類似於 ls 命令[2]，在第一個例子下面，我們使用 dir -l 命令的輸出作為 awk 命令的輸入，這樣就可以列印出文件擁有者的用戶名，所屬組組名以及在當前路徑下他／她擁有的文件。
  • 選擇linux入門教程的三個原則。
    選擇linux入門教程的三個原則。最近網上有一篇文章很火，講的是一名醫生記錄的學習linux系統的經歷，看完之後馬上引起了我的強烈共鳴！我最開始學的是centos系統，想要安裝軟體卻怎麼都不成功，只能在群裡面求救，最後雖然實驗做出來了，但是我依然不懂其中的原因，感覺沒有理論知識做鋪墊真是不行，大家剛開始學習linux系統一定也會遇到很多的問題，這樣不僅會影響到學習的進度，而且長期的實驗做不成功還肯定會影響到我們的學習興趣，我希望通過這篇文章將自己入門經歷中遇到的問題總結出來分享給大家，你們可以少走一些彎路，早日完成自己的夢想
  • linux Awk命令詳解
    簡介awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤為強大。簡單來說awk就是把文件逐行的讀入，以空格為默認分隔符將每行切片，切開的部分再進行各種分析處理。
  • 生物信息 awk 簡明教程和基本用法
    $ echo "this is a variant in vcf file" | awk '{print $0}'this is a variant in vcf file上面代碼中，echo 也是 linux 一個命令行工具，作用是輸出標準輸入的文本內容，這裡不展開，print
  • Linux Awk命令詳解
    awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然後執行相應的命令，來處理文本。
  • linux awk命令詳解
    awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然後執行相應的命令，來處理文本。
  • Linux shell awk 流程控制語句(if,for,while,do)詳細介紹
    在linux awk的 while、do-while和for語句中允許使用break,continue語句來控制流程走向，也允許使用exit這樣的語句來退出
  • Linux 三劍客之 awk 詳解
    （給Linux愛好者加星標，提升Linux技能）以下文章來源於宜信技術學院 ，作者秦偉第一篇 awk簡介與表達式實例
  • Linux shell腳本編程入門系列七:linux三劍客之awk
    1、awk是什麼？awk命令的作用是進行文本掃描、處理以及報表的生成。awk命令有自己的語法規則，官方說法叫「樣式掃描和處理語言」，其語法借鑑了C語言的精華。由於其強大的文本分析能力與格式化輸出能力，awk命令成為Linux環境開發者的必備殺器，與grep命令、sed命令一起被稱為Linux三劍客。熟練運用awk命令能讓我們的日常工作變得高端同時也高效起來。2、awk的基本使用awk對文本的掃描是以行為單位的，也就是說awk一次從文本中讀取一行的內容。
  • 10分鐘學會 Linux awk命令
    awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然後執行相應的命令，來處理文本。
  • Linux Awk用法總結
    ；裝備以上功能，awk能夠做得事情非常多。但千裡之行，始於足下，我們首先從最基本的命令行語法開始，一步一步得走入awk的編程世界。同sed一樣，awk的命令行語法也有兩種形式：awk [-F ERE] [-v assignment] ... program [argument ...]awk [-F ERE] -f progfile ...  [-v assignment] ...