Hexdump 如何工作 | Linux 中國

2021-02-19 Linux中國

Hexdump 是個用十六進位、十進位、八進位數或 ASCII 碼顯示二進位文件內容的工具。它是個用於檢查的工具,也可用於數據恢復、逆向工程和編程。

學習基本用法

Hexdump 讓你毫不費力地得到輸出結果,依你所查看文件的尺寸,輸出結果可能會非常多。本文中我們會創建一個 1x1 像素的 PNG 文件。你可以用圖像處理應用如 GIMP 或 Mtpaint 來創建該文件,或者也可以在終端內用 ImageMagick 創建。

用 ImagiMagick 生成 1x1 像素 PNG 文件的命令如下:

$ convert -size 1x1 canvas:black pixel.png

你可以用 file 命令確認此文件是 PNG 格式:

pixel.png: PNG image data, 1 x 1, 1-bit grayscale, non-interlaced

你可能好奇 file 命令是如何判斷文件是什麼類型。巧的是,那正是 hexdump 將要揭示的原理。眼下你可以用你常用的圖像查看軟體來看看你的單一像素圖片(它看上去就像這樣:.),或者你可以用 hexdump 查看文件內部:

0000000 5089 474e 0a0d 0a1a 0000 0d00 4849 52440000010 0000 0100 0000 0100 0001 0000 3700 f96e0000020 0024 0000 6704 4d41 0041 b100 0b8f 61fc0000030 0005 0000 6320 5248 004d 7a00 0026 80000000040 0084 fa00 0000 8000 00e8 7500 0030 ea000000050 0060 3a00 0098 1700 9c70 51ba 003c 00000000060 6202 474b 0044 dd01 138a 00a4 0000 74070000070 4d49 0745 07e3 081a 3539 a487 46b0 00000000080 0a00 4449 5441 d708 6063 0000 0200 01000000090 21e2 33bc 0000 2500 4574 7458 6164 657400000a0 633a 6572 7461 0065 3032 3931 302d 2d3700000b0 3532 3254 3a30 3735 353a 2b33 3231 303a00000c0 ac30 5dcd 00c1 0000 7425 5845 6474 746100000d0 3a65 6f6d 6964 7966 3200 3130 2d39 373000000e0 322d 5435 3032 353a 3a37 3335 312b 3a3200000f0 3030 90dd 7de5 0000 0000 4549 444e 42ae

透過一個你以前可能從未用過的視角,你所見的是該示例 PNG 文件的內容。它和你在圖像查看軟體中看到的是完全一樣的數據,只是用一種你或許不熟悉的方式編碼。

提取熟悉的字符串

儘管默認的數據輸出結果看上去毫無意義,那並不意味著其中沒有有價值的信息。你可以用 --canonical 選項將輸出結果,或至少是其中可翻譯的部分,翻譯成更加熟悉的字符集:

$ hexdump --canonical foo.png00000000 89 50 4e 47 0d 0a 1a 0a 00 00 00 0d 49 48 44 52 |.PNG...IHDR|00000010 00 00 00 01 00 00 00 01 01 00 00 00 00 37 6e f9 |...7n.|00000020 24 00 00 00 04 67 41 4d 41 00 00 b1 8f 0b fc 61 |$....gAMA.a|00000030 05 00 00 00 20 63 48 52 4d 00 00 7a 26 00 00 80 |.... cHRM..z&...|00000040 84 00 00 fa 00 00 00 80 e8 00 00 75 30 00 00 ea |.u0...|00000050 60 00 00 3a 98 00 00 17 70 9c ba 51 3c 00 00 00 |`..:....p..Q<...|00000060 02 62 4b 47 44 00 01 dd 8a 13 a4 00 00 00 07 74 |.bKGDt|00000070 49 4d 45 07 e3 07 1a 08 39 35 87 a4 b0 46 00 00 |IME95...F..|00000080 00 0a 49 44 41 54 08 d7 63 60 00 00 00 02 00 01 |..IDAT..c`.|00000090 e2 21 bc 33 00 00 00 25 74 45 58 74 64 61 74 65 |.!.3...%tEXtdate|000000a0 3a 63 72 65 61 74 65 00 32 30 31 39 2d 30 37 2d |:create.2019-07-|000000b0 32 35 54 32 30 3a 35 37 3a 35 33 2b 31 32 3a 30 |25T20:57:53+12:0|000000c0 30 ac cd 5d c1 00 00 00 25 74 45 58 74 64 61 74 |0..]....%tEXtdat|000000d0 65 3a 6d 6f 64 69 66 79 00 32 30 31 39 2d 30 37 |e:modify.2019-07|000000e0 2d 32 35 54 32 30 3a 35 37 3a 35 33 2b 31 32 3a |-25T20:57:53+12:|000000f0 30 30 dd 90 e5 7d 00 00 00 00 49 45 4e 44 ae 42 |00...}....IEND.B|

在右側的列中,你看到的是和左側一樣的數據,但是以 ASCII 碼展現的。如果你仔細看,你可以從中挑選出一些有用的信息,如文件格式(PNG)以及文件創建、修改日期和時間(向文件底部尋找一下)。

file 命令通過頭 8 個字節獲取文件類型。程式設計師會參考 libpng 規範 來知曉需要查看什麼。具體而言,那就是你能在該圖像文件的頭 8 個字節中看到的字符串 PNG。這個事實顯而易見,因為它揭示了 file 命令是如何知道要報告的文件類型。

你也可以控制 hexdump 顯示多少字節,這在處理大於一個像素的文件時很實用:

$ hexdump --length 8 pixel.png0000000 5089 474e 0a0d 0a1a

hexdump 不只限於查看 PNG 或圖像文件。你也可以用 hexdump 查看你日常使用的二進位文件,如 ls、rsync,或你想檢查的任何二進位文件。

用 hexdump 實現 cat 命令

閱讀 PNG 規範的時候你可能會注意到頭 8 個字節中的數據與 hexdump 提供的結果看上去不一樣。實際上,那是一樣的數據,但以一種不同的轉換方式展現出來。所以 hexdump 的輸出是正確的,但取決於你在尋找的信息,其輸出結果對你而言不總是直接了當的。出於這個原因,hexdump有一些選項可供用於定義格式和轉化其轉儲的原始數據。

轉換選項可以很複雜,所以用無關緊要的東西練習會比較實用。下面這個簡易的介紹,通過重新實現 cat 命令來演示如何格式化 hexdump 的輸出。首先,對一個文本文件運行 hexdump 來查看其原始數據。通常你可以在硬碟上某處找到 GNU 通用許可證GNU General Public License(GPL)的一份拷貝,也可以用你手頭的任何文本文件。你的輸出結果可能不同,但下面是如何在你的系統中找到一份 GPL(或至少其部分)的拷貝:

$ find /usr/share/doc/ -type f -name "COPYING" | tail -1/usr/share/doc/libblkid-devel/COPYING

對其運行 hexdump:

$ hexdump /usr/share/doc/libblkid-devel/COPYING0000000 6854 7369 6c20 6269 6172 7972 6920 20730000010 7266 6565 7320 666f 7774 7261 3b65 79200000020 756f 6320 6e61 7220 6465 7369 7274 62690000030 7475 2065 7469 6120 646e 6f2f 0a72 6f6d0000040 6964 7966 6920 2074 6e75 6564 2072 68740000050 2065 6574 6d72 2073 666f 7420 6568 47200000060 554e 4c20 7365 6573 2072 6547 656e 61720000070 206c 7550 6c62 6369 4c0a 6369 6e65 65730000080 6120 2073 7570 6c62 7369 6568 2064 7962

如果該文件輸出結果很長,用 --length(或短選項 -n)來控制輸出長度使其易於管理。

原始數據對你而言可能沒什麼意義,但你已經知道如何將其轉換為 ASCII 碼:

hexdump --canonical /usr/share/doc/libblkid-devel/COPYING00000000  54 68 69 73 20 6c 69 62  72 61 72 79 20 69 73 20  |This library is |00000010  66 72 65 65 20 73 6f 66  74 77 61 72 65 3b 20 79  |free software; y|00000020  6f 75 20 63 61 6e 20 72  65 64 69 73 74 72 69 62  |ou can redistrib|00000030  75 74 65 20 69 74 20 61  6e 64 2f 6f 72 0a 6d 6f  |ute it and/or.mo|00000040  64 69 66 79 20 69 74 20  75 6e 64 65 72 20 74 68  |dify it under th|00000050  65 20 74 65 72 6d 73 20  6f 66 20 74 68 65 20 47  |e terms of the G|00000060  4e 55 20 4c 65 73 73 65  72 20 47 65 6e 65 72 61  |NU Lesser Genera|00000070  6c 20 50 75 62 6c 69 63  0a 4c 69 63 65 6e 73 65  |l Public.License|

這個輸出結果有幫助但太累贅且難於閱讀。要將 hexdump 的輸出結果轉換為其選項不支持的其他格式,可組合使用 --format(或 -e)和專門的格式代碼。用來自定義格式的代碼和 printf 命令使用的類似,所以如果你熟悉 printf 語句,你可能會覺得 hexdump 自定義格式不難學會。

在 hexdump 中,字符串 %_p 告訴 hexdump 用你系統的默認字符集輸出字符。--format選項的所有格式符號必須以單引號包括起來:

$ hexdump -e'"%_p"' /usr/share/doc/libblkid-devel/COPYING software; you can redistribute it and/or.modify it under the terms of the GNU Les*er General Public.License as published by the Fre* Software Foundation; either.version 2.1 of the License, or (at your option) any later.version..*The complete text of the license is available in the..*/Documentation/licenses/COPYING.LGPL-2.1-or-later file..

這次的輸出好些了,但依然不方便閱讀。傳統上 UNIX 文本文件假定 80 個字符的輸出寬度(因為很久以前顯示器一行只能顯示 80 個字符)。

儘管這個輸出結果未被自定義格式限制輸出寬度,你可以用附加選項強制 hexdump 一次處理 80 字節。具體而言,通過 80 除以 1 這種形式,你可以告訴 hexdump 將 80 字節作為一個單元對待:

$ hexdump -e'80/1 "%_p"' /usr/share/doc/libblkid-devel/COPYINGThis library is free software; you can redistribute it and/or.modify it under the terms of the GNU Lesser General Public.License as published by the Free Software Foundation; either.version 2.1 of the License, or (at your option) any later.version...The complete text of the license is available in the.../Documentation/licenses/COPYING.LGPL-2.1-or-later file..

現在該文件被分割成 80 字節的塊處理,但沒有任何換行。你可以用 \n 字符自行添加換行,在 UNIX 中它代表換行:

$ hexdump -e'80/1 "%_p""\n"'This library is free software; you can redistribute it and/or.modify it under the terms of the GNU Lesser General Public.License as published by the Free Software Foundation; either.version 2.1 of the License, or (at your option) any later.version...The complete text of the license is available in the.../Documentation/licenses/COPYING.LGPL-2.1-or-later file..

現在你已經(大致上)用 hexdump 自定義格式實現了 cat 命令。

控制輸出結果

實際上自定義格式是讓 hexdump 變得有用的方法。現在你已經(至少是原則上)熟悉 hexdump自定義格式,你可以讓 hexdump -n 8 的輸出結果跟 libpng 官方規範中描述的 PNG 文件頭相匹配了。

首先,你知道你希望 hexdump 以 8 字節的塊來處理 PNG 文件。此外,你可能通過識別這些整數從而知道 PNG 格式規範是以十進位數表述的,根據 hexdump 文檔,十進位用 %d 來表示:

$ hexdump -n8 -e'8/1 "%d""\n"' pixel.png

你可以在每個整數後面加個空格使輸出結果變得完美:

$ hexdump -n8 -e'8/1 "%d ""\n"' pixel.png

現在輸出結果跟 PNG 規範完美匹配了。

好玩又有用

Hexdump 是個迷人的工具,不僅讓你更多地領會計算機如何處理和轉換信息,而且讓你了解文件格式和編譯的二進位文件如何工作。日常工作時你可以隨機地試著對不同文件運行 hexdump。你永遠不知道你會發現什麼樣的信息,或是什麼時候具有這種洞察力會很實用。

via: https://opensource.com/article/19/8/dig-binary-files-hexdump

作者:Seth Kenlon 選題:lujun9972 譯者:0x996 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出

相關焦點

  • 探索Linux下的一個有點冷門的命令:hexdump
    描述hexdump命令一般用來查看
  • MySQL - mysqldump常用命令 - linux運維菜
    導出數據1、備份全部資料庫的數據和表結構mysqldump -uroot -ppassword -A >all.sql2、只備份表結構,不備份數據mysqldump -uroot -ppassword -A -d > database.sql3、只備份資料庫,不備份表結構mysqldump -uroot -ppassword -A -t > data.sql
  • 在 Linux 上分析二進位文件的 10 種方法
    linux中國這些簡單的命令和工具可以幫助你輕鬆完成分析二進位文件的任務。如何找到可執行程序所依賴的庫?這就是 ldd 命令的作用了。對動態連結的二進位文件運行該命令會顯示出所有依賴庫和它們的路徑。通常情況下,當你用一個應用程式打開一個文件,而它不知道如何處理該文件時,就會出現這種情況。嘗試用 vim 打開一個可執行文件或視頻文件,你屏幕上會看到的只是拋出的亂碼。在 hexdump 中打開未知文件,可以幫助你看到文件的具體內容。你也可以選擇使用一些命令行選項來查看用 ASCII 表示的文件數據。這可能會幫助你了解到它是什麼類型的文件。
  • GNU 核心實用程序簡介 | Linux 中國
    這些工具是不可缺少的,因為沒有它們,就不可能在 Unix 或 Linux 計算機上完成任何有用的工作。鑑於它們的重要性,讓我們來研究一下它們。GNU coreutils要了解 GNU 核心實用程序的起源,我們需要乘坐時光機進行一次短暫的旅行,回到貝爾實驗室的 Unix 早期。
  • Linux下分析bin文件的10種方法
    二進位文件是我們幾乎每天都需要打交道的文件類型,但很少人知道他們的工作原理。這裡所講的二進位文件,是指一些可執行文件,包括你天天要使用的 Linux 命令,也是二進位文件的一種。Linux 系統給我們提供了非常多用於分析二進位文件的工具,不管你在 Linux 下從事的是何種工作,知道這些工具也會讓你對你的系統更加了解。
  • MySQL mysqldump 數據導出詳解
    (點擊上方藍字,可快速關注我們)來源:pursuer.chen連結:http://www.cnblogs.com/chenmh/p/5300370.html介紹在日常維護工作當中經常會需要對數據進行導出操作
  • linux - netcat網絡工具-nc
    -L, --tunnel=ADDRESS:PORT forward local port to remote address -n, --dont-resolve numeric-only IP addresses, no DNS -o, --output=FILE output hexdump
  • Linux pwn從入門到熟練(三)
    獲取libc基地址那麼如何獲取libc的基地址呢?("fgets")system_addr = libcbase + obj.dump("system") #system 偏移bin_sh_addr = libcbase + obj.dump("str_bin_sh") #/bin/sh 偏移libcmain_addr =
  • linux pwn入門學習到放棄
    本文記錄菜鳥學習linux pwn入門的一些過程,詳細介紹linux上的保護機制,分析一些常見漏洞如棧溢出,堆溢出,use after free等,以及一些常見工具集合介紹等。先來學習一些關於linux方面的保護措施,作業系統提供了許多安全機制來嘗試降低或阻止緩衝區溢出攻擊帶來的安全風險,包括DEP、ASLR等。
  • Linux系統安裝部署NodeJS服務
    下載解壓$ xz -d node-v10.15.0-linux-x64.tar.xz$ tar xf node-v10.15.0-linux-x64.tar配置環境變量$ vi .bash_profile#Node所在路徑export NODE_HOME=$HOME/node-v10.15.0-linux-x64export PATH=$NODE_HOME/bin:$PATH
  • 「正點原子Linux連載」第五十八章Linux INPUT子系統實驗
    關於input子系統就講解到這裡,接下來我們就以開發板上的KEY0按鍵為例,講解一下如何編寫input驅動。58.2 硬體原理圖分析本章實驗硬體原理圖參考15.2小節即可。另外,我們也可以不用keyinputApp來測試驅動,可以直接使用hexdump命令來查看/dev/input/event1文件內容,輸入如下命令:hexdump /dev/input/event1然後按下按鍵,終端輸出如圖58.4.2.4所示信息:
  • Linux 下 cut 命令的 4 個基礎實用的示例
    (點擊上方公眾號,可快速關注)英文:Sylvain Leroux,翻譯:Linux中國/Chang Liulinux.cn
  • 使用Kdump檢查Linux內核崩潰
    每個 ELF 文件都有一個程序頭: 由系統加載器讀取, 描述如何將程序加載到內存中, 可以使用 Objdump -p elf_file 來查看程序頭。vmcoreinfo 主要由 makedumpfile 應用程式使用。在 Linux 內核,include/linux/kexec.h 宏定義了一個新的 vmcoreinfo。
  • Linux DNS 查詢剖析(第一部分) | Linux 中國
    我經常與虛擬機集群打交道(文1[1]、文2[2]、文3[3]、文4[4]、文5[5]、文6[6]),因此最終花費了大量時間試圖掌握 DNS 查詢[7]的工作原理。遇到問題時,我只是不求甚解的使用 StackOverflow 上的「解決方案」,而不知道它們為什麼有時工作,有時不工作。最終我對此感到了厭倦,決定一併找出所有問題的原因。
  • core dump 產生的原因
    這是因為如果這段內存的開始地址不是按照這種結構或類型對齊的,那麼訪問它時就很容易因為bus error而core dump。堆棧溢出不要使用大的局部變量(因為局部變量都分配在棧上),這樣容易造成堆棧溢出,破壞系統的棧和堆結構,導致出現莫名其妙的錯誤。
  • 如何在 Ubuntu Linux 中使用 RAR 文件 | Linux 中國
    編譯自 | https://itsfoss.com/use-rar-ubuntu-linux/  作者 | Ankush Das 譯者 | Hank Chow (HankChow) 🌟🌟共計翻譯:13.0 篇 貢獻時間:307 天RAR[1] 是一種非常好的歸檔文件格式。
  • 《記錄》第15期:DUMP三十年(下)
    主機遊戲在中國大陸始終未有成規模的正規市場,中文版多以民間漢化的形式存在。有據可考的第一款漢化遊戲,是福州煙山軟體1989年的中文版《坦克戰》。翻錄原版《坦克大戰》的同時,煙山軟體對標題畫面作了漢化,推出中文版。因發行量極少,這盤卡帶業已失傳,只有一張拍攝自電視屏幕的照片,可見標題畫面的「坦克戰」「1人玩/2人玩」「福州煙山軟體」等漢字。
  • Linux mkdir 命令的初學者教程 | Linux 中國
    下面這些 Q&A 式的例子將能夠幫助你更好的理解 mkdir 這個命令是如何工作的。Q1. 如何使用 mkdir 命令創建目錄?創建目錄非常簡單,你唯一需要做的就是把你想創建的目錄的名字跟在 mkdir 命令的後面作為參數。