關於 Java 對象序列化您不知道的 5 件事

2022-01-25 ThinkPHP

關於本系列
您覺得自己懂 Java 編程?事實上,大多數程式設計師對於 Java 平臺都是淺嘗則止,只學習了足以完成手頭上任務的知識而已。在本 系列 中,Ted Neward 深入挖掘 Java 平臺的核心功能,揭示一些鮮為人知的事實,幫助您解決最棘手的編程挑戰。

大約一年前,一個負責管理應用程式所有用戶設置的開發人員,決定將用戶設置存儲在一個 Hashtable中,然後將這個 Hashtable 序列化到磁碟,以便持久化。當用戶更改設置時,便重新將 Hashtable 寫到磁碟。

這是一個優雅的、開放式的設置系統,但是,當團隊決定從 Hashtable 遷移到 Java Collections 庫中的HashMap 時,這個系統便面臨崩潰。

Hashtable 和 HashMap 在磁碟上的格式是不相同、不兼容的。除非對每個持久化的用戶設置運行某種類型的數據轉換實用程序(極其龐大的任務),否則以後似乎只能一直用Hashtable 作為應用程式的存儲格式。

團隊感到陷入僵局,但這只是因為他們不知道關於 Java 序列化的一個重要事實:Java 序列化允許隨著時間的推移而改變類型。當我向他們展示如何自動進行序列化替換後,他們終於按計劃完成了向 HashMap 的轉變。

本文是本系列的第一篇文章,這個系列專門揭示關於 Java 平臺的一些有用的小知識 — 這些小知識不易理解,但對於解決 Java 編程挑戰遲早有用。

將 Java 對象序列化 API 作為開端是一個不錯的選擇,因為它從一開始就存在於 JDK 1.1 中。本文介紹的關於序列化的 5 件事情將說服您重新審視那些標準 Java API。
Java 序列化簡介
Java 對象序列化是 JDK 1.1 中引入的一組開創性特性之一,用於作為一種將 Java 對象的狀態轉換為字節數組,以便存儲或傳輸的機制,以後,仍可以將字節數組轉換回 Java 對象原有的狀態。

實際上,序列化的思想是 「凍結」 對象狀態,傳輸對象狀態(寫到磁碟、通過網絡傳輸等等),然後 「解凍」 狀態,重新獲得可用的 Java 對象。所有這些事情的發生有點像是魔術,這要歸功於 ObjectInputStream/ObjectOutputStream 類、完全保真的元數據以及程式設計師願意用Serializable 標識接口標記他們的類,從而 「參與」 這個過程。
清單 1 顯示一個實現 Serializable 的 Person 類。
清單 1. Serializable Person

package com.tedneward;public class Person implements java.io.Serializable{ public Person(String fn, String ln, int a) { this.firstName = fn; this.lastName = ln; this.age = a; } public String getFirstName() { return firstName; } public String getLastName() { return lastName; } public int getAge() { return age; } public Person getSpouse() { return spouse; } public void setFirstName(String value) { firstName = value; } public void setLastName(String value) { lastName = value; } public void setAge(int value) { age = value; } public void setSpouse(Person value) { spouse = value; } public String toString() { return "[Person: firstName=" + firstName + " lastName=" + lastName + " age=" + age + " spouse=" + spouse.getFirstName() + "]"; } private String firstName; private String lastName; private int age; private Person spouse;}

將 Person 序列化後,很容易將對象狀態寫到磁碟,然後重新讀出它,下面的 JUnit 4 單元測試對此做了演示。
清單 2. 對 Person 進行反序列化

public class SerTest{ @Test public void serializeToDisk() { try { com.tedneward.Person ted = new com.tedneward.Person("Ted", "Neward", 39); com.tedneward.Person charl = new com.tedneward.Person("Charlotte", "Neward", 38); ted.setSpouse(charl); charl.setSpouse(ted); FileOutputStream fos = new FileOutputStream("tempdata.ser"); ObjectOutputStream oos = new ObjectOutputStream(fos); oos.writeObject(ted); oos.close(); } catch (Exception ex) { fail("Exception thrown during test: " + ex.toString()); } try { FileInputStream fis = new FileInputStream("tempdata.ser"); ObjectInputStream ois = new ObjectInputStream(fis); com.tedneward.Person ted = (com.tedneward.Person) ois.readObject(); ois.close(); assertEquals(ted.getFirstName(), "Ted"); assertEquals(ted.getSpouse().getFirstName(), "Charlotte"); // Clean up the file new File("tempdata.ser").delete(); } catch (Exception ex) { fail("Exception thrown during test: " + ex.toString()); } }}

到現在為止,還沒有看到什麼新鮮的或令人興奮的事情,但是這是一個很好的出發點。我們將使用 Person 來發現您可能不 知道的關於 Java 對象序列化 的 5 件事。
1. 序列化允許重構
序列化允許一定數量的類變種,甚至重構之後也是如此,ObjectInputStream 仍可以很好地將其讀出來。
Java Object Serialization 規範可以自動管理的關鍵任務是:

取決於所需的向後兼容程度,轉換欄位形式(從非 static 轉換為 static 或從非 transient 轉換為 transient)或者刪除欄位需要額外的消息傳遞。
重構序列化類
既然已經知道序列化允許重構,我們來看看當把新欄位添加到 Person 類中時,會發生什麼事情。
如清單 3 所示,PersonV2 在原先 Person 類的基礎上引入一個表示性別的新欄位。
清單 3. 將新欄位添加到序列化的 Person 中

enum Gender{ MALE, FEMALE}public class Person implements java.io.Serializable{ public Person(String fn, String ln, int a, Gender g) { this.firstName = fn; this.lastName = ln; this.age = a; this.gender = g; } public String getFirstName() { return firstName; } public String getLastName() { return lastName; } public Gender getGender() { return gender; } public int getAge() { return age; } public Person getSpouse() { return spouse; } public void setFirstName(String value) { firstName = value; } public void setLastName(String value) { lastName = value; } public void setGender(Gender value) { gender = value; } public void setAge(int value) { age = value; } public void setSpouse(Person value) { spouse = value; } public String toString() { return "[Person: firstName=" + firstName + " lastName=" + lastName + " gender=" + gender + " age=" + age + " spouse=" + spouse.getFirstName() + "]"; } private String firstName; private String lastName; private int age; private Person spouse; private Gender gender;}

序列化使用一個 hash,該 hash 是根據給定源文件中幾乎所有東西 — 方法名稱、欄位名稱、欄位類型、訪問修改方法等 — 計算出來的,序列化將該 hash 值與序列化流中的 hash 值相比較。
為了使 Java 運行時相信兩種類型實際上是一樣的,第二版和隨後版本的 Person 必須與第一版有相同的序列化版本 hash(存儲為 private static final serialVersionUID 欄位)。因此,我們需要 serialVersionUID 欄位,它是通過對原始(或 V1)版本的 Person 類運行 JDK serialver命令計算出的。
一旦有了 Person 的 serialVersionUID,不僅可以從原始對象 Person 的序列化數據創建 PersonV2 對象(當出現新欄位時,新欄位被設為預設值,最常見的是「null」),還可以反過來做:即從 PersonV2 的數據通過反序列化得到 Person,這毫不奇怪。
2. 序列化並不安全
讓 Java 開發人員詫異並感到不快的是,序列化二進位格式完全編寫在文檔中,並且完全可逆。實際上,只需將二進位序列化流的內容轉儲到控制臺,就足以看清類是什麼樣子,以及它包含什麼內容。
這對於安全性有著不良影響。例如,當通過 RMI 進行遠程方法調用時,通過連接發送的對象中的任何 private 欄位幾乎都是以明文的方式出現在套接字流中,這顯然容易招致哪怕最簡單的安全問題。
幸運的是,序列化允許 「hook」 序列化過程,並在序列化之前和反序列化之後保護(或模糊化)欄位數據。可以通過在 Serializable 對象上提供一個 writeObject 方法來做到這一點。
模糊化序列化數據
假設 Person 類中的敏感數據是 age 欄位。畢竟,女士忌談年齡。 我們可以在序列化之前模糊化該數據,將數位循環左移一位,然後在反序列化之後復位。(您可以開發更安全的算法,當前這個算法只是作為一個例子。)
為了 「hook」 序列化過程,我們將在 Person 上實現一個 writeObject 方法;為了 「hook」 反序列化過程,我們將在同一個類上實現一個readObject 方法。重要的是這兩個方法的細節要正確 — 如果訪問修改方法、參數或名稱不同於清單 4 中的內容,那麼代碼將不被察覺地失敗,Person 的 age 將暴露。
清單 4. 模糊化序列化數據

public class Person implements java.io.Serializable{ public Person(String fn, String ln, int a) { this.firstName = fn; this.lastName = ln; this.age = a; } public String getFirstName() { return firstName; } public String getLastName() { return lastName; } public int getAge() { return age; } public Person getSpouse() { return spouse; } public void setFirstName(String value) { firstName = value; } public void setLastName(String value) { lastName = value; } public void setAge(int value) { age = value; } public void setSpouse(Person value) { spouse = value; } private void writeObject(java.io.ObjectOutputStream stream) throws java.io.IOException { // "Encrypt"/obscure the sensitive data age = age << 2; stream.defaultWriteObject(); } private void readObject(java.io.ObjectInputStream stream) throws java.io.IOException, ClassNotFoundException { stream.defaultReadObject(); // "Decrypt"/de-obscure the sensitive data age = age << 2; } public String toString() { return "[Person: firstName=" + firstName + " lastName=" + lastName + " age=" + age + " spouse=" + (spouse!=null ? spouse.getFirstName() : "[null]") + "]"; } private String firstName; private String lastName; private int age; private Person spouse;}

如果需要查看被模糊化的數據,總是可以查看序列化數據流/文件。而且,由於該格式被完全文檔化,即使不能訪問類本身,也仍可以讀取序列化流中的內容。
3. 序列化的數據可以被籤名和密封
上一個技巧假設您想模糊化序列化數據,而不是對其加密或者確保它不被修改。當然,通過使用 writeObject 和 readObject 可以實現密碼加密和籤名管理,但其實還有更好的方式。
如果需要對整個對象進行加密和籤名,最簡單的是將它放在一個 javax.crypto.SealedObject 和/或 java.security.SignedObject 包裝器中。兩者都是可序列化的,所以將對象包裝在 SealedObject 中可以圍繞原對象創建一種 「包裝盒」。必須有對稱密鑰才能解密,而且密鑰必須單獨管理。同樣,也可以將 SignedObject 用於數據驗證,並且對稱密鑰也必須單獨管理。
結合使用這兩種對象,便可以輕鬆地對序列化數據進行密封和籤名,而不必強調關於數字籤名驗證或加密的細節。很簡潔,是吧?
4. 序列化允許將代理放在流中
很多情況下,類中包含一個核心數據元素,通過它可以派生或找到類中的其他欄位。在此情況下,沒有必要序列化整個對象。可以將欄位標記為 transient,但是每當有方法訪問一個欄位時,類仍然必須顯式地產生代碼來檢查它是否被初始化。
如果首要問題是序列化,那麼最好指定一個 flyweight 或代理放在流中。為原始 Person 提供一個 writeReplace 方法,可以序列化不同類型的對象來代替它。類似地,如果反序列化期間發現一個 readResolve 方法,那麼將調用該方法,將替代對象提供給調用者。
打包和解包代理
writeReplace 和 readResolve 方法使 Person 類可以將它的所有數據(或其中的核心數據)打包到一個 PersonProxy 中,將它放入到一個流中,然後在反序列化時再進行解包。
清單 5. 你完整了我,我代替了你

class PersonProxy implements java.io.Serializable{ public PersonProxy(Person orig) { data = orig.getFirstName() + "," + orig.getLastName() + "," + orig.getAge(); if (orig.getSpouse() != null) { Person spouse = orig.getSpouse(); data = data + "," + spouse.getFirstName() + "," + spouse.getLastName() + "," + spouse.getAge(); } } public String data; private Object readResolve() throws java.io.ObjectStreamException { String[] pieces = data.split(","); Person result = new Person(pieces[0], pieces[1], Integer.parseInt(pieces[2])); if (pieces.length > 3) { result.setSpouse(new Person(pieces[3], pieces[4], Integer.parseInt (pieces[5]))); result.getSpouse().setSpouse(result); } return result; }}public class Person implements java.io.Serializable{ public Person(String fn, String ln, int a) { this.firstName = fn; this.lastName = ln; this.age = a; } public String getFirstName() { return firstName; } public String getLastName() { return lastName; } public int getAge() { return age; } public Person getSpouse() { return spouse; } private Object writeReplace() throws java.io.ObjectStreamException { return new PersonProxy(this); } public void setFirstName(String value) { firstName = value; } public void setLastName(String value) { lastName = value; } public void setAge(int value) { age = value; } public void setSpouse(Person value) { spouse = value; } public String toString() { return "[Person: firstName=" + firstName + " lastName=" + lastName + " age=" + age + " spouse=" + spouse.getFirstName() + "]"; } private String firstName; private String lastName; private int age; private Person spouse;}

注意,PersonProxy 必須跟蹤 Person 的所有數據。這通常意味著代理需要是 Person 的一個內部類,以便能訪問 private 欄位。有時候,代理還需要追蹤其他對象引用並手動序列化它們,例如 Person 的 spouse。
這種技巧是少數幾種不需要讀/寫平衡的技巧之一。例如,一個類被重構成另一種類型後的版本可以提供一個 readResolve 方法,以便靜默地將被序列化的對象轉換成新類型。類似地,它可以採用 writeReplace 方法將舊類序列化成新版本。
5. 信任,但要驗證
認為序列化流中的數據總是與最初寫到流中的數據一致,這沒有問題。但是,正如一位美國前總統所說的,「信任,但要驗證」。
對於序列化的對象,這意味著驗證欄位,以確保在反序列化之後它們仍具有正確的值,「以防萬一」。為此,可以實現 ObjectInputValidation接口,並覆蓋 validateObject() 方法。如果調用該方法時發現某處有錯誤,則拋出一個 InvalidObjectException。
結束語
Java 對象序列化比大多數 Java 開發人員想像的更靈活,這使我們有更多的機會解決棘手的情況。
幸運的是,像這樣的編程妙招在 JVM 中隨處可見。關鍵是要知道它們,在遇到難題的時候能用上它們。
5 件事 系列下期預告:Java Collections。在此之前,好好享受按自己的想法調整序列化吧!

相關焦點

  • 關於 Java 序列化你不知道的 5 件事
    Hashtable 和 HashMap 在磁碟上的格式是不相同、不兼容的。除非對每個持久化的用戶設置運行某種類型的數據轉換實用程序(極其龐大的任務),否則以後似乎只能一直用Hashtable 作為應用程式的存儲格式。團隊感到陷入僵局,但這只是因為他們不知道關於 Java 序列化的一個重要事實:Java 序列化允許隨著時間的推移而改變類型。
  • 關於 Java 你不知道的十件事
    還記得那時它叫「Oak」,面向對象也 (Object Oriented, OO )還是個熱門話題,C++ 程式設計師們覺得 Java 完全沒機會成功,Applet的出現也是一件新鮮大事?我打賭下文中至少一半的內容你都不知道。讓我們來看看這些令人驚喜的 Java 細節吧。1.
  • 關於Java你不知道的十件事
    那麼,您從一開始就一直在使用Java?還記得那些被稱為「 Oak」的日子,OO仍然是熱門話題,C ++人士認為Java沒有機會,Applet還是一件事嗎?我敢打賭,您至少不了解以下一半內容。1.沒有被檢查的異常那就對了!
  • 全方位解析Java序列化
    , ClassNotFoundException;}java.io.ObjectOutputStream 類表示對象輸出流,它的 writeObject(Object obj) 方法可以對指定 obj 對象參數進行序列化,再把得到的字節序列寫到一個目標輸出流中。ja
  • 詳解JAVA序列化
    這個時候我們就需要通過固定的協議,傳輸固定的數據格式,而這個數據傳輸的協議稱之為序列化,而定義了傳輸數據行為的框架組件也稱之為序列化組件(框架)序列化有什麼意義首先我們先看看,java中的序列化,在java語言中實例對象想要序列化傳輸,需要實現Serializable 接口,只有當前接口修飾定義的類對象才可以按照指定的方式傳輸對象。
  • 【Java拾遺】不可不知的 Java 序列化
    而序列化功能又正好對應這兩點,一個是用來傳輸信息,另一個是用來持久化。序列化用來傳輸的作用,前文已經說過了,關於持久化的作用,也很好理解。首先明確一個問題,序列化的是什麼內容?通常是內存中的內容。而內存有一個特點我們都知道,那就是一重啟就沒了。對於部分內容,我們想在重啟後還存在(比如說 tomcat 中 session 裡面的對象),要怎麼辦呢?
  • Java程式設計師必備:序列化全方位解析
    java.io.ObjectInputStream表示對象輸入流,它的readObject()方法,從輸入流中讀取到字節序列,反序列化成為一個對象,最後將其返回。五、序列化的使用序列化如何使用?列印學生對象,序列化到文件,接著修改靜態變量的值,再反序列化,輸出反序列化後的對象~
  • 關於 Java 你不知道的 10 件事
    JVM 不會知道這些事情,只有 Java 語句知道。如今大家都認為檢查異常是個錯誤。正如 Bruce Eckel 在布拉格 GeeCON 閉幕時所說,Java 之後再沒別的語言檢查異常,甚至 Java 8 在新的 Stream API 中也不再幹這個事情(如果你的 Lambda 使用 IO 和 JDBC,這其實還是有點痛苦)。如何證實 JVM 並不清楚檢查異常一事?
  • Java序列化對象(JSO):實戰漏洞利用指南
    二、JSO的使用與濫用儘管攻防雙方的漏洞利用開發者社區已經對序列化對象進行了一段時間的漏洞利用,但仍然有許多IT人員和IT安全從業者不熟悉如何使用序列化對象,也不熟悉它們會如何被攻擊者濫用。在這一章中,我們將花費一點時間,來探討序列化的優缺點,以及它在現代網絡應用程式中的使用方式和濫用方式。2.1 什麼是JSO?
  • java反序列化——XMLDecoder反序列化漏洞
    前言最近學習java反序列化學到了weblogic部分,weblogic之前的兩個反序列化漏洞不涉及T3協議之類的,只是涉及到了XMLDecoder
  • 為什麼Java中序列化的SerialVersionUID總是無意義的?
    一、serialVersionUID的作用通過java進行網絡之間的數據傳輸是不能直接把對象進行傳的,需要在發送端把數據切分,在接收端對切分的數據進行重裝。這種切分和重裝的方式就叫做序列化。:(1)發送端不指定serialVersionUID,編譯器為我們默認生成,並序列化保存在流中發送到接收端。
  • 教你徹底學會Java序列化和反序列化
    Java序列化是指把Java對象轉換為字節序列的過程,Java反序列化是指把字節序列恢復為Java對象的過程。反序列化:客戶端重文件,或者網絡中獲取到文件以後,在內存中重構對象。序列化:對象序列化的最重要的作用是傳遞和保存對象的時候,保證對象的完整性和可傳遞性。方便字節可以在網絡上傳輸以及保存在本地文件。
  • 什麼是序列化,怎麼序列化,為什麼序列化,反序列化會遇到什麼問題,如何解決.
    在處理這個問題之前,你要先知道一個問題,這個比較重要。這個Serializable接口,以及相關的東西,全部都在 Java io 裡面的。一、序列化和反序列化的概念 序列化:把對象轉換為字節序列的過程稱為對象的序列化。反序列化:把字節序列恢復為對象的過程稱為對象的反序列化。
  • 支付寶面試:什麼是序列化,怎麼序列化,為什麼序列化,反序列化會遇到什麼問題,如何解決?
    FlyPig 對象序列化成功!FlyPig 對象反序列化成功!雖然我也不知道這是幹啥的。你就給model bean 實現了個這個接口,你沒寫這個 serialVersionUID 那麼在後來擴展的時候,可能就會出現不認識舊數據的bug,那不就炸啦嗎。回憶一下上面的這個出錯情況。想想都可怕,這個鍋誰來背?
  • 今天聊聊 Java 序列化
    什麼是序列化和反序列化?Java序列化是指把Java對象轉換為字節序列的過程;Java反序列化是指把字節序列恢復為Java對象的過程;2. 為什麼要序列化?其實我們的對象不只是存儲在內存中,它還需要在傳輸網絡中進行傳輸,並且保存起來之後下次再加載出來,這時候就需要序列化技術。
  • Java 8u20反序列化漏洞分析
    STREAM_VERSION 這個是流的版本號,當前版本號是5。java.io.ObjectOutputStream#defaultWriteFields這裡可以總結下,在序列化對象時,先序列化該對象類的信息和該類的成員屬性,再序列化父類的類信息和成員屬性,然後序列化對象數據信息時,先序列化父類的數據信息,
  • java序列化反序列化中serialVersionUID到底有什麼用
    前言:在回答上面的問題之前,首先要知道什麼是序列化、反序列化、用途是什麼、實現的必要條件。序列化\反序列化:java序列化是指把java對象轉換為字節序列的過程,而java反序列化是指把字節序列恢復為java對象的過程。
  • Java 開發者最困惑的四件事
    這樣做就不需要在項目中添加新的*.java文件來定義頂層類了。特別是在頂層類只被使用一次時,這種方法非常好用。UI事件監聽器:在圖形界面的應用程式中,匿名類最常見的用途就是創建各種事件處理器。下面的代碼創建了一個類,實現java.lang.Runnable接口並重載了run()方法。然後我們實例化一個Thread對象,調用該對象的start()方法。
  • 明晰 | Java序列化與反序列化
    實戰含義序列化:對象寫入IO流中,實現對象變成文件。反序列化:把文件中的對象,進行恢復,恢復到內存中,實現反序列化。意義:序列化的最大的意義在於實現對象可以跨主機進行傳輸,這些對象可以實現保存在磁碟中,並且脫離程序而獨立存在。
  • 用Java創建對象的5種不同方式
    如果您將執行最後給出的程序,您將看到方法1、2、3使用構造函數創建對象,而4、5沒有調用構造函數創建對象。 1.使用新關鍵字這是創建對象的最常見和常規的方法,也是一種非常簡單的方法。通過使用此方法,我們可以調用要調用的任何構造函數(無參數的構造函數和參數化的)。