支付寶面試:什麼是序列化,怎麼序列化,為什麼序列化,反序列化會遇到什麼問題,如何解決?

2021-02-14 開發者技術前線
作用。為啥要實現這個 Serializable 接口,也就是為啥要序列化serialVersionUID 這個的值到底是在怎麼設置的,有什麼用。有的是1L,有的是一長串數字,迷惑ing。


我剛剛見到這個關鍵字 Serializable 的時候,就有如上的這麼些問題。


在處理這個問題之前,你要先知道一個問題,這個比較重要。這個Serializable接口,以及相關的東西,全部都在 Java io 裡面的。


一、序列化和反序列化的概念序列化:把對象轉換為字節序列的過程稱為對象的序列化。反序列化:把字節序列恢復為對象的過程稱為對象的反序列化。


上面是專業的解釋,現在來點通俗的解釋。在代碼運行的時候,我們可以看到很多的對象(debug過的都造吧),可以是一個,也可以是一類對象的集合,很多的對象數據,這些數據中,有些信息我們想讓他持久的保存起來,那麼這個序列化。


就是把內存裡面的這些對象給變成一連串的字節描述的過程。


常見的就是變成文件


我不序列化也可以保存文件啥的呀,有什麼影響呢?我也是這麼問的。


二、什麼情況下需要序列化當你想把的內存中的對象狀態保存到一個文件中或者資料庫中時候;


(老實說,上面的幾種,我可能就用過個存資料庫的)


三、如何實現序列化


實現Serializable接口即可


上面這些理論都比較簡單,下面實際代碼看看這個序列化到底能幹啥,以及會產生的bug問題。


先上對象代碼,FlyPig.java

package com.test;
import java.io.Serializable;
public class FlyPig implements Serializable {
private static String AGE = "269"; private String name; private String color; transient private String car; private String addTip;
public String getName() { return name; }
public void setName(String name) { this.name = name; }
public String getColor() { return color; }
public void setColor(String color) { this.color = color; }
public String getCar() { return car; }
public void setCar(String car) { this.car = car; }
public String getAddTip() { return addTip; }
public void setAddTip(String addTip) { this.addTip = addTip; }
@Override public String toString() { return "FlyPig{" + "name='" + name + '\'' + ", color='" + color + '\'' + ", car='" + car + '\'' + ", AGE='" + AGE+ '\'' + '}'; }}


注意下,注釋的代碼,是一會兒要各種情況下使用的。


下面就是main方法啦

package com.test;
import java.io.*;
public class SerializableTest { public static void main(String[] args) throws Exception { serializeFlyPig(); FlyPig flyPig = deserializeFlyPig(); System.out.println(flyPig.toString()); }
private static void serializeFlyPig() throws Exception { FlyPig flyPig = new FlyPig(); flyPig.setColor("black"); flyPig.setName("riemann"); flyPig.setName("audi"); ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(new File("d:/flypig.txt"))); oos.writeObject(flyPig); System.out.println("FlyPig 對象序列化成功!"); oos.close(); }
private static FlyPig deserializeFlyPig() throws Exception { ObjectInputStream ois = new ObjectInputStream(new FileInputStream(new File("d:/flypig.txt"))); FlyPig pig = (FlyPig) ois.readObject(); System.out.println("FlyPig 對象反序列化成功!"); return pig; }
}


對上面的2個操作文件流的類的簡單說明


ObjectOutputStream代表對象輸出流:


它的writeObject(Object obj)方法可對參數指定的obj對象進行序列化,把得到的字節序列寫到一個目標輸出流中。


ObjectInputStream代表對象輸入流:


它的readObject()方法從一個源輸入流中讀取字節序列,再把它們反序列化為一個對象,並將其返回。


具體怎麼看運行情況。


第一種:上來就這些代碼,不動,直接run,看效果。


實際運行結果,他會在 d:/flyPig.txt 生成個文件。

FlyPig 對象序列化成功!FlyPig 對象反序列化成功!FlyPig{name='audi', color='black', car='null', AGE='269'}


從運行結果上看:


transient 修飾的屬性,是不會被序列化的。我設置的奧迪四個圈的車不見啦,成了null。my god。

你先別著急說,這個靜態變量AGE也被序列化啦。這個得另測。


第二種:為了驗證這個靜態的屬性能不能被序列化和反序列化,可如下操作。

public class SerializableTest {    public static void main(String[] args) throws Exception {        serializeFlyPig();    }

這個完了之後,意思也就是說,你先序列化個對象到文件了。這個對象是帶靜態變量的static。


現在修改flyPig類裡面的AGE的值,給改成26吧。


然後,看下圖裡面的運行代碼和執行結果。

public class SerializableTest {    public static void main(String[] args) throws Exception {        FlyPig flyPig = deserializeFlyPig();        System.out.println(flyPig.toString());    }


輸出結果:

FlyPig 對象反序列化成功!FlyPig{name='audi', color='black', car='null', AGE='26'}


可以看到,剛剛序列化的269,沒有讀出來。而是剛剛修改的26,如果可以的話,應該是覆蓋這個26,是269才對。


所以,得出結論,這個靜態static的屬性,他不序列化。


第三種:示範這個 serialVersionUID 的作用和用法


最暴力的改法,直接把model的類實現的這個接口去掉。然後執行後面的序列化和反序列化的方法。直接報錯。


拋異常:NotSerializableException


這個太暴力啦,不推薦這麼幹。


然後就是,還和上面的操作差不多,先是單獨執行序列化方法。生成文件。然後,打開屬性 addTip ,這之後,再次執行反序列化方法,看現象。


拋異常:InvalidClassException 詳情如下。

InvalidClassException: com.lxk.model.FlyPig;local class incompatible:stream classdesc serialVersionUID = 7230772301104163489,local class serialVersionUID = -2293195637094031536
Exception in thread "main" java.io.InvalidClassException: com.test.FlyPig; local class incompatible: stream classdesc serialVersionUID = 7230772301104163489, local class serialVersionUID = -2293195637094031536 at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:699) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1885) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1751) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2042) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:431) at com.test.SerializableTest.deserializeFlyPig(SerializableTest.java:33) at com.test.SerializableTest.main(SerializableTest.java:8)


解釋一下:


因為我再model裡面是沒有明確的給這個 serialVersionUID 賦值,但是,Java會自動的給我賦值的,這個值跟這個model的屬性相關計算出來的。


我保存的時候,也就是我序列化的時候,那時候還沒有這個addTip屬性呢,所以,自動生成的serialVersionUID 這個值,在我反序列化的時候Java自動生成的這個serialVersionUID值是不同的,他就拋異常啦。


(你還可以反過來,帶ID去序列化,然後,沒ID去反序列化。也是同樣的問題。)


再來一次,就是先序列化,這個時候,把 private static final long serialVersionUID = 1L; 這行代碼的注釋打開。那個addTip屬性先注釋掉,序列化之後,再把這個屬性打開,再反序列化。看看什麼情況。

FlyPig 對象反序列化成功!FlyPig{name='audi', color='black', car='null', AGE='26', addTip='null'}


這個時候,代碼執行OK,一切正常。good。序列化的時候,是沒的那個屬性的,在發序列化的時候,對應的model多了個屬性,但是,反序列化執行OK,沒出異常。


這個現象對我們有什麼意義:


老鐵,這個意義比較大,首先,你要是不知道這個序列化是幹啥的,萬一他真的如開頭所講的那樣存資料庫啦,socket傳輸啦,rmi傳輸啦。雖然我也不知道這是幹啥的。你就給model bean 實現了個這個接口,你沒寫這個 serialVersionUID 那麼在後來擴展的時候,可能就會出現不認識舊數據的bug,那不就炸啦嗎。回憶一下上面的這個出錯情況。想想都可怕,這個鍋誰來背?


所以,有這麼個理論,就是在實現這個Serializable 接口的時候,一定要給這個 serialVersionUID 賦值,就是這麼個問題。


這也就解釋了,我們剛剛開始編碼的時候,實現了這個接口之後,為啥IDEA編輯器要黃色警告,需要添加個這個ID的值。而且還是一長串你都不知道怎麼來的數字。


下面解釋這個 serialVersionUID 的值到底怎麼設置才OK。


首先,你可以不用自己去賦值,Java會給你賦值,但是,這個就會出現上面的bug,很不安全,所以,還得自己手動的來。


那麼,我該怎麼賦值,eclipse可能會自動給你賦值個一長串數字。這個是沒必要的。


可以簡單的賦值個 1L,這就可以啦。。這樣可以確保代碼一致時反序列化成功。

不同的serialVersionUID的值,會影響到反序列化,也就是數據的讀取,你寫1L,注意L大些。計算機是不區分大小寫的,但是,作為觀眾的我們,是要區分1和L的l,所以說,這個值,閒的沒事不要亂動,不然一個版本升級,舊數據就不兼容了,你還不知道問題在哪。。。


第四種:當屬性是對象的時候,沒實現序列化接口


當屬性是對象的時候,如果這個對象,沒實現序列化接口,那麼上面的方法在序列化的時候就在執行oos.writeObject(flyPig)時候,報錯了「Exception in thread 「main」 java.io.NotSerializableException: com.lxk.model.Bird」。然後給剛剛的屬性的對象加上實現序列化的接口之後,上面的測試就正常通過了。


下面是摘自 jdk api 文檔裡面關於接口 Serializable 的描述


類通過實現 java.io.Serializable 接口以啟用其序列化功能。未實現此接口的類將無法使其任何狀態序列化或反序列化。可序列化類的所有子類型本身都是可序列化的。因為實現接口也是間接的等同於繼承。序列化接口沒有方法或欄位,僅用於標識可序列化的語義。


# 關於 serialVersionUID 的描述


序列化運行時使用一個稱為 serialVersionUID 的版本號與每個可序列化類相關聯,該序列號在反序列化過程中用於驗證序列化對象的發送者和接收者是否為該對象加載了與序列化兼容的類。


如果接收者加載的該對象的類的 serialVersionUID 與對應的發送者的類的版本號不同,則反序列化將會導致 InvalidClassException。可序列化類可以通過聲明名為 「serialVersionUID」 的欄位(該欄位必須是靜態 (static)、最終 (final) 的 long 型欄位)顯式聲明其自己的 serialVersionUID:


如果可序列化類未顯式聲明 serialVersionUID,則序列化運行時將基於該類的各個方面計算該類的默認 serialVersionUID 值,如「Java™ 對象序列化規範」中所述。


不過,強烈建議 所有可序列化類都顯式聲明 serialVersionUID 值,原因是計算默認的 serialVersionUID 對類的詳細信息具有較高的敏感性,根據編譯器實現的不同可能千差萬別,這樣在反序列化過程中可能會導致意外的 InvalidClassException。


因此,為保證 serialVersionUID 值跨不同 java 編譯器實現的一致性,序列化類必須聲明一個明確的 serialVersionUID 值。還強烈建議使用 private 修飾符顯示聲明 serialVersionUID(如果可能),原因是這種聲明僅應用於直接聲明類 – serialVersionUID 欄位作為繼承成員沒有用處。數組類不能聲明一個明確的 serialVersionUID,因此它們總是具有默認的計算值,但是數組類沒有匹配 serialVersionUID 值的要求。


最後分享一份來自亞馬遜工程師寫的 Google 面試指南,目前在GitHub上火了


一位從1997年就入行的Web工程師,立志要成為Google軟體工程師,3年前寫下了一篇超完整學習和面試教程,以此作為自己的奮鬥計劃。

這位名叫John Washam的工程師,換了好幾份工作,最後卻陰差陽錯在2017年成為了亞馬遜AWS的技術專家。

但這並不妨礙他的教程成為熱門,在GitHub上線以來,已收穫近10萬星的好評。

而且最近這篇教程已經完成了中文翻譯,就算你沒有去Google面試的機會,也可以用它來好好充實一下自己。

為何寫這篇教程

作者Washam本人並非計算機學位,但在兒時就已經展現出對計算機的濃厚興趣,從事的工作是關於web程序的構建、伺服器的構建。

作為一名非專業人士轉行,Washam已經算是相當成功。然而,他還是想去Google工作,真正地去理解計算機系統、算法效率、數據結構性能、低級別程式語言及其工作原理。

可對這些知識都不了解的他,怎麼會被Google應聘呢?

於是他在網上收集了各類計算機專業知識,以及進入谷歌工作的員工分享的資源,並系統地整理了這些資料。

Washam強調,想去Google工作首先不要妄自菲薄。Google的工程師都是才智過人的。但是,就算是工作在 Google 的他們,仍然會因為覺得自己不夠聰明而感到一種不安。

學習資源

接下來就跟著Washam的腳步去學習。

首先要做的就是選擇一門語言,在Google一般是C++、Java、Python,有時也會用到JavaScript、Ruby。背後還有一些如SQL、HTML等技術沒有列出。

接著開始學習計算機硬體知識:

然後補充計算機專業的基礎數學知識,如算法複雜度 / Big-O / 漸進分析法、數據結構、樹、排序、圖論。

此外還有遞歸、動態規劃、組合與概率、NP&NP-完全和近似算法、緩存、線程與進程、系統設計、可伸縮性、數據處理。

看到這麼多知識點,你會不會覺得有點懵呢?Washam告訴你一點小技巧。

因為你不可能一遍就記住所有知識點。所以需要把要回顧的知識點做成抽認卡(flashcard):正常的及帶有代碼的,類似於背單詞。

每種卡都會有不同的格式設計。項目主頁中就有抽認卡的原始碼,可以根據自己的學習特點去製作。

Washam還留有一組 ASCII 碼錶、OSI 堆棧、Big-O 記號及更多的小抄紙,以便在空餘的時候可以學習。每編程半個小時就要休息一下,並去回顧你的抽認卡。

當然,論文的閱讀也是必不可少的,尤其是谷歌曾經發表的一些基礎技術論文。

書籍則推薦一些關於算法和C++編程之類的。

去Google面試需要注意什麼

面試的第一步當然是要有一份好的簡歷,這樣才能為你爭取到寶貴的面試機會。知名科技博主Steve Yagge給出了10個貼士,幫你做出一份還不錯的簡歷。

這位Steve曾經在亞馬遜、Google都工作過,Washam的這個項目就大量地引用了他的技術博客內容。

在面試時,你可能會遇到這20個問題,每個問題準備 2-3 種回答。準備點故事,而不要只是擺一些你完成的事情的數據。

面試官在也會問你還有哪些問題,不要說自己沒有什麼要問題,可以試試問一些此類問題:

當然,進入Google也不意味著結束,你還要新的學習過程。

Washam還有一份附加內容,包括Emacs和Vim、Unix命令行工具、密碼學。這些內容雖然不會直接用到,但是會大大提高你的效率。

最後,在這樣一個特殊的時期,好好給自己充個電。祝大家在新的一年裡都能面試成功!

傳送門

資源地址。已經整理完成:

掃下面二維碼回復」Google面試手冊「 獲取公開地址

相關焦點

  • 什麼是序列化,怎麼序列化,為什麼序列化,反序列化會遇到什麼問題,如何解決.
    遇到這個 Java Serializable 序列化這個接口,我們可能會有如下的問題作用。為啥要實現這個 Serializable 接口,也就是為啥要序列化serialVersionUID 這個的值到底是在怎麼設置的,有什麼用。有的是1L,有的是一長串數字,迷惑ing。
  • java反序列化——XMLDecoder反序列化漏洞
    前言最近學習java反序列化學到了weblogic部分,weblogic之前的兩個反序列化漏洞不涉及T3協議之類的,只是涉及到了XMLDecoder
  • 全方位解析Java序列化
    那麼,它到底有什麼用呢?本文從以下幾個角度來解析序列這一塊知識點~什麼是 Java 序列化?為什麼需要序列化?序列化用途Java 序列化常用 API序列化的使用序列化底層日常開發序列化的注意點序列化常見面試題一、什麼是Java序列化?
  • 詳解JAVA序列化
    ,但是我們仔細觀察代碼,發現編譯器在class申明那裡報了一個黃色的波浪線,這個是為什麼呢?原來jdk推薦我們實現序列化接口後,讓我們再去生成一個固定的序列化id--serialVerionUID,而這個id的作用是用來作為傳輸/讀取雙端進程的版本是否一致的,防止我們因為版本不一致導致的序列化失敗,那麼serialVerionUID取值應該如何取值?又或者serialVerionUID不一致的時候,是不是序列化會失敗呢?
  • java序列化反序列化中serialVersionUID到底有什麼用
    前言:在回答上面的問題之前,首先要知道什麼是序列化、反序列化、用途是什麼、實現的必要條件。實現反序列化。實現序列化、反序列化這面這些希望大家了解,面試時會被問到的!有人會疑問為什麼我沒有定義serialVersionUID也會成功。
  • Java程式設計師必備:序列化全方位解析
    那麼,它到底有什麼用呢?本文從以下幾個角度來解析序列這一塊知識點~什麼是Java序列化?為什麼需要序列化?序列化用途Java序列化常用API序列化的使用序列化底層日常開發序列化的注意點序列化常見面試題一、什麼是Java序列化?
  • php反序列化
    一、    什麼是序列化,什麼是反序列化程式語言有很多數據類型,比如常見的字符串,整數,數組
  • PHP反序列化
    雲智信安、雲窟實驗室擁有對此文章的修改和最終解釋函數介紹serialize()函數該函數用於將實例化的對象序列化,或者序列化數組序列化對象<?unserialize()函數從名字來感覺,一個序列化一個反序列化,很輕易的就能知道unserialize()函數的用處。沒錯,反序列化函數就是用來將序列化後的字符串再轉換為對象或數組。反序列化為對象<?
  • 文庫 | 反序列化漏洞匯總
    這意味著即使網站自身的功能未直接與惡意對象進行交互,反序列化過程本身也可以發起攻擊。因此,其邏輯基於強類型語言的網站也可能容易受到這些技術的攻擊。漏洞成因會出現不安全的反序列化,是因為人們普遍缺乏對用戶可控制數據進行反序列化的危險程度的了解。理想情況下,絕對不應該對用戶輸入數據進行反序列化。
  • 淺談Python Pickle反序列化
    在目前(我)已知的反序列化漏洞中,有PHP、Python以及Java語言的反序列化漏洞,且漏洞利用的方式多種多樣。這次就先學習一下Python Pickle反序列化漏洞。基礎知識什麼是反序列化序列化說白了就是將對象轉換成字節流,便於保存在內存、文件或者是資料庫中;反序列化則是序列化的逆過程,將字節流還原成對象。
  • PHP反序列化筆記
    \x00 + 類名 + \x00 + 變量名 ‐> 反序列化為private變量\x00 + * + \x00 + 變量名 ‐> 反序列化為protected變量<?file=Tzo1OiJTb0Z1biI6Mjp7czo3OiIAKgBmaWxlIjtzOjg6ImZsYWcucGhwIjt9PHP Session 反序列化PHP的3種序列化處理器PHP 內置了多種處理器用於存取$_SESSION數據時會對數據進行序列化和反序列化,常用的有以下三種,對應三種不同的處理格式
  • PHP反序列化漏洞說明
    序列化可以將對象轉換成字符串,但僅保留對象裡的成員變量,不保留函數方法。PHP序列化的函數為serialize,反序列化的函數為unserialize.舉個慄子:<?反序列化反序列化就是序列化的逆過程,即對於將對象進行序列化後的字符串,還原其成員變量的過程。接上述慄子:<?
  • Java安全之反序列化漏洞分析
    序列化與反序列化對於Java程式設計師來說,應該不算陌生了,序列化與反序列化簡單來說就是Java對象與數據之間的相互轉化。那麼對於完全面向對象的Java語言來說為什麼要有序列化機制?實質上,序列化機制並不只局限於Java語言,序列化的本質是內存對象到數據流的一種轉換,我們知道內存中的東西不具備持久性,但有些場景卻需要將對象持久化保存或傳輸。
  • 【Java拾遺】不可不知的 Java 序列化
    而序列化功能又正好對應這兩點,一個是用來傳輸信息,另一個是用來持久化。序列化用來傳輸的作用,前文已經說過了,關於持久化的作用,也很好理解。首先明確一個問題,序列化的是什麼內容?通常是內存中的內容。而內存有一個特點我們都知道,那就是一重啟就沒了。對於部分內容,我們想在重啟後還存在(比如說 tomcat 中 session 裡面的對象),要怎麼辦呢?
  • 今天聊聊 Java 序列化
    在開發過程中經常會對實體進行序列化,但其實我們只是在「只知其然,不知其所以然」的狀態,很多時候會有這些問題:1.
  • 原理+實踐掌握(PHP反序列化和Session反序列化)
    本文轉自先知社區:https://xz.aliyun.com/t/7366前言:最近又接觸了幾道php反序列化的題目,覺得對反序列化的理解又加深了一點,這次就在之前的學習的基礎上進行補充。#a#重點:當反序列化字符串中,表示屬性個數的值大於真實屬性個數時,會繞過 __wakeup 函數的執行具體實例:百度杯——Hash前面的步驟就不再敘述,主要是為了學習反序列化的一些知識
  • Java反序列化漏洞從理解到實踐
    這也是為什麼我們在學到知識後要付諸實踐的原因所在。在本文中,我們會深入分析大家非常熟悉的Java發序列化漏洞。對我們而言,最好的實踐就是真正理解手頭掌握的知識,並可以根據實際需要加以改進利用。本文的主要內容包括以下兩方面:1. 利用某個反序列化漏洞。2. 自己手動創建利用載荷。
  • 常見的 Web 漏洞 —— 反序列化漏洞
    在身份驗證,文件讀寫,數據傳輸等功能處,未對反序列化接口做訪問控制,未對序列化數據做加密和籤名,加密密鑰使用硬編碼(如Shiro 1.2.4),使用不安全的反序列化框架庫(如Fastjson 1.2.24)或函數的情況下,由於序列化數據可被用戶控制,攻擊者可以精心構造惡意的序列化數據(執行特定代碼或命令的數據)傳遞給應用程式,在應用程式反序列化對象時執行攻擊者構造的惡意代碼,達到攻擊者的目的
  • php 序列化與反序列化
    php反序列化的問題,打算這篇文章寫一下php反序列化。 >對於__wakeup方法的繞過可以利用對象屬性個數的值大於真實的屬性個數時就會跳過的特性,CVE-2016-7124;O:與O:+都可代表類,同理其他類型的都可以這麼表示,可以繞過preg_ macth的檢查,繞過substr開頭為O:,可以將序列化數據放入數組中,反序列化時會執行數組中的內容。
  • JAVA反序列化漏洞實例解析
    今天i春秋通過一期《JAVA反序列化學習-基礎篇》公開課,帶大家快速了解預期效果、JAVA編程基礎、漏洞基礎、靶項目搭建四個模塊內容,感興趣的小夥伴速來學習吧!感興趣的小夥伴,識別二維碼立即看課PS:Web端看課體驗會更佳,看課地址:https://www.ichunqiu.com/open/68626暱稱:bigbig1、國內大廠安全研究員;2、職業紅隊;