嚴永紅 上海祥佑數碼科技有限公司 研發部經理
隨著技術的發展，嵌入式系統已變得越來越複雜。這同時體現在軟硬體設計兩個方面。在硬體上，一方面是時鐘頻率越來越高，另一方面是在同一系統中往往集成了多個CPU內核，有同構的，也有異構的。在軟體上，各種複雜的作業系統也都被用到嵌入式系統中，而且這些複雜的作業系統往往兼具了傳統實時作業系統和桌面系統的功能和優點。所有這一切，都使嵌入式系統的性能大大提高，但同時也對開發過程提出了嚴峻的挑戰。特別是在調試和測試方面。
在這樣一個複雜的系統中，一個錯誤的出現往往牽扯到很多方面。一個簡單的經常出現的錯誤可以在調試器中很容易被找到並修正，只要能順序地跟蹤代碼。而一個難以重現的錯誤往往佔用我們大量時間去尋找產生錯誤的源頭。這樣的錯誤往往在用調試器調試時不會出現。我們只能一遍又一遍地在代碼中加入列印語句來收集錯誤出現的一些蛛絲馬跡，然後再猜測錯誤的源頭。這種方法往往只能達到事倍功半的效果，而且隨著軟硬體複雜程度的增加，消耗在這一過程中的實踐會成倍的增加。
今天，隨著調試除錯技術的發展，新的技術不斷的引入，我們已經能夠追蹤和控制這種複雜的錯誤。採用新技術的調試器可以讓系統在發生錯誤時停下，並從錯誤現象產生之處往回單步或直接運行到錯誤的源頭。這樣不但能使你抓住這個錯誤，而且能重現整個產生錯誤的各個步驟，讓一個複雜的錯誤變得簡單、容易重現。例如Green Hills研製的新技術Time Machine。它集成了實時跟蹤、反向追蹤以及多核技術。
實時跟蹤利用CPU內部的一個埠，把CPU內部的動態信息傳送出來。這些信息包括執行過的指令，這些指令執行時所訪問的內存空間地址，以及所有這些動作的時間戳。所有這些信息都是在CPU全速運行時送出來的，所以這是的信息都是和正常使用的情況相一致的。現在很多CPU都帶有這樣的功能，ARM7, ARM9, ARM11, POWERPC-4XX, POWERPC-54XX, ColdFire等等。
為了接收這些信息，需要一個設備，叫Trace Probe。現在的Trace Probe可以存儲高達千兆字節的信息。在Trace分析軟體的幫助下，我們可以通過這些大量的數據重複系統的功能，重構時間序列，定位錯誤和無效代碼。在這之前，一般是採用硬體邏輯分析儀來做這樣的工作，但邏輯分析儀只能採集到外部的地址和數據總線，並不能看到CPU內部的信息，例如緩存的動作。
Green Hills提供的高級的跟蹤分析工具還能在更高的層次上分析整個系統。例如在RTOS的層面上，Trace工具可以幫助用戶理解作業系統中各種事件和資源之間複雜的交互。例如，提供任務切換和中斷延時的精確測量，還能讓用戶檢查和分析在系統範圍內，事件和任務之間交互。各種事件如任務切換，異常，中斷，系統調用，用戶事件，人物狀態改變等等都可以用圖示化的方式在時間軸上圖示所示。
反向追蹤是建立在Trace基礎上的一項新技術。當Trace分析工具掌握了整個指令執行的順序和當時的內存映像，這些信息可以用來作為調試的基礎，而不用再真正連接到目標板上。調試器把原始的指令翻譯為原始碼行，把內存的值轉換為變量，這樣可以使你很容易看到每一個時間點上程序的狀態，當然你也可以讓產生錯誤的過程重新按原來的路徑走一遍。這時候，調試器不但可以讓你向前單步更新系統狀態，也可以反向復原系統，你甚至可以設置斷點和觀察點，讓系統狀態復原到斷點或觀察點為止。
反向復原使你可以更快地找到發生錯誤的源頭，而不僅僅知道發生錯誤現象的地方。你可以檢視各種可能的解決方法。因為你有完整的Trace數據，你可以很容易地向前或向後調整程序的狀態。這是你很快找到那些用傳統調試技術很難找到的錯誤，因為傳統調試技術要求你在調試器中重現錯誤，這是你必須重啟系統，並經過一番複雜的操作才能達到錯誤點。這還算是好運的。有些錯誤並不是經常出現，而是和一些偶然的因素相關，這樣你在重現錯誤這個階段就要耗費很多的時間。而且在調試過程中，一旦你不小心錯過了這個錯誤，一切都得重新開始。這樣的噩夢，每個工程師應該都碰到過。但是有了TimeMachine的追蹤和反向追蹤技術，一切變得不一樣了。你只要追蹤到一次錯誤，你就可以充分利用追蹤到的數據，重複跟蹤指導錯誤找到並修正為止。
一個複雜的系統往往會採用多核技術，可能是跑在同樣主頻上的同種CPU，也可能是跑在不同主頻上的不同的CPU。不論是何種多核架構，CPU之間的同步和通信都對於軟體設計來講是一個考驗。如果軟體存在瑕疵，一個細微的時延就可能帶來巨大的結果差異。用傳統的調試技術來跟蹤這樣的問題是極其困難的，因為重現這樣的問題基本上是不可能的。但是，如果你可以把每個處理器上的實時數據都記錄下來的話，你就可以按順序恢復每一個處理器的狀態並找出處理器之間的交互關係。
Green Hills的TimeMachine套件集成了一系列的調試和分析工具，用來幫助工程師發現錯誤、進行測試和優化程序。以可視化的方法呈現整個程序在時間上的各種行為。這些工具包括TimeMachine Debugger、PathAnalyzer和Multi-Profile等等。PathAnalyzer以可視化的方法呈現了程序的堆棧在時間上的變化，這樣可以使你很容易看到程序在那個地方花了較多的時間。而且，你還可以很快看出程序各部分之間的交互關係。
PathAnalyzer
TimeMachine的基礎是要有記錄下來的大量實時跟蹤數據，但還有很大一部分的CPU是沒有硬體跟蹤功能的。怎麼辦?對於這樣的CPU，Green Hills給出了兩種解決辦法，一種叫In-Memory，一種叫TraceEdge。若要使用這兩種辦法，你需要使用Green Hills的編譯工具。一些額外的代碼會被插入到程序中，而這些額外代碼所產生的信息可以被Time Machine用來重構整個程序的流程。In-Memory TimeMachine 和TraceEdge 與傳統的代碼植入方法相比有明顯的優勢。第一，代碼植入是在Link的時候而不是在編譯時，這樣使用起來方便而且省時。第二，TraceEdge 一般僅僅插入一條指令，而In-Memory TimeMachine也只插入一條指令去調用一個很小的庫函數。這樣在空間和時間上都不會對目標程序造成大的影響。第三，使用Green Hills先進的Link技術，可以使需要植入代碼的程序塊的數目最小化，而不是每一個程序塊都要植入。因為有些程序塊會有相關性。In-Memory TimeMachine 要使用一塊目標系統的內存在存放數據，當數據填滿後就被JTAG Probe或Debug Agent 送回PC。而TraceEdge不佔用目標系統內存。而且有三種可選的配置，TraceEdge Bus, TraceEdge-PCI, TraceEdge-PMC。用TraceEdge Bus 植入的程序會向系統的一段無緩存的地址空間寫信息，這一段地址要有一個獨立的CS。Trace Probe會監視這一段地址空間，並把抓到的信息存到保存起來。而TraceEdge-PCI 和TraceEdge-PMC 分別需要一塊 TraceEdge PCI卡和PMC卡插到目標系統的PCI或PMC槽中，而Trace Probe直接和卡相連。