新的超解析度方法無需不斷放大即可顯示出精美的細節

左和右顯示樣本上相同區域的偽彩色電子顯微鏡圖像。但是，右圖是使用Yu Ding博士的新圖像處理方法超級解析的。圖片來源：德克薩斯農工大學工程學院

自1930年代初以來，電子顯微鏡為空前的小世界提供了前所未有的途徑，揭示了複雜的細節，而這些細節用傳統的光學顯微鏡是無法分辨的。但是，為了在較大的樣品區域上實現高解析度，需要提高電子束的能量，這既昂貴又不利於觀察中的樣品。

德克薩斯州A＆M大學的研究人員可能已經找到了一種新的方法，可以改善低解析度電子顯微照片的質量，而又不會損害樣品的完整性。通過在來自相同樣本但物理解析度不同的成對圖像上訓練深度神經網絡（一種人工智慧算法），他們發現可以進一步增強低解析度圖像中的細節。

「通常，高能電子束會在需要更高圖像解析度的位置穿過樣品。但是，通過我們的圖像處理技術，我們可以僅使用一些較小尺寸的高解析度圖像來超分辨整個圖像」，Wm Michael Barnes '64工業和系統工程系的Yu Ding博士，Mike和Sugar Barnes教授說。「這種方法的破壞性較小，因為不需要用高能電子束掃描樣品的大部分。」

研究人員於6月在電氣與電子工程師協會的圖像處理事務中發表了他們的圖像處理技術。

與光學顯微鏡不同，在光學顯微鏡中，光子或一小束光被用來照亮物體，而在電子顯微鏡中，則利用電子束。然後收集從物體反射或穿過物體的電子，以形成圖像，稱為電子顯微照片。

因此，電子束的能量在確定圖像的解析度中起著至關重要的作用。即，能量電子越高，解析度越好。但是，損壞標本的風險也增加了，這類似於可見光的高能親戚紫外線如何損壞敏感材料（如皮膚）。

丁說：「科學家總是有兩難境地。」 「為了保持標本的完整性，很少使用高能電子束。但是，如果不使用高能束，則高解析度或以較小尺度觀察的能力將受到限制。」

但是，有些方法可以使用低解析度圖像獲得高解析度或超解析度。一種方法涉及使用基本上相同區域的多個低解析度圖像。另一種方法學習小圖像塊之間的常見模式，並使用無關的高解析度圖像來增強現有的低解析度圖像。

這些方法幾乎只使用自然光圖像而不是電子顯微照片。因此，由於光學和電子顯微鏡的基本物理原理是不同的，因此它們對於超分辨電子顯微照片會產生問題，Ding解釋說。

研究人員轉向給定樣品的低解析度和高解析度電子顯微鏡對。儘管這些類型的對在公共圖像資料庫中不是很常見，但在材料科學研究和醫學成像中卻相對常見。

對於他們的實驗，丁和他的團隊首先拍攝了一個低解析度的標本圖像，然後將大約25％的觀察區域置於高能電子束下，以獲取高解析度的圖像。研究人員指出，高解析度和低解析度圖像對中的信息緊密相關。他們說，即使可用數據集可能很小，也可以利用此屬性。

為了進行分析，丁和他的團隊使用了22對注入納米粒子的材料的圖像。然後，他們將高解析度圖像及其在低解析度圖像中的等效區域分成三乘三的子圖像。接下來，每個子圖像對用於「自我訓練」深度神經網絡。訓練後，他們的算法在識別圖像特徵（例如邊緣）方面變得很熟悉。

當他們在沒有高解析度對應物的低解析度圖像的新位置上測試經過訓練的深度神經網絡時，他們發現他們的算法可以將難以辨別的特徵最多增強50％。

儘管他們的圖像處理技術顯示出很大的希望，但丁指出，它仍然需要大量的計算能力。在不久的將來，他的團隊將指導他們的工作，以開發速度更快，並且可以由較少的計算硬體支持的算法。

丁說：「我們的配對圖像處理技術揭示了以前無法分辨的低解析度圖像中的細節。」 「我們都熟悉智慧型手機上的魔杖功能。它使圖像更清晰。從長遠來看，我們的目標是為研究界提供一種類似的便捷工具來增強電子顯微照片。」