機器學習的出現推動了圖像傳感器的創新

2020-12-03 電子發燒友

機器學習的出現推動了圖像傳感器的創新

安森美半導體 發表於 2020-12-01 15:38:22

視覺傳感器對於數據採集正變得越來越重要。

最初的簡單圖像傳感器為攝影應用開發，如今的圖像傳感器用於向人工智慧(AI)和機器學習系統提供高質量的輸入。

這些系統已成為利用新的和創新的處理器架構的精密決策實體。

邊緣數據採集

儘管邊緣數據採集器件本質上主要是模擬的，但是圖像傳感器的獨特之處在於：

它們的輸出在連續的動態光學輸入上進行時分復用

它們需要有能力在輸出時保持轉換後的光輸入的完整性來提供圖像輸出

提供的圖像輸出具有最佳質量，支持重要的處理

這些要求和隨後的結果可能會對視覺系統做出的決策的準確性產生重大影響，而這一結果定義了整個自動化系統的安全性、可靠性和收益率。

基於機器學習的視覺系統

機器學習的出現推動了圖像傳感器的創新，其性能水平得到了提高，可以支持各種應用。視覺輸入是高保真數據–您所看到的就是輸入到系統中的信息。

如今，AI算法能夠檢測、識別和分類這些輸入並生成準確的決策輸出。這些輸出的可靠性取決於輸入的質量及其算法的準確性，以及處理這些算法的神經網絡。

基於機器學習和深度學習的視覺系統主要使用卷積神經網絡(CNN)算法來創建功能強大的自動識別專家系統。

在這些系統中，增加CNN層的深度會提高推理的準確性，但是更多的層也會對這些網絡在訓練階段學習所花費的時間以及系統完成推斷的延遲產生不利影響 (不要忘了過擬合也會影響結果和功耗)。

同樣，高質量的圖像輸出使視覺系統能夠攜帶最少的CNN圖層集，但還能產生高度準確的推斷。在以低成本和小尺寸獲得可快速部署的智能系統的同時，還實現高性能和低功耗，這帶來了顯著的好處。

典型的卷積神經網絡(CNN)

深度學習算法如CNN資源極其密集。如今，有各種處理引擎，包括CPU、GPU、FPGA、專用加速器和最新的微控制器。

設計基於CNN的視覺系統還需要強大的優化庫支持。涵蓋從專有(如MVTec的HALCON＆MERLIC，MATLAB的深度學習工具箱或Cognex的ViDi)到標準工具(如OpenCV)以及軟硬體的整合功能。

這些選擇直接關係到產品的上市時間。資源密集型處理器通常需要更大的外形尺寸，如散熱器的功耗附加組件，或者僅需要較大的空閒空間以通過對流來耗散功率。

提供高質量輸出的圖像傳感器可無需昂貴的處理器、昂貴的第三方庫和/或新庫的創建需求，以及最佳地結合硬體和軟體資源所需的昂貴工具。

換句話說，這些傳感器極大地降低了總擁有成本(TCO)，並增加了在各種應用和市場中的採用率。

圖像傳感器輸入到機器學習系統

對傳遞到CNN層的圖像傳感器輸出有相當高的要求，包括：

全局快門可以捕獲場景並保留場景以最小化運動偽影

高全局快門效率，以確保每個像素中保留的場景不會被該像素光路之外的光輸入破壞

足夠大的像素尺寸，即使在充滿挑戰的光線條件下也能支持好的圖像質量

圖像輸出中的總噪聲低，以確保高完整性輸入

在運行和待機狀態下低功耗，應對以對流傳熱為常態的攝像系統的典型挑戰。

這些特性取決於像素架構和相關電路徑的設計。CMOS圖像傳感器的結構和設計如AR0234CS滿足這些需求，非常適合基於CNN的視覺系統。

高速接口賦能快速系統

像素的質量可能極佳，且經過精心設計以生成高質量的圖像，但是由於帶寬限制，整個視覺系統可能仍會出現性能不佳的情況。當今的傳感器都配備了SerDes接口，但是這些接口的流量數據速率會影響整個系統的質量。

高幀速率要求這些接口以高速傳輸圖像數據。同樣，傳感器必須為每幀輸出(fps/mW)消耗低功耗。這些特性支持將系統定時和功率預算轉移到最需要的地方-處理引擎-可以合併最新的神經網絡和複雜算法。

這使圖像處理器能夠提取圖像數據中的細微差別，這些差別可能是應用的重要內容。視覺系統開發人員因此可以使其系統方案在競爭中脫穎而出。

AR0234CS 230萬像素CMOS圖像傳感器

AR0234CS 230萬像素CMOS圖像傳感器具備高數據速率MIPI接口，非常適合基於AI的視覺系統。加上它高幀速率、低功耗全幀速率和全解析度，視覺系統開發人員可以將大部分時間和功耗預算分配給處理器。

責任編輯：lq

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 利用CMOS圖像傳感器和機器學習的超緊湊型粒徑分析儀
  • CMOS圖像傳感器推動機器視覺技術系統軟體的發展
    機器視覺技術的定義源於智慧機器人行業，美國機器人行業協會將其定義為：「根據光電設備和非接觸式傳感器，自動接收並求解真實物體的圖像，從而獲得 所需的信息內容或用於控制智慧機器人健身運動的設備。」機器視覺技術往往以詳細的系統軟體形式出現，可分為電子光學成像、光學鏡頭、圖像處理、IO、信息顯示五大控制模塊。
  • 低成本CMOS圖像傳感器推動醫學技術向前發展
    醫學技術一直是CCD(電荷耦合設備)圖像傳感器的重要應用領域之一。現在，CMOS傳感器已進入高速發展時期。究其原因，首先，CMOS圖像質量可與CCS圖像相媲美。其次，利用標準半導體製造工藝，CMOS傳感器在價格方面佔據很大優勢。第三，CMOS傳感器在電路集成方面的無限潛力可以減少輸入輸出接口數量。
  • 利用機器學習管理車輛傳感器退化
    打開APP 利用機器學習管理車輛傳感器退化 EEWORLD 發表於 2020-11-29 10:29:00 今天的車輛使用大約50個位置傳感器，因此從霍爾效應傳感器到感應式位置傳感器的轉變在管理汽車傳感器退化方面至關重要。除了選擇材料不易退化的傳感器之外，在有效管理車輛中的傳感器退化方面，還有什麼可以考慮的？Smith認為機器學習是前進的方向。 Smith表示，機器學習模型可以在汽車傳感器出現故障之前實現模式識別。
  • 新型有機圖像傳感器:有望取代矽基圖像傳感器!
    導讀近日，韓國大邱慶北科學技術院的研究團隊採用有機半導體與透明電極之間的一種黏結技術，開發出具有高色彩選擇的有機圖像傳感器，無需彩色濾光片就可以捕捉鮮明的色彩。背景圖像傳感器，是攝像頭、閉路電視和自動駕駛汽車中的關鍵記錄元件。
  • 圖像傳感器
    這些特色決定了它可以廣泛用於自動控制和自動測量，尤其是適用於圖像識別技術中。本文從分析固態圖像傳感器的原理出發，著重對它在測控及圖像識別領域進行分析和探討。這樣的輸出電信號與其相應的像素的位置對應，無疑是更準確些，且再生圖像失真度極小。顯然，光導攝像管等圖像傳感器，由於掃描電子束偏轉畸變或聚焦變化等原因所引起的再生圖像的失真，往往是很難避免的。失真度極小的固態圖像傳感器，非常適合測試技術及圖像識別技術。
  • CMOS圖像傳感器迎來新一輪的發展浪潮
    機器視覺的概念源自於機器人領域，美國機器人工業協會對其定義為：「通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用於控制機器人運動的裝置。」 機器視覺常以完整系統形式出現，通常可劃分為光學成像、圖像傳感器、圖像處理、IO和顯示等五大模塊。
  • 光基處理器晶片推動機器學習
    但是為此，他們使用了所開發的另一項創新技術作為光源，它是一種基於晶片的「頻率梳」。如圖所示矩陣乘法的光基處理器，波導交叉開關陣列與光學頻率梳一起，可以實現高度並行的數據處理。背景和方法基於光的處理器可加快機器學習領域的任務，使複雜的數學任務能夠以極快的速度（每秒10^12 -10^15次的操作）進行處理。
  • 圖像感知:創新產品與技術貼近視覺的要求
    隨著汽車製造商轉向車載脈寬調製（PWM）LED照明的最新趨勢，以及這一技術在電子交通標識和車輛信息通訊系統中的日益普及，圖像傳感器製造商面臨的挑戰可能會進一步加劇。當使用傳統攝像機捕獲時，尤其是在明亮的環境中，這些脈衝光源會出現閃爍，可能會引發ADAS算法的問題並會分散駕駛員的注意力。安森美半導體目前擁有先進且可靠的消除LED閃爍（LFM）技術，能夠克服這一潛在的嚴重問題。
  • 安森美:發力第三代半導體和圖像傳感器 看好半導體五大應用市場增長
    對於今年下半年出現的半導體領域元器件缺貨，安森美如何應對？ 而在工業人工智慧應用市場，圖像傳感器是關鍵。作為全球圖像傳感器領域的領導廠商之一， 安森美洞察到，圖像傳感器技術路線圖的四大特點：一、圖像傳感器主流應用解析度逐年提高，從過去的200萬像素、500萬像素、800萬像素，逐步升級到現在超過2000萬像素。
  • AI、物聯網扽新技術持續推動傳感器在數位化之年有哪些趨勢?
    在數字經濟大環境下，隨數位化、人工智慧、物聯網等新技術推動，全球迎來了 2020 年數字之年，如何踏上數位化道路是每家企業都必須思考的問題，其中，傳感器在企業向數位化轉型升級時發揮巨大作用，那麼，它在數位化之年將有哪十大發展趨勢？
  • 傳感器熱點:三星擴大0.7微米圖像傳感器產品線
    它可以在不移動部件（真正的固態）的情況下工作，並生成用於物體檢測的高解析度3-D點雲以及其他黑白圖像。該傳感器具有獨特的功能-額外生成的強度圖像，還使其可以用作黑白相機。這就是為什麼Ibeo將此稱為第四維度。強度圖像有助於在駕駛時識別車道。新型ibeoNEXT傳感器的緊湊和模塊化設計允許針對客戶用例進行不同的設置。
  • ...機器學習熱數據集匯集了10,000多個白天和夜間場景的注釋熱圖像
    ，該數據集匯集了10,000多個白天和夜間場景的注釋熱圖像，熱成像傳感器可以檢測行人，動物和其他車輛，最大距離可達到傳統前燈照明的四倍。通俗地講熱像儀就是將物體發出的不可見紅外能量轉變為可見的熱圖像。熱圖像的上面的不同顏色代表被測物體的不同溫度。紅外熱像儀是可通過光電轉換、電信號處理等手段，將目標物體的溫度分布圖像轉換成視頻圖像的設備。 熱像儀可通過識別行人、動物以及周圍環境發出的熱量，形成物體輪廓圖像，進而幫助司機發現行駛過程中的危險。
  • 40納秒完成圖像分類,圖像傳感器自帶神經網絡登上Nature
    過去，我們做圖像分類都是分成好幾步：先用傳感器收集圖像模擬信號，數模轉換後再交給計算機處理。整個過程既耗能又費時，就像眼睛把圖像傳給大腦。試想一下，如果人類眼睛可以直接處理圖像——不用勞煩大腦，那視覺圖像信息的處理速度豈不是可以大大提升？
  • 圖像傳感器知識大全
    圖像傳感器*工作原理成像物鏡將外界照明光照射下的(或自身發光的)景物成像在物鏡的像面上(焦平面),並形成二 維空間的光強分布(光學圖像)。能夠將二維光強分布的光學圖像轉變成一維時序電信號的傳感器稱為圖像傳感器。圖像傳感器輸出的一維時序信號經過放大和同步控制處理後，送給圖像顯示器，可以還原並顯示二維光學圖像。
  • 機器學習支持的下一代可穿戴傳感器算法，預防跑步運動傷害
    機器學習支持的下一代可穿戴傳感器算法，預防跑步運動傷害來自範德比爾特工程學院，數據科學學院和臨床研究人員的一組研究人員開發了一種新穎的方法，用於監視娛樂和職業運動員的骨應力，目的是預測和預防傷害。研究人員使用機器學習和生物力學建模技術，建立了多傳感器算法，該算法將來自鞋子中輕巧，低調的可穿戴傳感器的數據進行組合，以估算脛骨或脛骨上的力（這是跑步者應力性骨折的常見現象）。該算法產生的骨力數據精度比可用可穿戴設備高出四倍，並且該研究發現，傳統的可穿戴指標（基於腳撞擊地面的力度）可能不比計數步數更準確地用於監測脛骨負荷範。
  • 佳能開發出全球首款100萬像素SPAD圖像傳感器
    據麥姆斯諮詢報導，日本佳能（Canon）公司近日宣布開發出了世界上第一款具有信號放大像素的100萬像素單光子雪崩二極體（SPAD）圖像傳感器。SPAD圖像傳感器可以在極短的時間內捕捉並成像靜態圖像和動態視頻，是2D相機等應用的理想選擇。同時，SPAD圖像傳感器能夠捕捉與被攝體之間的距離信息作為成像數據，因此，SAPD傳感器在3D成像領域也有巨大的應用潛力。
  • CMOS圖像傳感器的基本原理及設計考慮
    CCD圖像傳感器由於靈敏度高、噪聲低，逐步成為圖像傳感器的主流。但由於工藝上的原因，敏感元件和信號處理電路不能集成在同一晶片上，造成由CCD圖像傳感器組裝的攝像機體積大、功耗大。CMOS圖像傳感器以其體積小、功耗低在圖像傳感器市場上獨樹一幟。
  • 機器學習零基礎?手把手教你用TensorFlow搭建圖像識別系統(一)|...
    這只是一篇詳細描述如何開始搭建一個機器學習系統，並讓它可以識別所看到圖像的文章。作者Wolfgang Beyer目前現在正在學習人工智慧和機器學習的內容。他認為最好的學習方式不是僅僅閱讀各類材料，而是要真正地去動手搭建一個系統。這就是雷鋒網翻譯本文的目的，也是作者要向你介紹的。
  • 四方光電:引領氣體傳感器技術創新,多頭並進推動業績高增長
    四方光電核心競爭力主要體現如下：一、領先的光學傳感技術四方光電於2003年在武漢光谷成立，是一家專業從事氣體傳感器、氣體分析儀器研發、生產和銷售的高新技術企業。四方光電十餘年來專注於氣體傳感器的技術創新和產業化。