基於3D攝像頭的AI人體行為模式識別系統SmartSp:進軍行為模式識別...

2021-01-19 36kr

文｜蔡曉純

編輯｜江倩君

2020年「創客中國」廣東省中小企業創新創業大賽暨第四屆「創客廣東」大賽省複賽完賽，盧大偉團隊的「基於3D攝像頭的AI人體行為模式識別系統SmartSp」創新項目，拿下新一代信息技術領域創客組別複賽最高分。

當前人臉識別技術已在各行業裡廣泛應用，但隨著應用場景日趨複雜化，基於人臉特徵進行布控的識別效果已經無法滿足多元需求。在人流監測、行為監控方面，需要更多的人體特徵來完善識別技術，因此人體行為分析正成為新的技術應用趨勢。

行業普遍應用的技術僅限於面部識別，無法對行為進行識別分析，因此應用範圍受限，且使用成本高，針對以上痛點，SmartSp能同時獲取場景中的視頻圖像和深度圖像（深度圖像是指將從圖像採集器到場景中各點的距離作為像素值的圖像）信息，準確識別圖像中的人體相關信息，提供人體動作的檢測與追蹤、關鍵點定位、人流量統計、屬性分析、人像分割、手勢識別等人體行為模式分析，結合了視覺行為和非視覺行為識別的優點。

據盧大偉團隊介紹，SmartSp系統主要有三個核心技術：一是採用多層前饋人工神經網絡並行算法框架，此項技術能提取出輸入層的數據行為特徵；二是採用稠密光流軌跡與稀疏編碼算法進行行為識別，將融合框架提取出的行為特徵進行處理後，送入支持向量機（SVM，一種二分類模型）中，得到模型後再進行分類，使靜態特徵識別率高達到98%；三是使用LSTM（長短期記憶網絡，適合處理和預測時間序列中間隔和延遲非常長的重要事件）的卷積加權融合算法，它提取視頻數據的RGB圖像作為空間流輸入，光流場圖像作為時間流輸入，再將各自得出的分類結果進行卷積加權融合，提高動態圖像識別率達95%。

基於以上的核心技術，SmartSp系統擁有廣泛的應用領域。第一個是安全監控領域。目前，我國地鐵、火車站、體育館等還未建立滿足安全運營的人流自動預警系統，有關的量化標準也未建立，人流預警及發布機制主要依靠人工判斷，容易出現判斷不準確、不全面等情況。此外在公共視頻檢索方面，傳統的視頻監控完全依賴於人力進行手動尋找可疑行為和安全隱患等，不僅低效，而且大部分只能在事後進行分析，在海量視頻監控數據面前，人力顯得力不從心。而SmartSp系統可以精確分析和預判人體的靜態或動態行為，實現人員密集區域的安全監控，如有沒有人手持管制刀具、有沒有人摔倒等。將行為識別應用於視頻監控中，可以實現無人監控，實時預警暴力事件發生、減少主體在人力物力上的投入。

第二個領域是互動遊戲，以往的互動遊戲往往需要外接智能設備的配合，但該系統無需外接設備，就可以準確識別遊戲中的各種人體動作。第三個是時尚領域，如該系統可應用於商場中的智能櫥窗，智能試衣間等，消費者通過鏡頭就可以選購商品、了解適合自己的穿搭。

在未來的戰略布局上，盧大偉團隊計劃在2020年重點應用公共安防監控業，5年後將持續開發各行業應用方案，逐步形成產業化；預計在2028年，建立大資料庫，將自身定位提升到大數據運營生態公司的規模。隨著項目的完善，所涉及的產業鏈將逐步擴充。未來盧大偉團隊將在分析層面、硬體層面、內容層面、數據業內進行整合。

據了解，該團隊主要由來自矽谷的創業團隊擔綱主力。其中，曾擔任TCL全球副總裁的團隊負責人盧大偉博士是美國矽谷SmartChip首席科學家；其他主要團隊成員也都來自矽谷的人工智慧專家。

目前，盧大偉團隊已與包括微軟、TCL、INTEL在內的多家企業、研究院達成合作關係。在融資方面，盧大偉團隊目前正和啟建投資等進行接洽，項目落地後將申請「珠江人才計劃」2000萬-8000萬資助。


36氪廣東——在廣東觀察世界，在灣區連結全球。

36氪廣東作為廣東地區領先的新商業媒體，以大灣區為核心，為各位創業者、投資人以及科技、財經、新經濟領域從業者提供最前沿的深度商業報導，搭建最暢通的產業對接通道，讓一部分人先看到未來。

如果你希望得到36氪廣東的報導，或轉載相關文章，請將你的需求和BP發送至指定郵箱：guangdong@36kr.com。如果你希望轉載公眾號文章，或進入社群（備註：社群），請聯繫小編微信。我們將在24小時內回復。

聯繫電話：15992485867  小編微信ID：gd36kr001  微信公眾號ID：gd36kr  

官方微博：@36氪廣東  抖音：灣區會氪

相關焦點

  • FRL:基於4顆黑白攝像頭,Quest如何實現3D手勢識別?
    FRL科研人員表示：除了深度攝像頭外，市面上較常見的還包括基於單目RGB攝像頭和神經網絡算法的手勢識別方案。單目RGB攝像頭更易集成，而且隨著機器學習技術提升，功能可以繼續強化。但將基於RGB攝像頭的手勢識別方案用於VR/AR依然存在一些問題，比如：單目方案難以直接識別3D手勢、通常需要搭配關鍵點回歸和實時姿態方案而無法獨立運行、時間上難以達到連貫和低抖動等。
  • 人臉識別中雙目、單目、3D結構光攝像頭的區別
    邁迪傑科技提供的rk3288人臉識別模組可支持雙目攝像頭和3D結構光攝像頭，在客戶諮詢中經常有被問到雙目的為什麼會比單目的成本高，區別在哪裡，他們的適用於哪些場景呢?在此就為大家詳細解析，幫助大家選擇更具性價比的人臉識別模組。 介紹一下單目攝像頭，單目攝像頭定義通過單目算法將實時非結構化的視頻數據解析成結構化的數據，基於人的臉部特徵，判斷輸入的人臉圖像或者視頻是否存在人臉 ,進而抓取面部關鍵信息的定位，分析獲取性別及年齡等屬性，可用於精準推廣;能實時獲取表情，可用作表情互動或是客戶情緒分析。
  • 基於傳感器的人類行為識別DL方法難在哪?這篇綜述列了11項挑戰
    然而，這個領域仍然存在一些重大挑戰（challenge），可能會影響行為識別系統在實際應用場景中的性能。在這篇論文中，來自新南威爾斯大學、西北工業大學、密西根州立大學的研究人員綜述了近期被用於解決具體行為識別挑戰的深度學習方法，並提出了一種基於挑戰的分類體系。除此之外，他們還總結了可用於評估不同挑戰任務的公共數據集並討論了尚待解決的問題，同時為未來的方向提供了一些見解。
  • 智能位置追蹤、戰術模式識別,Metrica能從任意攝像頭中提取足球數據
    它能夠自動追蹤用任何攝像頭（哪怕是一部智慧型手機）拍攝到的比賽視頻中的球員位置數據，配合上數據採集團隊人工標註的比賽事件數據（射門、傳球等）以及其強大的模式識別算法，它能夠自動識別出戰術與陣型，並且與預先輸入的戰術準則相對比，總結球隊的戰術執行情況。
  • 識別異常數據操作行為,華為雲DSC核心能力之數據使用審計
    當然為了防止正確的人帶著惡意使用正確的權限訪問竊取數據，華為雲數據安全中心苦心經營，孵化出異常行為檢測模型，能夠從行為識別異常風險，並及時上報告警。什麼是異常行為？舉個例子，比如登錄訪問時間異常，員工A平時都是在工作時間訪問系統卻為了竊取資料在深夜偷偷訪問；又比如訪問頻率異常，員工A平時都是以一個固定的工作模式進行文件的訪問和下載卻在離職前突然開始頻繁訪問下載機密文件等，類似的例子還有很多，由此可以得出在於防止內鬼的場景，行為識別確實能夠起到很大的作用，他最大的用處就是能夠在安全事件大規模爆發之前識別端倪，提前預防。
  • 依圖奪得「大規模複雜場景人體視頻解析」挑戰賽行為識別冠軍
    3倍，以絕對優勢奪得「行為識別」賽道冠軍。行為識別是指以人為基礎單位，只分析人的行為，關注單人的動作以及多人的動作。這項技術正在智能城市、安全生產、智能商業、智慧娛樂等社會生產生活的方方面面起到作用，比如實時檢測工人是否遵循操作流程生產作業以防暴力分揀、針對短視頻中人的行為進行摘要理解從而自動為用戶推薦視頻。
  • 「鷹眼」系統全流程識別售假行為,洋碼頭用戶滿意度高達95%以上
    「鷹眼」系統全流程識別售假行為，洋碼頭用戶滿意度高達95%以上 「鷹眼」系統全流程識別售假行為，洋碼頭用戶滿意度高達95%以上 2020-07-27 15:18:01  來源：經濟網
  • YOCHU|為什麼說好萊塢科幻片是人體動作識別技術的廣告片?
    人體動作識別motion recognition好萊塢科幻片的虛擬人物的鏡頭是怎麼來的，這就要涉及一項技術——人體動作識別技術。那什麼是人體動作識別呢？在計算機視覺領域中，人體姿態運動行為識別是一個被廣泛關注的熱點問題，人體姿態識別主要在於研究描述人體姿態以及預測人體行為, 其識別過程是指, 在指定圖像或視屏中, 根據人體中關節點位置的變化, 識別人體動作的過程。
  • 微模式動態人臉識別布控系統解決方案
    微模式動態人臉識別布控系統，智能視頻監控在原有的視頻監控基礎上增加智能視頻分析功能，系統能夠根據設置的布控方案自動判斷每一路監控場景是否存在異常情況，當產生異常情況後系統將自動產生告警…… 前言隨著經濟全球化的影響日益深入，改革開放的進一步推進和城市化建設的步伐日益加快
  • 依圖在行為識別領域攻下一城—新聞—科學網
    在權威機構ACM MM』20 Grand Challenge主辦的「大規模複雜場景人體視頻解析」挑戰賽中，依圖科技以大幅領先的成績拿下了「Track-4:行為識別」的第一名。 ACM是全球最大的計算機領域專業性學術組織，其評選的圖靈獎（A.M.Turing Award）被公認為世界計算機領域的諾貝爾獎。
  • 美國研究人員發明了人體運動風格識別算法
    智能穿戴設備研發中，美國研究人員發明了人體運動風格識別算法，可以給一個人體打分，除了能測量人體的運動強度，還能實時定位一個人的運動狀態。當人體做不同的運動時，不同的人體風格基本會一致。美國機器人公司declit運用這種風格識別技術，可以基於運動識別算法，給不同的人打出不同的分數。
  • 帶你認識步態識別&行人重識別
    特別是當攝像頭無法抓拍到清晰的人臉時，行人重識別技術就發揮著非常重要的作用，只需看行人的穿著、體態、髮型就「認出」人。ReID也有另外一個名稱，叫「跨鏡追蹤」，可以對無法獲取清晰拍攝人臉的行人進行跨攝像頭連續跟蹤，從不同攝像機拍攝的圖像或視頻中找出同一個人物，增強數據的時空連續性。
  • 亞馬遜「刷手」支付,醫院試驗虹膜識別,生物識別在九個行業的前景...
    來源：CB Insights 作為利用人體固有的生理特性（如指紋、臉象、虹膜等）和行為特徵（如筆跡、聲音、步態等）進行身份認證的技術
  • 指紋識別門禁系統的設計全解
    智能安防的日益流行對於樓宇管理自動化和安全監控提出了更高的安全性和可靠性要求，基於指紋識別的智能門禁管理系統應用得越來越廣泛，在一些發達國家已得到普遍的應用。面對規模已經越來越大的門禁控制系統，普通的單機門禁系統已經不適合，比如智能小區、景點門禁系統等。
  • NEC面部識別系統助力臺北世界大學生運動會
    近日，NEC向在臺北舉辦的「第二十九屆世界大學生運動會」提供了入場管理系統，無需在攝像頭前駐足停留，正常走過即可識別面部信息，進行身份確認。　　該系統設置在臺北田徑場的主運營中心處，主要負責 750 餘名運營人員的入場管理。
  • 人臉識別方便了誰?這樣做或許能躲過「被識別」
    而這些故事最後都不約而同地指向了「售樓處人臉識別系統」。據報導，有地產中介表示：房企安裝人臉識別系統，與其「分銷模式」有關。人臉識別可以讓房企迅速識別某個購房者是中介拉來的，還是看了宣傳的「自然到訪客戶」，關係到客戶能不能享受中介渠道的優惠。
  • 長篇乾貨 | 深度解析人臉識別技術
    人臉識別的發展簡史 第一階段（1950s—1980s）初級階段 人臉識別被當作一個一般性的模式識別問題，主流技術基於人臉的幾何結構特徵。這集中體現在人們對於剪影（Profile）的研究上，人們對面部剪影曲線的結構特徵提取與分析方面進行了大量研究。人工神經網絡也一度曾經被研究人員用於人臉識別問題中。
  • 基於FPGA的雷射筆輔助教學系統設計與實現
    摘要：為了實現雷射筆與大屏幕的互動，基於常用的OV9650攝像頭模塊和315 MHz無線收發模塊，採用了一種FPGA架構實現雷射筆與大屏幕互動的設計方案。
  • 當使用人工智慧AI到醫療領域,會有什麼傑出的效果
    通用型人工智慧是ai領域研究的主要目標之一，通過結合計算機視覺識別和深度學習，ai技術手段能夠識別陌生人。在很多的應用場景中，一些像醫療服務、航空、地鐵、國防等領域，有大量的數據需要知識圖譜來存儲，這些應用都離不開。
  • Google最新的AR化妝功能曝光,微美全息AR+AI人臉識別精確
    如果覺得這樣還是不夠準確,想要更進一步去體驗,也可以通過手機攝像頭來幫助體驗這種產品,具體就是用戶可以點擊相關產品的谷歌搜索信息面板中的「試一試」按鈕來打開這個工具,然後通過攝像頭來「雲試妝」。面部識別技術,是基於人的臉部特徵信息進行身份識別的一種生物識別技術。利用攝像設備採集人面部圖像或者是視頻,通過提取其中的關於面部圖像特徵,與資料庫中存儲的特徵模板進行搜索匹配,當相似度超過設定閾值就會輸出匹配成功,反之輸出匹配失敗結果。人臉識別是基於數字圖像處理,數字圖像處理一直都是比較前沿的研究方向。數字圖像處理技術的後期就會發展為人工智慧 (AI)。