香港中文大學(深圳)張大鵬教授:生物特徵識別的新進展|CCF-GAIR 2019

雷鋒網 AI 科技評論按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智慧與機器人峰會（CCF-GAIR 2019）於深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智慧與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智慧和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智慧領域極具實力的跨界交流合作平臺。

7 月 12 日，香港中文大學（深圳）校長講席教授、香港理工大學講座教授、深圳人工智慧與機器人研究院中心主任、IEEE Fellow 張大鵬教授為 CCF-GAIR 2019 主會場「中國人工智慧四十年專場 」做了題為「生物特徵識別的新進展-紀念中國人工智慧40年」的大會報告。以下為張大鵬教授所做的大會報告全文，感謝張大鵬教授的修改與確認。

非常高興受邀參加本次會議，讓我有機會匯報我的最新工作。今天我的講題是「紀念中國人工智慧40周年」，而我本人是中國學位法公布後首屆入學的研究生，也是哈工大畢業的首個計算機博士，從 1980 年入學開始算起，我基本見證了中國人工智慧這 40 年的發展歷程。

這是我研究生期間所能找到最早的一篇論文，選題與指紋識別有關。 1984 年，陳光熙教授是我的博士生導師，圖片展示的是當年哈工大進行博士學位論文答辯的場景。

以下為哈工大計算機學科博士名錄，我排在首位。

1985年，我到清華擔任博士後，因此有幸成為常迵院士的學生。隨後，我到中科院待了幾個月時間，中科院當時給我頒發的一份聘書，我覺得非常有意義，因為該聘書將我的專業定性為圖象處理、模式識別和人工智慧，這在當時是非常少見的，一般都會稱為計算機應用。

1988 年，我在加拿大拿到我的第二個博士學位，一直到 1995 年才來到香港，這時候已經過去了 23 年，這是我在香港工作時期的一些成果。

當下流行的人工智慧，當年一般都稱為模式識別，總的來說，模式識別是人工智慧的重要組成部分，它與許多領域息息相關，是人工智慧最流行的組成部分。模式識別是人工智慧的重要組成部分，而生物特徵識別又是模式識別的典型應用，因此，今天我將趁機匯報我們在這個領域的相關工作。

簡而言之，我們將模式識別、圖象處理做成了一個平臺，緊接著通過該平臺進行生物特徵識別。我們在這方面做了許多新方法、新技術和新應用的探討。其中，我們研發了 2DPCA 方法，截止目前引用率已經高達 3900 多次；此外，我們還在生物特徵識別的鑑定方法上做了許多工作；鑑於生物特徵識別主要更多是二維以及可見光的，我們又接著探討三維以及波光譜的研究；針對三維生物特徵識別上的工作，我們還發表了一本書。

我國首套掌紋系統

新技術方面，我們是國際上首個研究掌紋識別的團隊。目前的生物特徵識別手段主要是指紋、人臉、虹膜等，但它們卻依然存在著諸多問題：

指紋——作為接觸式的生物特徵識別方式，缺點包括有 5% 的人無法通過指紋進行識別，國際上也承認該方法的防偽能力存在缺陷。人臉——年紀增長和整容都可能給人臉帶來極大的變化。虹膜——一旦患上眼疾便無法取得較理想的虹膜圖像，且東方人的虹膜信息量整體不如西方人有效。

因此，掌紋識別被我們認為是值得探討的方向，而且這是中國人獨創的方法，受到了傳統手相學的啟發。我們發現，掌紋識別包含諸多新特徵，當中包括幾何信息、細節點信息、線特徵、紋理信息、掌脈信息等，而且由於掌紋夠複雜，因而防偽能力上也能有所保障。即便不小心沾上汙漬，掌紋也能被有效地識別，這又是另外一項優點。

掌紋識別研究發展至今，我們有很多文章被發表，同時也獲得了諸多獎項的肯定。比如，我們在 1998 年首次在國際上發表的掌紋識別文章，還出過掌紋識別的總結性書籍。國際上相關的 13篇文章中，我們佔了其中 2 篇。這也是我國研發的首套掌紋系統。

系統落地——中醫 & 美學

新應用方面，我想從兩方面來展開。

一個是如何將生物特徵識別運用至醫學領域，尤其是與中醫的結合。我們希望能夠找到一種新方法，能將中醫量化、客觀化，進而把中醫推向國際。我們主要從四個方面開展研究：視覺感知、嗅覺感知、聽覺感知、觸覺感知，以及綜合性的融合感知。

首先是視覺感知，我們主要分析的舌像，通過顏色、紋理、形狀等指標全方位對舌相進行探討。比如針對特舌像的顏色，我們利用舌像的12個分布點創建了舌相主空間。針對舌頭表面的反光點，包括潤燥指數、淤斑淤點等，皆為有效信息。至於紋路，也是中醫俗稱的薄苔厚苔，我們也通過量化的方法進行了有效定義。隨著庫的體量變大，搜集到的特徵變多，我們能藉此進行亞健康以及病變判斷。

文獻清單：

– Book:TongueImageAnalysis,SpringerSingapore,306pp.2017(舌像分析)– Book:TongueDiagnostics,AcademicPress.650p,2011(舌像分析)– 「Robusttonguesegmentationbyfusingregion-based&edge-basedapproaches」Expert Systems with Applications 21, 42, Nov, 8027-38. 2015. (舌像分割)– 「DetectingDiabetesMellitusandNonproliferativeDiabeticRetinopathyUsing Tongue Color, Texture, and Geometry Features」, IEEE Trans. on Biom. Eng. 2, 61, 491-501, 2014. (舌像應用)– 「StatisticalAnalysisofTongueimageforFeatureExtractionanddiagnostics」IEEE Trans. on Image Processing, 22 (12), 5336-47, 2013. (舌色分析 )– 「Ahighqualitycolorimagingsystemforcomputerizedtongueimageanalysis,」– ExpertSystemwithApplications4，15，5854-66.2013.(儀器設計)–「ANewTongueColorcheckerDesignbySpaceRepresentationforPreciseCorrection,」IEEEJournalofBiomedical&Health Informatics 2, 17, 381-391, 2013. (舌色校正)– 「TongueColorAnalysisforMedicalApplication,」Evidence-BasedComple-&Alter-Medi-,ID264742,11p,2013(舌色分析).–「Fastmarchingoverthe2DGabormagnitudedomainfortonguebodysegmentation,」EURASIPJ.Adv.Sig.Proc.190.2013. (舌像分割)– 「Automatic tongue image segmentation based on gradient vector flow and region merging,」 Neural Computing and Applications 8, 21, 1819-26, 2012. (舌像分割)– 「Tongueprint:AnovelbiometricsIdentifier,」PatternRecognition3,43,1071-1082,2010.(舌像應用)– 「Anoptimizedtongueimagecolorcorrectionscheme,」IEEETrans.onInf.Tech.inBio.6,14,1355-64,2010.(舌色校正)– 「Tongueshapeclassificationbygeometricfeatures,」Infor.Sci.2,180,312-324,2010.(舌型分析)– 「A snake-based approach to automated segmentation of tongue image using polar edge detector」, Inter.Journal of Image System & Technology 4, 16,103-112, 2007. (舌像分割)– 「Automatedtonguesegmentationinhyperspectralimagesformedicine,」AppliedOptics34,46,8328-34,2007.(舌像分割)– 「Classification of hyperspectral medical tongue images for tongue diagnosis,」 Com. Med. Imaging & Graphics 31, 672-678,2007. (舌像應用)– 「TheBi-ellipticalDeformableContouranditsApplicationtoAutomatedTongueSegmentationinChineseMedicine,」IEEE Trans. on Medi. Ima. 8, 24, 946-56, 2005. (舌像分割)–「ComputerizedDiagnosisfromTongueAppearanceusingQuantitativeFeatureClassification,」TheAmericanJournalofChinese Medicine (AJCM) 6, 33, 859-66, 2005. (舌像分析)– TongueImageAnalysisforAppendicitisDiagnosis,Infor.Sci.3,175,160-176,2005.(舌像分析)– ComputerizedTongueDiagnosisBasedonBayesianNetworks,IEEETrans.onBio.Eng.10,51,1803-10,2004.

第二個是嗅覺感知，指的是口腔氣味，我們可以藉此判斷潛在的病理信息。我們創建了可以捕捉人體內部氣味的傳感器陣列，最終發現不同的類型的疾病會得到不同類型的波形。通過我們的研究，我們認為糖尿病與血檢、呼吸等皆有一定關聯，於是我們進一步探討糖尿病的無損檢測研究，對於是否患上糖尿病以及糖尿病等級都做了相應探討。

文獻清單：

– Book: Electronic Nose: Algorithmic Challenges, Springer, 2018. – Book: Breath Analysis for Medical Applications, Springer, 2017.– 「Breath analysis for detecting disea. on respiratory, metabolic & digestive system,」 Journal of Biomedical Science and Engineering, 2019– 「Learning domain-invariant subspace using domain features & indepe- Maxmization,」 IEEE Trans. on Cybernetics 2017– 「A novel medical e-nose signal analysis system,」 Sensors 4,17,402.2017– 「Efficient solutions for discreteness, drift & disturbance (3D) in electronic olfaction,」 IEEE Trans. on SMC: Part A. 2017 (氣味分析)– 「Temperature modulated gas sensing e-nose for low-cost/fast detection,」 IEEE Journal 2,16,464-74,2016– 「Calibration transfer & drift compensation of e-noses via coupled task learning,」 Sensors & Actuators: B.225, 31, 288-297. 2016(氣味分析)– 「Correcting instrumental variation & time-varying drift: A transfer learning approach with autoencoders,」IEEE TIM 9, 65, 2012-22. 2016(系統設計)– 「A novel semi-supervised learning approach in artificial olfaction for e-nose application,」 IEEE SensorJournal 12, 16, 4919-31. 2016(系統設計)– 「Improving the transfer ability of prediction models for electronic noses,」 Sensors & Actuators: B.Chemical 220, 115-124. 2015(儀器設計)– 「Domain adaptation extreme learning machines for drift compensation in e-nose systems,」 IEEE Trans.on IM 7, 64, 1790-1801. 2015(氣味分析)– 「Feature selection and analysis on correlated gas sensor data with recursive feature elimination,」 Sensors & Actuators: B. Chemical, 212, 353-363. 2015(氣味分析)– 「Design of breath analysis system for diabetes diagnosis & blood glucose level prediction」, IEEE Trans. on Biomedical Engineering 11, 61. 2014(儀器設計)– 「Non-invasive Blood Glucose Monitoring for Diabetics by Means of Breath Signal Analysis,」 Sensors & Actuators B 173,106-113, 2012 (氣味分析)– 「Sparse representation-based classification for Breath sample identification,」 Sensors & Actuators B1,158, 43-53, 2011(氣味分析)– 「A LDA based sensor selection approach in breath system,」 Sensors & Actuators B 157, 265-274, 2011– 「A novel breath analysis system based on electronic olfaction,」 IEEE TBE 11, 57, 2753–63, 2010

第三個是觸覺感知，我們按照中醫的三部九侯思路設計了相應系統。鑑於脈象是血流通過內臟器官流到人的末梢，帶有內臟器官的病理信息，因此我們一直堅定脈象無法被ECG取代。我們通過生物特徵識別技術對大量特徵進行提取，然後進行優化，最終形成了對不同波形的分析。

文獻清單：

– Book: Computational Pulse Signal Analysis, Springer, Singapore, 2018– 「Radial artery pulse waveform analysis based on curve fitting using discrete Fourier series」Computer Methods and Programs in Biomedicine 2019– 「A Robust Pulse Acquisition on Multisensor & Signal Quality Assessment,」 IEEE TIM, 2019– 「Generalized Feature Extraction for Wrist Pulse Analysis: from 1-D Time Series to 2-D Matrix,」 IEEE JBHI 4, 21, 978-985. 2017(脈象分析)– 「A Robust Signal Preprocessing Framework for Wrist Pulse Analysis,」 Biomedical Signal Processing and Control 23, 62-75. 2016(脈象分析)– 「Comparison of Three Different Types of Wrist Pulse Signals by Their Physical Meanings and Diagnosis Performance,」 IEEE JBHI 1, 20, 119-127. 2016 (系統設計)– 「A novel multi-channel wrist pulse system with different sensor arrays,」 IEEE TCM 7, 64, 2020-34. 2015– 「An Optimal Pulse System Design by Multi-channel Sensors Fusion,」 IEEE Journal of Biomedical and Health Informatics (J-BHI) 2, 20, 450-9, 2015(系統設計)– 「A Compound Pressure Signal Acquisition System for Multi-Channel Wrist Pulse Analysis」, IEEE Trans. TIM 6, 63, 1556-65, 2014(儀器設計)– 「Combination of heterogeneous features for wrist pulse blood flow signal diagnosis via multiple kernel learning」, IEEE Trans. Infor. Tech. in BioMedicine 4, 16, 598-606, 2012(脈象分析)– 「Computerized wrist pulse signal diagnosis using modified auto-regressive models,」 Journal of Medical Systems 35(3): 321-328, 2011(脈象分析)– 「Classification of Pulse Waveforms Using Edit Distance with Real Penalty.」 EURASIP J. on Advances in Signal Pro., 303140: 1-9, 2010(脈象分析)– 「Wrist Blood Flow Signal-based Computerized Pulse Diagnosis Using Spatial and Spectrum Features.」 Journal of Biomedical Science and Engineering, 3(4): 361-366, 2010(脈象分析)– 「Wrist Pulse Signal Diagnosis using Modified Gaussian Models and Fuzzy C-Means Classification,」 Medical Eng. & Phy. 31, 1283-1289, 2009(脈象分析)– 「Baseline Wander Correction in Pulse Waveforms Using Wavelet-based Cascaded Adaptive Filter」, Computers in Biology and Medicine 37, 5, 716-731, 2007(脈象分析)– 「Arrhythmia Pulses Detection by Ziv-Lempel Complexity Analysis」, RURASIP Journal on Applied Signal Processing 2006, 1-12, 2006(脈象分析)– 「Wavelet-based Cascaded Adaptive Filter for Removing Baseline Drift in Pulse Waveforms,」 IEEE Trans. on Biome. Eng. 52,11,1973-1975, 2005(脈象分析)– 「Modern researcher on Traditional Chinese Pulse Diagnosis」, European Journal of Oriental Medicine 4, 5, 46-54, 2004(脈象分析)– 「Objectifying Researches on Traditional Chinese Pulse Diagnosis」, Informatics Medical Slovenica, August, 56-63, 2003(脈象分析)

最後一個是聽覺感知。我們希望通過我們的技術，可以找到對話中隱含的病理信息，因此我們系統探討了它與發音、疾病之間的關係。這個工作相應來說進行得較晚，直到17年才有第一篇論文，而這幾年也陸續有文章發表。

文獻清單：

– Book: Voice Analysis for Medical Applications, Springer, 2019– 「Joint Learning for Voice Based Disease Detection,」 Pattern Recognition 87,130-39, 2019.– 「Computerized voice analysis in biomedical field & its open challenges,」 IEEE Access, 2018.– 「Influence of sampling rate on voice analysis for the detection ofParkinson『s disease,」 The Journal of the Acoustical Society of America, 2018.– 「Learning acoustic features to detect Parkinson’s disease,」 Neurocomputing, 2018.– 「GMAT: Glottal closure instants detection based on the Multiresolution Absolute TKEO,」 Digital Signal Processing 69, 286-299. 2017.

中醫強調「望聞問切」，所以我們在融合感知方面也展開了許多工作，將單一的舌、脈等感知經過融合達到更好的效果。我們將之作為當下的重點工作進行了相應研發。

文獻清單：

– Book:InformationFusion:TechnologiesandApplications,Springer,2019–「Visual Classification With Multikernel Shared Gaussian Process Latent Variable Model,」 IEEE Trans. on Cybernetics 8, 49, 2886-99, 2019.–「Generative Multi-view and Multi-feature Learning for Classification,」 Information Fusion 41, 215-26, 2019. –「Body Surface Feature-based Multi-modal Learning for Diabetes Mellitus Detection,」 Information Sciences.472, Jan. 1-14. 2019.–「Shared Auto-encoder Gaussian Process Latent Variable Model for Visual Classification,」 IEEE TNNLS 9,29, 4272-86. 2018–「Joint discriminative and collaborative representation for fatty liver disease diagnosis,」 Expert Systemswith Applications 89, Dec., 31-40. 2017–「Joint Similar and Specific Learning for Diabetes Mellitus and Impaired Glucose Regulation Detection,」 Information Science 384, 191-204. 2017

此外，生物特徵識別作為一個平臺，我們還希望將它應用至美學鑑別領域。

儘管每個人對美的看法不盡相同，但我們認為美是具有公認特徵的，因此我們希望通過捕捉公認特徵來實現美的客觀化。在這過程中，我們成功解決了所謂的平均臉問題，即用於進行美的鑑別的標準。我們通過對61個國家的人臉庫進行分析，獲得所有關於美的規則，其中包括了中國人的三庭五眼，以及西方人的黃金比例等，以找到最接近美的公共標準。

我們最終建立了一個窗口，讓人們得以實時對這些規則進行調整。

最後，跟大家強調一下，我們現在成立了深圳市人工智慧與機器人研究中心，主要致力於這方面的研究，希望能有更多人加盟到我們的隊伍中來。謝謝大家。

雷鋒網 AI 科技評論