科學和工程中的訊號處理

  科學和工程中的訊號處理

 

                                                  鄒謀炎

                   中國科學院大學    “現代數字訊號處理”課程講座  
                                           2016年5月27日
   
一、科學和工程中的訊號處理：一個快速發展的領域

       科學和工程中訊號處理技術已經得到廣泛應用，由此已經發展出系統性的理論和方法，成為一門學科。訊號處理理論和技術發展總是受應用驅動。雷達技術的需求引發了訊號檢測、估計、跟蹤、濾波理論的發展；通訊產業的需求引發出資訊理論、編碼理論、資料壓縮理論等；成像雷達、醫學成像、視訊產業的需求推動了影像和視訊處理技術的進步。特別是由於計算技術的進步，給訊號處理提供了廣闊的發展空間。所有這些進步都離不開應用數學。正是數學，使訊號處理技術系統化、理論化。同時，應用數學也從訊號處理髮展中找到許多發展機會。訊號處理技術的進步也離不開物理。沒有器件技術和應用系統的進步，訊號處理的意義就無從談起。
       大學生和研究生的訊號處理課程中只包含了最基本的內容，大致屬於這個領域中的通識。這些知識在現代發展中當然很有用，同時很基本。這是一個快速發展的領域。研究人員發現，越來越多的數學概念和物理背景被發現對訊號處理有大用。數學功底不足的工科研究者會感覺需要補充的數學知識越來越多；同時，脫離物理背景的研究要有所創造會越來越難。這個講座將介紹一些相關的發展情況，希望對願意繼續做研究工作的同學有所參考。
        我們以大資料處理為例，看看對本領域的研究者們有些什麼要求。
        所謂“大資料（big data）”是指通過各種可能渠道形成的資料集，對這種資料的捕獲、儲存、管理和分析而言，資料尺寸超出了典型資料庫軟體工具的能力。網際網路、各種媒體、各種公共及私營機構乃至個體，時時在產生大量資料，隱含於資料中的資訊對政府、商業機構、公司的決策運作至關重要。各個行業越來越感到大資料的重要性，例如醫學系統、氣象系統、交通系統、各種生產系統等等。自然，資料越多越好。例如資料捕獲，“大資料”要求對那些“生僻”“偶然發生”和來源千變萬化的資料也不放過，如何標識特徵、存放、檢索就是問題。從資料中挖掘資訊、分析資訊是訊號處理研究者關心的任務。過去積累的許多訊號處理方法從原則上說仍然有效，例如資料統計分析、趨勢分析、頻度分析、因素分析和優化、決策優化等等。然而，既然尺寸超出了單個甚至少數個資料庫的管理範圍，對這樣的資料集進行分析計算就不是簡單問題：在計算過程中不得不進行可能是遠端的大量資料交換，這對於實時或準實時的應用需求可能會造成瓶頸。
      想象一個涉及大型代數方程的情形，如果方程尺寸太大，原則上不可以將方程實際地產生出來再求解，傳統的代數處理演算法變得難以應用。研究人員需要從原始問題出發，尋找不同的求解模式。典型地，傳統的CPU計算和思維模式必須替換為去中心的、分佈平行計算模式。矩陣的各種分解方法：特徵值分解、奇異值分解、直積分解等，被發現對分佈平行計算有用，可以大大減少資料交換。
       除了問題尺寸大而外，資料中包含的關聯因素多，關聯情況複雜，不再適合於用基本的線性關係來簡化，但又不可以輕易地引入非線性處理的想法。將大資料關係使用張量來描述可以緩解這個困難。例如，二階張量就是傳統的矩陣，能夠描述典型的線性資料關係。三階張量可以描述一部分資料對另一部分資料中包含資訊變化量的影響--按經典概念屬於非線性性質，但在張量表示下，仍然可以組織成線性的矩陣結構，稱為多線性表示。多線性可以理解為不同層次的線性，例如各種因素之間的基本線性、關聯或從屬屬性的線性和增量層次的線性。大資料張量的引入能夠描述更復雜的資料關係，同時能夠繼續使用矩陣記號進行數學和演算法推演。在此基礎上，人們重新審視了過去的一些概念，例如通過矩陣（張量）分解提取主分量和降維；利用稀疏性的降維和容錯等等，對大資料分析仍然有用。離散傅立葉變換仍然是大資料分析的基本工具。但現在必須考慮它的可實施性：超大尺度、高維度和資料可能分散於多處。考慮實際情形，大資料中可能在指定維度上有少數顯著譜線，將這個特性作為假定，有人提出了“稀疏傅立葉變換”來緩解遇到的困難。
      處理複雜資料的一個重要方法稱為深度學習，不限於針對大資料。深度學習的概念提出於2006年，現在已經是人工神經網路和人工智慧研究中的基本概念。其中，深度神經網路（DNN）包含多個隱層，作為一個模型能夠用來表達高度複雜和非線性的輸入輸出關係。如果人們感覺影響觀測資料（樣本）的因素很多但對內部機理又難以搞明白，不妨假定觀測資料是由一個多層神經元互連結構產生出來的。這種多層神經元結構即神經網路的訓練方法是研究人員關注的重點。
       一方面由於科學和工程問題的需求，另一方面是現代可以得到的實際計算處理能力，無論是國家或是企業，為了體現創新能力，都會要求和組織研究人員去直接面向數量巨大、因素複雜問題的處理。如果你的功底很強，或有團隊背景，不妨一試。對小組研究者更適合做牽涉面較小的題目。不過，在所有研究領域中競爭都很激烈，在淺層次上做重複性工作難有前途。但個人經驗認為，任何事只要做深做細了，不經意間就會有所發現。雖然你們目前的知識有限，而技術發展也是一個漸進過程。訊號處理已經積累的理論和技術是很有用的。在你們的課程中介紹了一個很小的集合，有一些理論和技術有待你們通過自學去掌握，例如訊號主分量分析、壓縮取樣、詞典學習演算法、子空間類聚方法等等。
      你們在學習中會發現，訊號處理的許多問題（估計、恢復、降噪、重建等等）都可歸結為一個最優化計算問題，這已經是基本技術，數學上看起來也很漂亮。然而，在科學和工程中，這種方法的可用性需要審視。以重建問題為例，演算法上總是歸結為解一個大型代數方程。各種原因會造成方程病態或接近病態：解敏感於觀測資料。克服病態的方法是增加一個約束項（規整化）。增加約束後，問題變成了一個凸優化問題，能夠保證唯一解。然而，約束是人為選取的，不同的附加約束導致不同的解，什麼樣的附加約束能導致真正希望的那個解？沒有理論能夠回答這個問題。這個問題在稀疏重建問題中也存在。因為，例如1範數約束完全不是一個體現物理屬性的約束。事實上，雖然稀疏重建炒得很熱，許多研究者發現，其計算結果常常離希望有距離。
       這個問題給訊號處理研究者一個有用的提示：只在訊號處理領域內找方法和技巧是很侷限的，針對物理問題發掘體現物理屬性的約束，常常是解決問題的有效方法。

 

二、揭示資料背後隱含的物理事實：可能性和現實性

      訊號處理研究者應該更多地瞭解科學和工程問題的物理背景，對此我們感到還需要進一步強調。訊號處理技術最有誘惑力的方面是它提供了許多方法、思路、角度來分析觀測資料，研究者說不定會從中發掘出資料和物理事實之間的規律性聯絡。科學發現，好像近在咫尺。而絕大多數實際情形，那只是一個太虛幻境。
      近幾年不斷有年輕朋友來信尋求訊號處理方面的幫助。他們面臨的資料處理問題是各種各樣的，例如氣象雷達觀測資料；探空氣球測試資料；光譜儀測試資料；醫學臨床觀測資料；地層探測資料等等。已經使用的方法包括反摺積；資料建模；主分量分析；特徵模式分解等等。研究者們希望從訊號處理的角度尋找更有效的方法，改善現有的計算結果。這些願望無疑有合理性。
       然而，我不得不先潑一點冷水：要從這些努力獲得創新性進步可能性不大。感覺年輕研究者的主要困難目前應該不是如何處理手頭已經有資料的方法上，而在於對研究物件的物理背景缺乏洞察性瞭解，對各種物理機制如何影響資料缺乏準確機理層面的認識。當然，每個研究者在面對新問題時都會出現這種情況，即便成熟的研究者也如此。
      我們以心電訊號處理為例，說明問題的複雜性。心電圖用於醫學診斷起始於20年代，現在已經成為一種標準手段。儘管如此，對心電訊號的採集和分析技術至今仍然在發展中。其主要關注點肯定不是對已採集訊號變著花樣進行分析，而是對訊號的產生機制進行深入細緻的考察。只有這樣，才能從觀測訊號來判斷到底是心臟的什麼部分出現了什麼樣的問題，才能為治療提供可靠的幫助。
                           
      訊號處理研究與數學的結合，經常會產生出令人新奇的理論方法。跟蹤學習這些理論方法無疑是必要的。但成熟的研究者必須思考這些新理論方法的適應範圍、發展方向、限制、和困難。如果你確有共鳴，不妨跟蹤發展一段，以擴充套件視野。但別忘了時時問自己，提出創新點的可能性有嗎？
在應用科學領域中，漂亮的數學離開了物理背景可能難以找到出路。以本文示出的心電訊號為例，你容易觀測到最後一個示出的訊號，經過許多人多年的測試努力，才發現它是前面若干個啟用電位合成的結果。如果你以為可以用所謂“盲目源分離方法”將前面各個用數學算出來，那你試試吧！雖然“盲目源分離方法”理論很漂亮，並且研究者成堆。
      事實上，科學和工程的許多觀測資料和背後物理機制的聯絡一般都很複雜，如地層探測、空間探測、氣象探測。正是因為問題複雜，我們看到，只要在瞭解內部機制上所有進步，都是重要的創新。這才是研究者最值得努力的方向。瞭解資訊科技的研究者有自己的優勢，主要是在創造檢測原理、方法和實施技術上。但深刻了解研究問題的內在機制才是根本。
基於以上的認識和經驗，建議有志的年輕研究者要有一個目標較高的規劃：對自己感興趣的研究問題做全面深入的基礎學習，同時要學的還包括測試技術。如果可能，不妨嘗試去創造自己的探測方法、系統、和技術。

 

三、用資料描述世界：真正的挑戰

我們每天都在接受以資料描述世界的事實：通過視訊及各種媒體。然而，例如當我們看一張照片時，如果有人要求你描述一下這張照片裡包含有哪些“內容”時，你可能感到迷茫。科學上的要求是描述“內容”的特徵，能夠與其他照片、圖片進行區分和關聯。你的回答可能很簡單，特徵很少，難以在大量圖片中區別出“個性”；或者描述很多，描述需要的資料長度會超過原來的照片資料長度。在80年代末到90年代初，網際網路技術已經顯示了它的威力，人們希望尋求通過網際網路檢索資訊的最有效方法。資訊科技界提出了制定一個標準的建議，稱為“多媒體內容描述介面”，即MPEG7。其願望是，網際網路提供一個資料輸入方式，使用者可以任選地輸入字串、圖片、音響片段等，網路能夠迅速地將關聯的內容全部檢索出來。這個標準首先要求儲存媒體要有有效的內容描述方案，才能夠實施有效的檢索。著名的大資訊科技公司都參加了標準發展工作。然而，這個標準從總體上是失敗的。研究人員發現，描述一個物件的“內容”原來是一件很難的事情。到今天，類似的研究目標並沒有放棄，但納入了“人工智慧”的研究範圍，研究思路自然也發生了重大改變。
      用資料描述世界，所謂“有效”有兩方面不同的要求：（1）保真性,和（2）簡約性。第一項要求是指描述必須準確，能夠在大量同類物件中表現出差離性和相似性。第二項要求是使用最少的描述程式碼。第二項要求是明確技術性的，在資料壓縮研究中已經積累了許多理論和方法。但第一項要求卻非常困難。事實上，研究人員至今還沒有找到可通用的有效方法，如何定義一個物件和另一個物件的相似和離差。迄今所有數學測度定義的距離，其適應範圍都很受限制。例如，為了比較兩個隨機場圖樣分佈的異同，可以使用Kullback-Leibler差離度、Markov隨機場超引數集、非引數估計特徵量等。但沒有一種方法能夠保證這種差離度及相似性的描述哪怕是基本符合人對實際物件差離或相似的認識。至今報導的人工智慧技術並沒有試圖在機器認知上直接找突破口。所謂大資料基礎上的深度學習，據稱是讓機器接受所有案例，對多層神經網路進行訓練，首先保證已知的所有案例能夠被識別（不等價於被認知）。如果遇到過去未接受過的案例，則用最接近的案例加推理來實施。
從認知的角度，對內容的“識別”其實比對內容的“描述”要容易得多，因為“識別”是一個目標指定的任務，並且常常是有參照的；而“描述”可以是一個非指定的任務，不一定有參照。
      面向應用的語音和影像識別技術已經在安全管理和工業中得到廣泛認可。這些應用中通常有重要的附加約束可以利用，使問題得到簡化，例如處理的集合有限；對比物件的一方完全已知；需要識別的特徵集合小而且指定。但研究不會受限於這些情況。例如機器人需要的語音識別實際上包含語義識別，並且需要適應所有人，包括地方口音。在這些研究中，具有多個隱層的網路模型（隱markov模型，HMM，以及DNN）和深度學習演算法受到高度重視。
     對動態行為的識別是一個值得發展的方向。人能夠在照度嚴重不良條件下通過身影的動態很快識別出自己熟悉的人，那麼計算機視覺可以嗎？雖然一般性的物件描述難以達到應用目標，但從描述簡單動態行為開始進行研究，也許能夠找到路子。

 

      結語：科學和工程中訊號處理是一個發展快速的領域。訊號處理歸根結底是一個工具，它必須順應應用需求不斷髮展。研究者不能只呆在房間裡做學院式研究，或者只是從論文到論文。也不能受現有技術知識的限制，必須擴充套件自己的視野瞭解外界的發展；如有可能，應該嘗試開拓自己的發展領域。訊號處理的研究已經和許多領域的研究交織在一起，意味著更大範圍上和數學、物理的各個分支發生關聯。這既是你們的機會，也是對你們的挑戰。應該說，你們有若干條件上的優勢，希望好好把握。