NXP（恩智浦）iMX8M Plus 處理器介紹

機器學習的本質是讓計算機能夠更有效率的模仿人類的行為，特別在影像分類、 影像識別、語音識別等領域，機器學習能夠在分秒之間，集中處理數以百萬計的計算。過去在合理的成本下，這樣的處理能力是無法想象的，直到最近幾年才能夠實現。這主要是因為，如若這些處理不在邊緣實現，就要放到雲端來進行。資料要被上傳到雲端，這樣的話，我們就會擔心誰會看到這些資料。我們相信雲端服務期的運營商和負責人嗎？顯然答案是否定的，因此在本地進行 邊緣計算，使用者隱私就能夠更好的被保護，響應速度也會更快，可靠性也會更強，因為即便伺服器斷電，本地裝置依然可以穩定工作，甚至裝置可以在沒有網路的偏遠地區正常工作。

透過i.MX8M Plus ， NXP將機器學習帶到了邊緣裝置中，這款產品不僅僅是達到了2萬億次每秒這樣的強大計算能力。只是做到這樣的計算效能並不困難，但NXP所實現的是帶來了模型壓縮的最佳化以及針對稀疏性的最佳化，稀疏指的是機器學習演算法引數或者資料中有大量權重為0，進而能夠避免在推理時支付這些模型係數的儲存費用，計算效率將會大大增加。模型壓縮同樣也很重要，鑑於計算過程中存在大量的資料交換，如果足夠壓縮，那麼對於系統記憶體的佔用就會降到最低。另外同樣牽涉到系統記憶體的一點是i.MX8M Plus  搭載 DRAM 控制器能夠進行每秒4G 處理，是 NXP有史以來 DRAM 速度之最。

機器學習是基於影像資料的，資料的來源通常是一個系統中的 攝像頭模組，而攝像頭模組需要一個影像處理單元，也就是ISP。談到 i.MX8M Plus 的ISP 單元，在很多系統中，攝像頭可能距離目標非常遠，為了得到你需要的細節，其解析度必須足夠高，比如 4K解析度，也就是800萬畫素。

處理如此高畫質的影像資料，就需要ISP 的協助。可能對於低解析度的影片，ISP 並非必需，在很多系統中，使用者可能並沒有意識到，攝像模組是否整合ISP。但在高解析度下，就需要 ISP 被整合在處理器中，就像i.MX8M Plus 這樣。有趣的是，NXP i.MX8MPlus 中實際上整合了兩個 ISP，兩路攝像頭輸入。因而在大多數的應用場景下，將會獲得更立體的影像，就像人的兩隻眼睛一樣，可以感知影像的深度。另外一個應用是兩路攝像頭，其一作為廣角或者魚眼視角，另一路則聚焦某一場景的特寫。除此之外，還有其它的應用需要用到這樣的功能。

影像處理需要很強的計算能力，ISP的功能理論上也可以由 CPU 或 GPU 來實現，但要將這樣的計算量，將這些資料轉化為系統可識別的形式和引數再進行計算和處理，涉及到的工作量太大了。因此在這樣的系統下，必須使用一個專門處理影像任務的單元，也就是 ISP，就像 i.MX8M Plus所做的那樣。

i.MX8MPlus還有一個重點是HDR，也就是高動態範圍，你可能在很多手機上看到過這個詞，但在 嵌入式應用以及消費類產品甚至工業應用中HDR 都非常重要。HDR 主要是融合多重曝光的影像，具體表現為拍攝亮度不同的兩張影像，一張是長曝光，一張是短曝光，其中一張能夠幫助獲得更好的高光部分的細節，另一張則獲得更好的低亮度區域的細節。甚至可以拍三張或者更多，來融合成為一張影像。這樣高光和暗部的細節都可以保留，這在某些特定場景中非常重要，比如在家裡，窗戶邊很亮，有的地方卻很暗，有了 HDR，所有的細節你都可以看清楚。

在攝像頭相關應用中，扭曲矯正是一個非常重要的功能。攝像頭接收到的影像可能是扭曲的，類似觀看魚缸的場景。你可以看到很多的東西，但它們都是扭曲的。扭曲矯正，可以將影像恢復為人類、機器學習可以識別的正常形狀，直線曲線區別分明，也沒有倒置的現象，這就是扭曲矯正引擎所負責的。但引擎能做的不僅僅是這些，除了能夠矯正這些意外的干擾，同時它也可以矯正由於攝像頭問題導致的影像不清晰、變形等。

引擎同樣可以對畫素進行處理，獲得更好的影像質量。針對i.MX8MPlus 的 ISP 架構我們的設計保證了所有的處理都以流的形式進行，也就是說ISP直接從攝像頭接收影像進行處理，將它們輸出到系統記憶體。ISP 幾乎不需要從系統重新構建影像再進行處理輸出，這樣就可以帶來非常低的延遲表現，以及非常高效的針對影像的處理表現。iSP 針對影像增強，進行了非常多的處理，比如降噪處理，這在暗光環境中非常重要。在這樣的環境下，很多畫素都會被進行塗抹，但你不能對太多區域都進行塗抹，否則你的影像將會變得非常模糊。所以你必須使用 ISP 來分辨，哪裡是可以進行塗抹處理的，哪裡則是需要清晰呈現的內容。其它的處理任務包括，檢測影像感測器的壞點，確保正常工作，以及白平衡的調節，分辨出不同的光照環境，例如日光、燈光等等。還有提供資訊，幫助自動曝光以及對焦，所有的這些都是由ISP 來完成的。

在許多應用中，攝像頭接入系統，資料被送入機器學習演算法或是直接被儲存在網路中。不管影像被送入何處，它們還是需要被儲存在某些地方，比如伺服器或者是本地裝置。你不可能直接儲存原始檔案，因為原始的檔案實在是太大了，因此必須對資料進行編碼，i.MX8M plus 的影片編碼是非常高效的。我們支援 h.265編碼演算法，比起業內廣泛使用的 h.264更加先進和高效。

i.MX8M Plus有一些針對工業應用的特色，其一就是 ECC，也就是錯誤糾正程式碼。用來在使用者無需感知的情況下，檢測出記憶體的錯誤，甚至進行修復。

這異常的重要，因為在某些應用中記憶體的錯誤會帶來嚴重的後果，雖然不會導致硬體的永久損壞，但當讀取記憶體的軟體和程式時有可能會崩潰。

為了避免這些情況的發生，你就需要ECC 來進行檢測和修復，這樣軟體的錯誤率，也就是我們常說的 SER將會大大降低。i.MX8M Plus在快取和片上RAM 中都帶有ECC，而DRAM 匯流排還支援線上 ECC，它不需要儲存任何額外的位，就能夠將ECC 演算法與主資料同時傳送出去。

TSN也是 i.MX8M plus 中的亮點，tsn 指的是時間敏感網路。在工業應用中你希望可以確保能夠在對的時間點將資料傳送出去，而通常乙太網中任何人在任何時間都有可能正在傳送資料。可能會造成擁堵，可能你需要晚一些再發一次，在工業應用中，這無疑是會帶來問題的。而 TSN 則能夠很好的解決這樣的困擾。i.MX8M Plus同樣也支援一些工業級的外設，我們甚至整合了800MHz的 Cortex-M7協處理器來協助組合。組合執行作業系統，M7核心同時可以進行一些實時性的控制，來確保低延遲。我們還有兩路 CANFD用於本地與系統或是與網路低延遲的通訊。

i.MX8M Plus所提供的所有的這些特性和外設，能夠助力工業及應用的設計為工業應用帶來無限的可能。

作為NXP官方金牌合作伙伴， 飛凌嵌入式與NXP深入合作，推出了基於i.MX 8M Plus處理器的開發套件OKMX8MP-C 開發板與FETMX8MP- C核心板，除了繼承了上述CPU能力外， 飛凌嵌入式在 iMX8MPlus 核心板上還整合了LPDDR4、eMMC、PMIC等關鍵元器件，形成了可以獨立執行的最小系統；同時，考慮低成本基礎應用以及高階NPU應用的不同需求，DDR可選擇2GB、4GB、6GB、8GB多種版本；這款核心板的優勢不僅僅在於效能上，其功能也是十分的豐富，雙千兆乙太網、雙CAN-FD、2個USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等介面面面俱到。