編者按：創新是引領發展的之一動力。今年兩會，科技創新成為高頻熱詞。近年來，我國科技創新成果不斷涌現，高鐵、5G、人工智能等一些高新技術產業進入世界前列，智慧城市建設加快推進，應用成果惠及更多老百姓。
在人工智能的部分領域，我國從基礎研究到技術應用都發展很快。比如，中國工程院院士、北京大學教授高文提出的“數字視網膜”，既是一種理念創新，也是一個新的產業機遇，對智慧城市的建設意義重大，本期邀請他詳細解讀。
數字視網膜并非真的要做一種仿生視網膜的硬件，而是希望能夠改變目前攝像頭只能看或者單一鏈路識別的功能。讓攝像頭本身擁有一定的AI處理能力，對識別到的車、人、場景主動進行特征提取。從而讓攝像頭上傳到云端的視頻數據，一路通過高效編碼作為數據存儲；另一路經過特征提取直接作為智能大腦的“可讀物”。“云大腦”與攝像頭的結合，就像是給智慧城市安裝了一層新的“數字視網膜”。
智慧城市升級，浙江烏鎮開通城市開放道路“5G自動微公交”示范線路。新華社發
1、數字視網膜的八個基本要素
添加微信好友, 獲取更多信息
復制微信號
現在比較典型的“城市大腦”，一般是傳感數據、收集、存儲、數據交換和集成，還有開放的算法平臺。另外，還有運行和服務平臺。在平臺里面，實際數據量更大的是視頻數據，大概占到90%以上，這些數據能識別是車還是人，車牌號等，然后傳到云端。目前的視頻數據，最長存三個月。因為大量的數據不等于大數據，而且隨著城市攝像頭越裝越多，數據增長速度非常快，海量數據的價值很少。
目前的視覺感知系統，也只是對原始信號只進行了簡單的編碼壓縮就送到云端。視覺系統的進化實際是經過了一個漫長的歷史階段，如果看眼睛的進化，不管是昆蟲還是高脊椎動物，進化是不一樣的，比如昆蟲是復眼，可以完成對天敵快速識別的功能，眼睛進化實際發生了非常長的時間。
視覺通道是把視網膜上看到的東西，通過視覺通道送到腦的視覺，最后形成認知和感知。中間的 *** 傳輸通道是非常重要的，整個視網膜大概有1.2億個感官細胞，包括錐狀細胞和感知細胞，最后通過神經連接到了大腦。從視網膜到大腦之間的連通通道，并不是每一個感光細胞直接連接到了大腦，而是通過視神經連接過去，視神經的個數和視網膜本身的個數有一個比，大概126∶1，也就是說從視網膜每個感光細胞往大腦送的視覺連接通道大概有126∶1左右的壓縮率，這個壓縮不是簡單的視頻壓縮，它是特征抽取，這個過程是今天的“城市大腦”要好好學習的。
如果神經系統進化不好就會產生很多問題，比如說自閉癥，可能在小時候發育的時候，這種連接增長速度太快，可能會形成自閉癥。所以想讓“城市大腦”健康，就要視網膜或者攝像頭要有很好的分工協調機制，這是從生命系統得到的啟發。根據這個啟發，我們在設計新的第二代“城市大腦”或者云視覺系統的時候，在中間的視覺神經通道要好好學習，我們把這個工作叫作數字視網膜。
數字視網膜的定義，包括八個基本要素，這八個基本要素包括有統一的時間戳，有全局的位置信息，有高效的視頻編碼功能，有高效的特征編碼功能、聯合優化等，要有機制和軟件可定義的一些功能，這樣就比較容易進行升級。這八個基本的功能要求我們分成了三組。之一組叫作全局統一的時空ID，作為一個“城市大腦”，一個全局的視覺系統來說，全局統一的時空ID非常關鍵。第二組特征把高效視頻編碼、高效特征編碼和連接優化，這三個定義成第二組功能，把它叫作多層次視網膜表示，包括視頻編碼、特征編碼、聯合優化三大塊。第三組特征，是把高效的模型可定義功能組合到一起。這三個組合在一起，就不會像以前的攝像頭，一個硬件做進去之后改變不了什么了，按照這種數字視網膜設計出來的攝像頭，可以與時俱進，可以進行一些新功能的更新。
人工智能技術飛速發展。新華社發
2、數字視網膜和傳統云視覺計算系統不一樣
數字視網膜和傳統的云視覺計算系統是不一樣的，傳統的視覺系統一個攝像機只能輸出一個流，要么是視頻編碼流，要么是結果流。新的視網膜系統，每個攝像頭可能會有三個流，會有視頻編碼流、特征編碼流、模型編碼流，這三個流混合在一起就可以對整個系統更優化。
現在的云視覺系統不是太有效，要想提高效率，可以通過類似于像數字視網膜的新的概念和技術，讓它做得更有效，比如說數字視網膜至少可以讓在編碼上用了新的最有效的視覺編碼工具，可以使它的碼率更低，可以使延遲更低和準確率更高，原來的系統是先編碼再到云端解碼，提取特征再分析，現在所有的特征提取在攝像頭就完成了，就可以降低延遲。因為沒有解碼過程，沒有提取特征解碼的過程，準確率可以比原來提高20%左右。
3、數字視網膜領域的四大技術
過去兩三年，在數字視網膜領域，很多技術在推進，希望這些技術能夠落地。之一個叫高效視頻編碼，要做出全世界更好的視頻編碼放到數字視網膜里，才能叫作高效。過去二十年主要在做視頻編碼，在這個領域做了大量的工作，把視頻里面按照幀處理的場景下，包括空間、時間、編碼的冗余，用各種各樣的數學工具去處理，包括使用濾波器做預測編碼工具，利用熵編碼去除冗余的工具，構造出一代又一代的視頻編碼的標準，這個工具對整個編碼的效率提高是很大的，可以使編碼的效率提升差不多40%左右。
世界的視頻編碼有廣播電視、互聯網視頻、視頻監控等需求，技術演進是差不多每十年演進一代，中國的科學家從2002年開始做AVS做中國自主的標準，這個標準到目前為止已經進入第三代了，第二代已經成為國家標準和廣電標準，為了標準能走出國內，也專門在IEEE成立了工作組，最近剛剛把工作組上升為數據編碼的標準委員會。AVS3時間上已經領先于國際標準了。
第二個技術就是特征編碼技術，在我們的推動下，跟國際專家完成的兩個國際標準，MPEG7是的第13和15部分，是CDVS和CDVA，是做視頻特征編碼的工作。
這個標準做完以后，深度 *** 就熱起來了，所以我們經常去講CDVS怎么樣的時候，會場反映最多的問題就是你的標準支不支持深度 *** ，深度學習。這個標準現在也完成了，成為國際標準了。
第三個就是把視頻編碼和聯合編碼優化起來，讓碼率對兩邊都有利。因為視頻編碼和特征編碼使用的優化模型是不一樣的，視頻編碼使用的是2D優化模型，碼率和損失的優化模型。特征編碼聯合使用的是R-A模型，碼率和召回準確率的模型，這兩個模型的曲線方向完全是不一樣的，所以通常你要單個做的話沒有問題，把它合一起怎么做沒有人知道，所以我們提出聯合優化模型，所以把R-A和2D變成一個目標函數，求聯合函數的優化解，具體有一套解法，這是關于在2D模型上優化的解法，我們寫成了聯合優化函數，求更優解就可以得到聯合優化。
第四個技術，現在用的不是脈沖神經 *** ，用的還是卷積神經 *** ，現在可以做到在攝像頭這一端可以模型更新，這里涉及了一些模型的重用技術、模型的壓縮技術。
