原創(chuàng)： 李水青 智東西

看點：神奇！將“馬賽克”變高清圖，讓《海上鋼琴師》和《開國大典》大火的技術(shù)，牛在哪？

近日，ICCV 2019的圖像超分競賽中，冠軍由中國公司奪得。據(jù)獲獎方京東方稱，其自研“圖像超分辨率”算法能使圖像的分辨率提升至原來的16倍。

“看得更清楚”是人類基本需求之一，致力于“看清”的圖像超分辨率（SR，SuperResolution）算法應(yīng)用場景廣泛。

比如，將低清的珍貴老紀錄片或受損的經(jīng)典影片修復(fù)，讓老游戲告別馬賽克迎來“第二春”，幫助警察看清監(jiān)控影像上的人臉和車牌，使醫(yī)生看清“X光片”中病人的病灶，等等。

今年國慶節(jié)期間刷屏朋友圈的彩色版“開國大典”真實影像和近期上映的《海上鋼琴師》4K修復(fù)版都用到了這項技術(shù)。

▲彩色版“開國大典”真實影像的修復(fù)中采用超分辨率技術(shù)

近年來，圖像超分辨率重建技術(shù)得到了學(xué)界和產(chǎn)業(yè)界的共同關(guān)注。

研發(fā)上，無論是學(xué)術(shù)團隊，還是IT巨頭、AI創(chuàng)企都紛紛在各大國際頂會上投稿刷榜。據(jù)統(tǒng)計，計算機視覺頂會CVPR 2019收錄的18篇“超分”論文中幾乎全是華人一作。

產(chǎn)業(yè)上，“超分”商用潮下可謂“全行業(yè)總動員”。阿里、騰訊等互聯(lián)網(wǎng)巨頭興辦超分算法挑戰(zhàn)賽，華為、小米、vivo等廠商紛紛將超算技術(shù)落地在智能手機、智慧屏上，商湯科技、曠視科技等AI創(chuàng)企及京東方等元器件商成為底層超分技術(shù)提供者，就連在AI技術(shù)上走得相對慢的愛奇藝、優(yōu)酷等影視平臺也推出AI超分算法工具、數(shù)據(jù)集以支持影視修復(fù)和優(yōu)化。

然而，圖像超分算法的高光下也存在陰影的一面?？蒲小八瘛北澈蠹夹g(shù)商用難，論文井噴之下灌水多等問題成為橫亙在超分研發(fā)成果和落地實踐之間的溝壑。

超分算法為什么成為各行各業(yè)爭相搶占的技術(shù)點？在互聯(lián)網(wǎng)公司、手機廠商、AI創(chuàng)企、元器件商等產(chǎn)業(yè)玩家及中科院、清華大學(xué)、哈工大等學(xué)研團隊的擁簇下，超分算法技術(shù)研發(fā)和商用的真相如何？超分算法在技術(shù)上是如何將“馬賽克”變?yōu)榍逦鷪D像的？本文將帶你一覽產(chǎn)業(yè)和學(xué)界投射在超分辨率圖像技術(shù)上的高光和其背后的陰影。

超分算法影響影視修復(fù)、消費電子、安防等行業(yè)

今年國慶期間，一段12分鐘的“彩色版開國大典”真實記錄視頻刷屏朋友圈。這正是利用了超分算法等修復(fù)技術(shù)，將自動化修復(fù)與人工修復(fù)結(jié)合，從而把真實的領(lǐng)袖風(fēng)采和大國氣象呈現(xiàn)給十幾億華夏兒女。

▲彩色版“開國大典”真實影像的修復(fù)中采用超分辨率技術(shù)

通俗地說，超分辨率 (Super-Resolution，簡稱超分) 技術(shù)是提高原有圖像的分辨率的技術(shù)，主要有插值法、重建法及機器學(xué)習(xí)方法。近年來以深度學(xué)習(xí)為代表的機器學(xué)習(xí)技術(shù)飛速發(fā)展，從而使得機器學(xué)習(xí)支持的超分算法快速引起學(xué)界和產(chǎn)業(yè)界的關(guān)注。

11月15日，經(jīng)典影片《海上鋼琴師》的4K修復(fù)版在國內(nèi)重映，該片經(jīng)過物理修復(fù)、數(shù)字修復(fù)、藝術(shù)修復(fù)三大步驟將35毫米的膠片修復(fù)成4096×3112分辨率。時隔20年，廣大影迷有了為“自由的靈魂”補票的機會，而這也大大得益于“超分算法”技術(shù)。

▲《海上鋼琴師》4K修復(fù)版近期上映

我國從2007年開啟電影修復(fù)工程，近年來利用超分算法等AI技術(shù)修復(fù)影視掀起一陣熱潮。這讓許多經(jīng)典影視重新吸了一波粉，也使一些網(wǎng)友發(fā)現(xiàn)了一些之前沒有注意到的驚喜細節(jié)。

▲網(wǎng)友發(fā)現(xiàn)了一些之前沒有注意到的驚喜細節(jié)

除了影視修復(fù)行業(yè)，超分技術(shù)也被用到了智能手機、智慧屏等終端設(shè)備。

早在2017年，華為Mate 10就能將微信朋友圈壓縮過的照片進行超分辨率恢復(fù)，從而使用戶查看的朋友圈照片要比其它手機更清晰。

2018年12月，vivo推出光感美學(xué)再升級的X23幻彩版，率先將超分辨率技術(shù)應(yīng)用于手機拍攝，據(jù)稱，這是基于深度學(xué)習(xí)算法的超分辨率技術(shù)在國內(nèi)手機上的首次落地。

▲vivo X23在超分算法加持下的拍攝效果

此外，華為、小米的超分算法技術(shù)也出現(xiàn)在了各自的新品手機中，用以優(yōu)化拍攝效果。

安防領(lǐng)域也是超分技術(shù)的典型應(yīng)用場景。一方面，超分辨率算法可以在公安機關(guān)、交警需要的時候，通過提升圖像和視頻的分辨率來更快地找到違法犯罪人士。

▲超分算法可以應(yīng)用在安防場景中

另一方面，魚眼全景攝像頭、轉(zhuǎn)角攝像機、低照度攝像機等差異化產(chǎn)品需要利用超分算法緩解邊緣模糊、光線不足等問題。例如科達推出的“AI超微光”即通過深度學(xué)習(xí)算法提升檢測圖像在夜間的分辨率。

除此之外，超分算法還在衛(wèi)星圖像、醫(yī)學(xué)圖像等領(lǐng)域有一些應(yīng)用。例如，醫(yī)生可以通過超分辨率技術(shù)得到更清晰的病灶圖像，進而更快速準確地診斷病癥，等等。

從信息傳輸角度，超分算法有助于在高速度低消耗的條件下便捷地獲取圖像信息；從影視體驗角度，在超清內(nèi)容稀缺的情況下，超分算法使觀眾仍能享受4K甚至是8K的絕佳觀感體驗。

主要玩家動態(tài)：學(xué)界踴躍，各行各業(yè)總動員

2016年10月，谷歌“RAISR”超分算法橫空降世。這項技術(shù)能夠在節(jié)省75%帶寬情況下使分辨率超過原圖效果，同時將處理速度提升10到100倍。不久后，RAISR成為超分算法領(lǐng)域的行業(yè)標(biāo)桿。

▲ RAISR 演算法運行圖式下：原始圖像（左），2 倍雙三解析（中），RAISR 效果（右）

除了谷歌，美國社交網(wǎng)站巨頭Facebook、英偉達等芯片大廠、Adobe等圖像軟件巨頭也在超分辨率技術(shù)上有著斐然成果，已將超分技術(shù)應(yīng)用于修復(fù)老游戲、遙感優(yōu)化、一鍵P圖等場景。

雖然超分算法興起于國外，國產(chǎn)卻呈現(xiàn)出后來居上的趨勢，這在學(xué)術(shù)界格外明顯。

1、學(xué)術(shù)成果井噴，互聯(lián)網(wǎng)巨頭造勢

據(jù)統(tǒng)計，計算機視覺領(lǐng)域三大頂會之一CVPR 2019收錄“超分”主題的論文18篇，從一作的名字來看，18篇中只有2篇不是華人一作。哈工大的應(yīng)對任意模糊核的即插即用深度超分辨率、曠視科技的Meta-SR、清華大學(xué)的二階注意力網(wǎng)絡(luò)方法等都是具有代表性的成果。

不僅國內(nèi)研發(fā)成果在“超分”這一經(jīng)典研計算機視覺究領(lǐng)域大放異彩，產(chǎn)業(yè)中的各路玩家也將超分算法作為AI技術(shù)的焦點和產(chǎn)業(yè)賦能的利器。

首先是互聯(lián)網(wǎng)巨頭，它們憑借資本和人才的金礦以及一呼百應(yīng)的行業(yè)影響力，一邊自研算法參與論文刷榜，一邊辦會、開放平臺為“超分”造勢、鋪路。

這邊，阿里剛在CVPR 2018等國際會議上發(fā)表“退化類型的卷積超分辨率”等新成果，在2019云棲大會上和優(yōu)酷視頻合辦增強和超分辨率挑戰(zhàn)賽，推出超分辨率算法平臺及優(yōu)酷數(shù)據(jù)集。

▲阿里 2019 優(yōu)酷視頻增強和超分辨率挑戰(zhàn)賽成績排名

那邊，騰訊優(yōu)圖也在CVPR 2018、ICCV 2019等多場國際大會上發(fā)布《FSRNet:基于先驗信息的端到端訓(xùn)練的人臉超分辨率網(wǎng)絡(luò)》、《基于屬性自光流域的非監(jiān)督圖像轉(zhuǎn)換算法》等多篇論文自證研發(fā)實力。

早在2017年，騰訊就將其超分算法TSR應(yīng)用于騰訊QQ空間適應(yīng)手機處理速度，據(jù)稱能為用戶節(jié)省3/4流量。近日，騰訊科技配合深圳市科創(chuàng)委、鵬城實驗室等單位舉辦全國人工智能大賽，直指超分技術(shù)的“AI+4K HDR”大賽成為兩大賽項之一，獎金池達 268 萬，成為今年國內(nèi)獎金額最高的人工智能賽事。

互聯(lián)網(wǎng)大咖辦挑戰(zhàn)賽、提供算法平臺、開放數(shù)據(jù)包將為學(xué)界的“超分”研究提供強大的助力，不得不承認，資本對超分算法十分看好，商用化、生態(tài)化之心按捺不住。

2、手機廠商打頭陣，智能終端成練兵場

早在2017年11月，華為就推出HiSR超分辨率技術(shù)。據(jù)稱，該模型借助其第一款人工智能手機芯片 Kirin 970 和深度學(xué)習(xí)算法，首次實現(xiàn)了移動端的深度網(wǎng)絡(luò)超分辨率算法，不僅達到了實時處理的速度，還保證了圖片的效果，將能效比提升了 50%。

▲ HiSR 算法提升的效果對比圖

今年9月，榮耀在9X PRO中使用超能算法進行“超分辨率重建+Al HDR優(yōu)化”，官方稱拍照畫面清晰度能提升10％至20％。除此之外，華為今年8月推出的智慧屏也采用超分算法，使得原本清晰度不夠完美的影視圖像變得更加清晰。

不約而同地，小米也在今年1月開源了“小而美”的FALSR超分算法，該算法以快速、精確、輕量級為特異性，具有很強的實用性。

▲雷軍表示，小米最新論文基于彈性搜索在圖像超分辨率問題上取得了令人震驚的結(jié)果

近期，小米發(fā)布了1億像素手機，據(jù)稱這顆相機單單在算法這一個方向，就有超過1000人的研發(fā)人員，相當(dāng)于一個中小型公司的總?cè)藬?shù)。

除了華為、小米，vivo也沒有在這場超分之戰(zhàn)中落后。 2018年12月，搭載了商湯AI超分技術(shù)的vivo X23幻彩版推出，被認為是基于深度學(xué)習(xí)算法的超分辨率技術(shù)在國內(nèi)手機上的首次落地。

據(jù)稱，使用vivo X23幻彩版拍照，照片在放大后遠景細節(jié)也能真實呈現(xiàn)，可供用戶用于局部裁剪、大畫幅打印或者在其它高分辨率設(shè)備上查看。

3、AI創(chuàng)企的機會來了

“超分”潮為AI創(chuàng)企帶來了千載難逢的機會。拿商湯科技來說，該公司自稱最早于2014年在ECCV（歐洲計算機視覺大會 ） 提出了基于深度學(xué)習(xí)的超分辨率算法，2018年底終于在第四個年頭落地vivo X23。

2018年，商湯科技在CVPR 2018中提出面向生成更自然真實紋理圖像的超分辨率算法；今年，在CVPR 2019上憑借EDVR算法獲NTIRE 2019 視頻恢復(fù)比賽全部四項冠軍；8月，商湯-港中文MMLab整合近兩年的研究成果開源圖像視頻超分辨率工具箱MMSR。

除了商湯科技，曠視科技也將超分算法視為必爭之地。2019年3月，曠視提出超分辨率新方法Meta-SR，據(jù)稱可通過單一模型解決超分辨率的任意縮放因子問題。

▲曠視提出的任意縮放因子的超分辨率方法的圖片處理效果

隨著眾多產(chǎn)業(yè)的AI化，AI算法也不再是IT巨頭和AI創(chuàng)企的“專利”。例如屏幕供應(yīng)商京東方推出可將圖像分辨率放大16倍的超分算法，為智慧屏、手機屏幕的4K、8K超清顯示提供了技術(shù)支撐；影視平臺愛奇藝在去年推出自主研發(fā)的ZoomAI視頻增強技術(shù)，修復(fù)了《三毛流浪記》、《海上花》等多部經(jīng)典影片。

▲京東方圖像處理技術(shù)修復(fù)圖片前后對比

超分辨率算法技術(shù)原理：神經(jīng)網(wǎng)絡(luò)支持，九大技術(shù)流派

超分辨率重建技術(shù)可分兩種，一種是單圖像超分辨率（SISR，Single image super-resolution），另一種是視頻超分辨率（VSR，Video super-resolution）。目前學(xué)術(shù)的研究熱點是基于深度學(xué)習(xí)的SISR，但是現(xiàn)實使用中往往多張圖片生成的超分辨率圖片效果更好，但時間和算力成本也相對更高。

從方法差異的角度來看，超分辨率重建技術(shù)可以分為基于插值的重建、基于重構(gòu)的重建和基于學(xué)習(xí)的超分辨率重建。

▲圖像超分辨率三大方法

近年來，以深度學(xué)習(xí)超分算法為代表的機器學(xué)習(xí)超分技術(shù)成為學(xué)界與產(chǎn)業(yè)的關(guān)注熱點，舊的方法也難以滿足許多新的場景需求。

通俗地講，機器學(xué)習(xí)就是讓機器根據(jù)海量數(shù)據(jù)分析出一個模型，以此來表示事物的規(guī)律。深度學(xué)習(xí)就是機器學(xué)習(xí)的一個分支，是利用人工神經(jīng)網(wǎng)絡(luò)模型進行機器學(xué)習(xí)的方法。

人工神經(jīng)網(wǎng)絡(luò)包含多個帶有不同模型的處理節(jié)點（模擬腦神經(jīng)元），節(jié)點間具有連接關(guān)系，綜合成一個模型（函數(shù)）。假設(shè)深度學(xué)習(xí)需要處理的數(shù)據(jù)是水流，而處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)就是一個由眾多管道和閥門組成的水管網(wǎng)絡(luò)。

▲處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)就像一個由眾多管道和閥門組成的水管網(wǎng)絡(luò)（圖片源自網(wǎng)絡(luò)）

那么深度學(xué)習(xí)網(wǎng)絡(luò)是怎么將“馬賽克”圖片變?yōu)楦叻直媛蕡D的呢？

簡單來說，超分模型的訓(xùn)練大致涉及以下幾個步驟。首先，需要將高清圖片P1縮小為低清圖片P2，再用深度學(xué)習(xí)網(wǎng)絡(luò)模型將低清圖片P2重建成新的高清圖片P3；

然后，將P3與P1進行比較，根據(jù)對比P3和P1的相似度來調(diào)節(jié)深度學(xué)習(xí)網(wǎng)絡(luò)模型，就像調(diào)節(jié)多個“水龍頭”一樣；

▲超分模型訓(xùn)練示意圖

接著，循環(huán)往復(fù)地調(diào)節(jié)深度學(xué)習(xí)網(wǎng)絡(luò)模型，使得P3和P1更加吻合，直至該模型就能夠完成低清圖片P2的理想重建；

當(dāng)然，這個過程還要推演到多張其他圖片的訓(xùn)練，訓(xùn)練的圖片數(shù)越多、圖片內(nèi)容越接近應(yīng)用場景，超分優(yōu)化的效果就越好。

在這個過程中，調(diào)節(jié)深度學(xué)習(xí)網(wǎng)絡(luò)模型涉及多個節(jié)點的調(diào)參，就像需要調(diào)節(jié)水流系統(tǒng)的成千上萬個“水龍頭”一樣。這對人來說是一個幾乎不可能完成的工作，但對于計算機來說，暴力的計算加上算法的優(yōu)化，能夠很快地給出解決方案。

目前深度學(xué)習(xí)超分算法的技術(shù)流派較多，業(yè)內(nèi)人士認為，主要的熱點則聚焦在深廣探索、結(jié)構(gòu)探索、內(nèi)容損失、對抗神經(jīng)網(wǎng)絡(luò)、Pixel CNN等領(lǐng)域。

▲也有學(xué)者將單圖像深度學(xué)習(xí)超分辨方法分成9大類

超分算法技術(shù)與落地存在的問題：技術(shù)商用剛起步，論文易灌水

雖然產(chǎn)業(yè)、資本、學(xué)界都通過行動支持超分算法的應(yīng)用落地，并積極推動其在安防、智能終端、影視修復(fù)等領(lǐng)域的商業(yè)化，但超分算法目前在工業(yè)上的應(yīng)用也只是剛剛走出實驗室。

由于工業(yè)應(yīng)用場景十分苛刻，目前超分算法的應(yīng)用仍然比較困難。工業(yè)界要求模型性能穩(wěn)定、算法可控，以安防監(jiān)控為例，如果有5%的概率生成離譜的高清化人臉、車牌，都不太適合被實際應(yīng)用。據(jù)業(yè)內(nèi)人士爆料，安防巨頭大華公司就曾推進過超清算法的研發(fā)和商業(yè)化，但因為監(jiān)控場景的落地困難而杳無音信了。

而超分算法在相對比較容易切入的智能手機領(lǐng)域，也只有vivo X23，小米CC9 Pro、榮耀9X PRO等終端應(yīng)用了超分算法。目前，華為、小米等手機大廠，商湯、曠視等AI創(chuàng)企的主要動作還更多停留在研發(fā)、刷榜、模型開源上。

阿里、騰訊甚至是地方政府機關(guān)也著手推進超分技術(shù)的競賽，同時為研發(fā)者鋪平臺、提供數(shù)據(jù)集，一方面是看中了超分算法這一領(lǐng)域的巨大應(yīng)用潛力；另一方面也體現(xiàn)超分技術(shù)的現(xiàn)有能效難以滿足商業(yè)應(yīng)用需求。

在知乎、豆瓣等論壇中，許多面臨填報志愿和找工作的用戶詢問“超分”是否有就業(yè)前景，這讓我們從側(cè)面看出這個新領(lǐng)域給外界帶來的吸引力。而高贊評論“如果你有信心把現(xiàn)有算法在實際場景的性能往前拱一步，就是有前景的。”則道出了超分技術(shù)在應(yīng)用上的痛點。

除了在商業(yè)應(yīng)用上，超分算法在研發(fā)進展上也存在一些問題。論文數(shù)量攀升與論文實質(zhì)性創(chuàng)新減緩的落差、模型高分與商用價值低的矛盾長期存在。不過。也有一些研究通過優(yōu)化數(shù)據(jù)集等方法著手特定應(yīng)用場景的超分算法研究，比如今年涌現(xiàn)出來的3D對象表面SR、高光譜圖像SR等等。

權(quán)威業(yè)內(nèi)人士告訴智東西記者，超分算法成了最容易灌水的機器學(xué)習(xí)研究領(lǐng)域之一。目前，深度超分模型框架上的大創(chuàng)新減少，大多數(shù)研究團隊都選擇通過數(shù)據(jù)集的優(yōu)化、已有框架的微創(chuàng)新來爭奪獎項。而在這個過程中，許多“調(diào)包”的水論文開始出現(xiàn)，它們本身的創(chuàng)新價值很小，而且難以解決實際應(yīng)用問題。

結(jié)語：超分技術(shù)成新焦點，但商業(yè)化存阻礙

近來，超分算法在學(xué)界和產(chǎn)業(yè)界引發(fā)一陣熱潮和共振，成為是深度學(xué)習(xí)圖像算法落地應(yīng)用的典型之一。

一方面，在ICCV、CVPR等國際計算機視覺頂會上超分相關(guān)論文量攀升，華人在其中的貢獻占據(jù)大半壁江山；另一方面，在產(chǎn)業(yè)中，互聯(lián)網(wǎng)巨頭、AI創(chuàng)業(yè)、手機廠商、元器件商甚至是影視媒體平臺都在積極發(fā)展超分算法，可謂“全行業(yè)總動員”。

但目前，超分算法領(lǐng)域仍然存在研發(fā)灌水多、技術(shù)難以商用等問題?！傲_馬不是一日建成的”，自Alpha Go打敗圍棋冠軍李世石以來，深度學(xué)習(xí)技術(shù)啟封并被應(yīng)用也不過幾年時間。未來，超分算法需要更多地結(jié)合已知場景、目標(biāo)、傳感器等先驗知識，形成有針對性的結(jié)合應(yīng)用場景的應(yīng)用工具。

原標(biāo)題：《《海上鋼琴師》、開國大典視頻的超清修復(fù)背后，AI超分算法的高光與陰影》

閱讀原文