做算法要不要做“美學家”？鄙視用人工智能重新定義計算攝影
智東西（公眾號：zhidxcom）
文 | 云鵬
芯片性能、成像系統(tǒng)和屏幕效果是必不可少的，如果我們想帶出當前旗艦手機競爭的三個核心點。
5G時代，短視頻拍攝大行其道，攝影和視頻創(chuàng)作逐漸進入普通人的生活。所以攝影幾乎成了手機廠商的關鍵技術高地。
當然，要攻占這座山似乎并不容易。每個家庭都成立了自己的圖像算法研究團隊，并與索尼和徠卡合作，共同訓練算法。
事實上，這種使用算法來擴展相機硬件獲取信息的能力并盡可能豐富和全面地呈現世界的方式在業(yè)界被稱為計算攝影。
其實對計算攝影的研究是非常困難的，因為需要有一個專注專注的研究團隊和一定的數據庫，對算法開發(fā)工具和平臺的要求也不低。
哪里有需求，哪里就有市場。很多在視覺算法領域有所積累的企業(yè)開始抓住計算攝影的關鍵軌跡，嘗試給出自己的解決方案，AI似乎在這方面發(fā)揮著越來越重要的作用。
為了揭開這層面紗，了解AI對于計算攝影的根本意義，以及不同玩家如何應對“光影藝術”，智迪與忽視技術的AI企業(yè)工程師進行了深入交流。
第一，都是800萬像素。為什么拍的比較好？
其實大家真的覺得“拍照不限于硬件”，從iPhone開始。從iPhone 5到iPhone 6s，蘋果一直在使用800萬像素的攝像頭。
但憑借這款祖?zhèn)鞯?00萬像素攝像頭，蘋果“擊敗”了當時安卓旗艦手機的攝像頭質量，在一個小攝像頭模塊背后的硬件調諧和算法上起到了關鍵作用。
2018年，Google Pixel 3系列憑借最佳鏡頭模式、超級變焦、夜間攝影等功能，成為當時“表面最強單攝像頭”手機。
從過去到現在，手機都可以拍的很好，像素一樣，光學尺寸接近，但是成像效果相差很遠。
曾經廠商添加各種功能給手機拍照，但最后發(fā)現一個鏡頭才是用戶最需要的，而這個體驗背后，算法需要提前做大量的工作。
其實在計算攝影領域，鄙視已經深入培養(yǎng)了很多年，只是稍微低調一點。在過去的幾年里，手機刷臉解鎖和刷臉支付已經普及，其背后的算法也有很多應用。今天，我們忽略了將人工智能能力集成到圖像算法中的需要。在他們看來，AI是計算攝影未來的方向。
第二，對付“光”，硬件需要AI幫忙
那么AI是如何賦能手機成像系統(tǒng)的呢？聽起來有點抽象。通過與鄙視工程師的交流，我對他們基于深度學習神經網絡能力的“AI CV”超畫質技術有了更深入的了解。
其實一般來說，這種技術是通過AI學習高質量數碼相機的成像特性，恢復場景原有的細節(jié)紋理，提高整體畫質。
也就是說“原硬件看不到的，AI會告訴它有什么”，可以得到原圖像以外的效果，讓用戶更簡單方便地得到一張“好照片”。
特別是鄙視提到，他們的超畫質產品已經在50多款流行手機上使用過，在相機評測機構DXOMark中獲得了當時最高分。
具體來說，鄙視超畫質技術主要是針對全局和細節(jié)進行優(yōu)化。
比如畫面細節(jié)增強、動態(tài)范圍提升、降噪效果提升屬于全局優(yōu)化的范疇，閉眼融合修復、天空噪聲優(yōu)化、波動鬼影優(yōu)化屬于細節(jié)優(yōu)化。
鄙視工程師告訴郅都，為了“超畫質”，鄙視追求的是一個好看的整體形象，主要是為了光線處理。
“光有三個域，即時域、頻域和空域。忽略超畫質的核心工作是增強或優(yōu)化三個域的信號?！?
比如對于噪聲優(yōu)化，藐視算法的核心是對時域和空域信號的補充。
AI首先會學習自然光譜，總結其特征，然后就可以區(qū)分相機傳感器捕捉到的信號，哪些是噪聲，哪些是成像需要的信號。最后恢復必要部分，去除噪聲部分，這是AI在降噪算法中的典型應用。
第三，計算攝影的本質是“光感”的協(xié)同設計
從超畫質技術可以看出，鄙視對計算攝影的發(fā)展道路有自己的理解和判斷。
其實拍攝本質上就是一個“光感”的過程。光：光本身和光路；Sense:接收光進行光電轉換；知道：計算并處理光信號。
圖像理解，其實可以比作人眼看到物體的過程。人眼中的晶狀體和角膜是光學系統(tǒng)，而感知部分是視網膜，處理部分是大腦。
過去手機攝像頭的硬件之間的通信是通過相對固定的信息參數進行的。燈光部分以鏡頭為媒介，給感官部分(傳感器)賦予參數，并基于這些感官部分進行優(yōu)化設計。這是一個單一的“小水管”形式，每個部分單獨進行，單獨推廣。
現在通過AI算法，在硬件之間建立一個類似于神經網絡的鏈接，從最佳的圖像效果出發(fā)，對各個硬件的參數進行優(yōu)化。
不屑的工程師特別強調，感光系統(tǒng)是一個整體，必須協(xié)同工作。邏輯上，通過擴展整個信息管道的吞吐量，可以在不同的硬件設備之間形成更有效的全局優(yōu)化，將整個系統(tǒng)的效果提升到更高的水平。
迪法恩斯稱這個想法和方法：用AI重新定義光學傳感系統(tǒng)。AI計算攝影就是忽略了這種方法在手機成像領域的應用的體現。
第四，為了讓AI更好地理解“美是什么”，首先要把自己培養(yǎng)成“美學家”
由此可見，AI的加入將成像系統(tǒng)中的算法之爭提到了一個更高的維度，這也需要大量的R&D人員和R&D基金的投入來慢慢打磨。
九年前，鄙視進入了AI視野的軌道。從人臉識別到計算攝影算法，他們一直在拓展自己在AI算法領域的研究邊界。
迪法恩斯研究所目前有500多名研究人員，據說這個規(guī)模在世界上相對領先。
為了提高超級圖像質量的實際性能，迪法恩斯建立了自己的光學實驗室、圖卡實驗室等專業(yè)實驗室。
不屑的工程師告訴郅都，為了讓AI更好地理解“什么是美”，他們從事超畫質研發(fā)的學生應該先把自己培養(yǎng)成能識別美的“美學家”，再去訓練算法。只有當他們能夠熟練地識別什么是好照片時，他們才能開發(fā)出實際性能更接近用戶需求的超圖像質量算法。
比如顏色的表現力和自然現實之間的取舍是什么？這是一個很糾結的問題。這個時候不能盲目訓練算法，要先靠人來判斷。
不屑的超畫質工程師會處理專業(yè)的畫質評測集，與客戶討論。“先訓練自己，知道怎么做好，才知道自己的照片好不好?！?
憑借R&D人員的認真和執(zhí)著，以及無視Brain平臺的能力，不到兩年的時間，鄙視超畫質技術迭代到3.0版，整體R&D和交付效率提升了六倍。
從算法驅動到價值驅動。輕蔑的工程師說，客戶曾經有一句話讓他們印象深刻：“如果你選擇了一個好的方向，你就會非常堅定，最終做出一個好的產品?！?
其實這種口碑的培養(yǎng)是需要一步一步積累的。
結論：AI計算攝影的未來還有很大的想象空間
隨著攝像機軟硬件系統(tǒng)的日益復雜，通過深度學習神經網絡尋找最優(yōu)參數解的優(yōu)勢逐漸凸顯。在手機AI計算攝影這條路上，鄙視找到了自己的核心關鍵。
目前手機仍然是技術創(chuàng)新密度和價值密度最高的產品之一。智能手機攝影仍將成為近幾年各種產品的主要賣點，所以市場對AI攝影算法的需求只會增加。
這條軌道是蘋果等手機廠商推動的，無視等AI公司也在不斷投資，很多創(chuàng)業(yè)公司還在探索更多細分的機會。AI計算攝影的軌跡很熱鬧。