模糊圖像處理：新的去噪方法可(kě)以更快(kuài)地(dì)生成更清晰的真實感圖像

• 2020/06/15

蒙特卡羅計算方法是遊戲和(hé)電影中許多現實圖像的基礎。他(tā)們将複雜(zá)的燈光(guāng)和(hé)相機物(wù)理模拟自(zì)動化，從(cóng)不同的圖像特征和(hé)場景的樣本中生成高質量的效果圖。但(dàn)是蒙特卡羅渲染的過程是緩慢(màn)的，可(kě)能(néng)需要(yào)數(shù)小時(shí)甚至數(shù)天的時(shí)間(jiān)才能(néng)生成一(yī)幅圖像，而且通(tōng)常結果仍然是像素化的，或者是“有噪聲的”。

一(yī)個由麻省理工(gōng)學院、Adobe和(hé)阿爾托大學的計算機科學家組成的全球團隊已經開(kāi)發出一(yī)種創新的方法，通(tōng)過使用一(yī)種基于深度學習的方法，可(kě)以在更短的時(shí)間(jiān)內(nèi)生成更高質量的圖像和(hé)場景設計，這(zhè)種方法大大降低(dī)了(le)圖像中的噪音。他(tā)們的方法産生了(le)更清晰的圖像，有效地(dì)從(cóng)樣本特征中捕捉複雜(zá)的細節，包括複雜(zá)的照明(míng)組件，如(rú)陰影、間(jiān)接照明(míng)、運動模糊和(hé)景深。

研究人(rén)員(yuán)将于7月28日至8月1日在洛杉矶舉行(xíng)的SIGGRAPH 2019大會上(shàng)展示他(tā)們的研究成果。這(zhè)個一(yī)年(nián)一(yī)度的聚會展示了(le)世界領先的專業人(rén)士、學者和(hé)計算機圖形學和(hé)交互技術(shù)前沿的創造性思維。

“我們的算法可(kě)以用很(hěn)少(shǎo)的樣本從(cóng)嘈雜(zá)的輸入圖像中生成幹淨的圖像，并且可(kě)以在場景設計叠代的同時(shí)生成快(kuài)速渲染的預覽，”該研究的主要(yào)作(zuò)者、Adobe的研究科學家Michael Gharbi說。Gharbi是在麻省理工(gōng)學院Fredo Durand實驗室讀博士時(shí)開(kāi)始這(zhè)項研究的，Fredo Durand也是該研究的作(zuò)者之一(yī)。

該團隊的工(gōng)作(zuò)重點是所謂的“去噪”，一(yī)種在蒙特卡羅渲染中減少(shǎo)圖像噪聲的後處理技術(shù)。它本質上(shàng)保留了(le)圖像的細節，并删除任何影響其清晰度的東西(xī)。在以前的工(gōng)作(zuò)中，計算機科學家已經開(kāi)發出一(yī)種方法，通(tōng)過提取樣本圖像和(hé)相鄰像素的平均值來消除噪聲。

“這(zhè)種方法相當有效，已經有幾部電影在制作(zuò)中使用了(le)這(zhè)種方法，”合著者李子茂(音)說。他(tā)剛從(cóng)麻省理工(gōng)學院獲得博士學位，也曾在杜蘭特手下(xià)學習。然而，如(rú)果圖像太過嘈雜(zá)，後處理方法往往無法恢複幹淨和(hé)清晰的圖像。通(tōng)常情況下(xià)，對于一(yī)幅質量合理的圖像，用戶平均每像素仍需要(yào)數(shù)百個樣本——這(zhè)是一(yī)個乏味、耗時(shí)的過程。”

有些類似的是在圖形軟件程序中編輯照片的過程。如(rú)果用戶沒有使用原始的原始文件，修改後的照片可(kě)能(néng)不會産生清晰、清晰、高分辨率的最終圖像。一(yī)個類似但(dàn)更複雜(zá)的問(wèn)題是圖像去噪。

為(wèi)此，研究人(rén)員(yuán)的新計算方法涉及直接處理蒙特卡羅樣本，而不是大多數(shù)信息已經丢失的平均的、有噪聲的圖像。與典型的處理圖像或視(shì)頻(pín)的深度學習方法不同，研究人(rén)員(yuán)展示了(le)一(yī)種新型的卷積網絡，這(zhè)種網絡可(kě)以學習直接從(cóng)蒙特卡羅原始樣本集(而不是基于像素的簡化表示)對呈現進行(xíng)降噪。

他(tā)們工(gōng)作(zuò)的一(yī)個關鍵部分是一(yī)個新穎的內(nèi)核預測計算框架，該框架将單個樣本(顔色和(hé)紋理)“拼接”到附近的像素上(shàng)，以銳化圖像的整體構成。在傳統的圖像處理中，內(nèi)核用于模糊或銳化。飛濺是一(yī)種技術(shù)，解決運動模糊或景深問(wèn)題，使它更容易均勻的像素化區(qū)域的樣本。

在這(zhè)項工(gōng)作(zuò)中，團隊的濺射算法為(wèi)每個樣本生成一(yī)個二維內(nèi)核，并将樣本“濺射”到圖像上(shàng)。“我們認為(wèi)這(zhè)是一(yī)種更自(zì)然的後處理方式，”李說。該團隊使用一(yī)個随機場景生成器訓練他(tā)們的網絡，并在各種現實場景中廣泛測試了(le)他(tā)們的方法，包括各種照明(míng)場景，如(rú)間(jiān)接照明(míng)和(hé)直接照明(míng)。

“我們的方法在樣本數(shù)量非常少(shǎo)的情況下(xià)提供更清晰的輸出，而以前的方法通(tōng)常很(hěn)難做(zuò)到這(zhè)一(yī)點，”Gharbi補充說。

在未來的工(gōng)作(zuò)中，研究人(rén)員(yuán)打算利用他(tā)們的方法來解決可(kě)伸縮性，以擴展到更多的樣本特性，并探索技術(shù)來增強去噪圖像的幀與幀之間(jiān)的平滑度。

這(zhè)篇論文，“基于樣本的蒙特卡羅去噪使用核噴濺網絡，”也是由Miika Aittala在麻省理工(gōng)學院和(hé)Jaakko Lehtinen在阿爾托大學和(hé)Nvidia共同撰寫。有關更多細節和(hé)視(shì)頻(pín)，請(qǐng)訪問(wèn)團隊的項目頁面。

【文章(zhāng)來源：AI工(gōng)程學習百家号】