LV. 46
GP 5k

【情報】NVIDIA推出AI補幀技術

樓主 疾風 ts00937488
GP18 BP-
普通影片轉成慢動作也能維持流暢度!NVIDIA 推出人工智慧平滑補幀技術
https://www.inside.com.tw/2018/06/20/nvidia

總有那麼多美好的瞬間,想要用慢動作影片記錄下來,再慢慢回放欣賞。但手機所拍攝的慢動作影片,總是讓我們不太滿意。這回 NVIDIA 的人工智慧可以幫我們解決這個遺憾。

6 月 18 日, NVIDIA 發布了一個影片,顯示他們正在建造的一個人工智慧可以將普通的影片轉化為平滑自然的慢動作影片。



在轉換一段汽車漂移的影片時,我們可以明顯看到,使用 30 fps 拍攝的影片,再使用 12.5% 的速度進行慢放時,有明顯的卡頓。而下方經過轉換後的影片,使用 240 fps 的效果進行播放,汽車的漂移過程真的是「順滑如絲」。

另一個女舞蹈演員跳舞的影片,我們也可以看到,轉換後的慢動作影片,人物旋轉時頭髮以及衣裙的細節,也更加清晰。

這段影片還有兩個場景,是將 YouTube 著名慢動作 YouTuber「The Slow Mo Guys」的一系列影片進行轉換,並且進行對比。一個場景是人往下跳,壓破氣球,一個用網球拍去拍擊有顏色的墨水。

從這段影片看來,人工智慧對影片中物體的定位,以及補幀的技能都相當了得。 NVIDIA 還表示,該項技術可以對各種規格的慢動作影片進行優化。

這個人工智慧框架,主要由 NVIDIA Tesla V100 GPU 以及 cuDNN 加速的 PyTorch 深度學習框架組成。通過使用 1.1 萬段 240fps 的影片對其進行訓練,其中包括日常影片以及體育活動影片。

不得不說,黃教主領導下的 NVIDIA ,所研發的人工智慧,在圖像識別方面,一直在業界領先。

今年 1 月, NVIDIA 就曾推出新的訓練方式,讓人工智慧可以從已有的圖像中,生成新的圖像,甚至可以利用不同的人像,生成新的肖像。而這些圖像依然是穩定、高質量的。

除了這種無中生有生成人像的技術, NVIDIA 的人工智慧還能夠在影片中「偷天換日」,將天氣進行修改,而影片中的樹木、路燈等其他的物體,卻並無較大變化。

去年年底, NVIDIA 就向外界展示過他們的人工智慧特技。他們可以將影片裡的白天變成黑夜,下雪的天氣變成晴天,還能修改動物的斑紋,將美洲豹變成非洲獅。

而這次 NVIDIA 向外展示的新能力,如果真的可以在消費級投入使用的話,對於影視業的人們而言,影片的後期做起來就會更加省事了。

-----分隔線-----

看到有些人把 NVIDIA 這項技術與傳統補幀相提並論,這邊說明一下

補幀,正式來說是「移動估計/補償」可以通過區塊匹配、子波變化、神經網路等方式來實現

其中區塊匹配因為算法簡單,便於實現得到了廣泛應用

AMD、SVP 甚至是 SONY Motionflow 都是基於區塊匹配的技術

簡單來說就是將畫面切割成大小相等的區塊,將相鄰的兩張畫面進行塊匹配,記錄其移動向量

雖然每家廠商的演算法不盡相同,但是核心概念大同小異,不太會有適應性的問題

而神經網路則是藉由大量的影片樣本訓練,學習這些數據

它不需要前後的關鍵幀,能直接「預測」圖像可能的運動模式

與其說是插補,不如說是圖像修復,利用演算法在幀與幀之間填空



圖像修復技術 NVIDIA 已經發表過了,現在只是把它進階應用在影片上而已

https://technews.tw/2018/04/25/nvidia-ai-image-inpainting/

(這也不是什麼新鮮的玩意,很多大學實驗室十幾年前就玩過了)

但是用深度學習處理補幀,會有幾個問題

一是樣本的質量直接影響插補圖像的效果,太差的學習樣本出來的結果當然不好

二同樣是樣本造成的適性問題,例如拿真人影片訓練的模型不見得能用在動畫上

三就是硬體效能無法負荷,看看 waifu2x 不知道民國幾年才能用在實時運算上

所以黃教主的這些牛逼技術,現階段作秀大於實質意義

不過我也希望,哪天 N卡能內建補幀,這樣市場上就多個選擇
18
-
未登入的勇者,要加入討論嗎?
板務人員:

1319 筆精華,08/17 更新
一個月內新增 0
歡迎加入共同維護。


face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】