對(duì)于大多數(shù)人來(lái)說(shuō)，當(dāng)我們看到梵高的《星空》、畢加索的立體主義、蒙克的《尖叫》……雖然沒(méi)法像藝術(shù)史教授那樣分析每一位畫(huà)家的技術(shù)，但是都會(huì)一看就感覺(jué)到，每位藝術(shù)家都有一種強(qiáng)烈、獨(dú)特的個(gè)人風(fēng)格。即使不知道作者是誰(shuí)，也會(huì)感覺(jué)“恩，這幅畫(huà)感覺(jué)很梵高”。
那么機(jī)器人看畫(huà)展會(huì)是什么感覺(jué)呢？深度神經(jīng)網(wǎng)絡(luò)正在改變機(jī)器識(shí)別和解讀世界的方式。機(jī)器視覺(jué)現(xiàn)在已經(jīng)能在某些任務(wù)上超過(guò)人類，例如物品和面部識(shí)別，這在幾年前還是不可想象的。
最近，機(jī)器也開(kāi)始嘗試?yán)斫馑囆g(shù)風(fēng)格，并玩了一把山寨。我們還不知道這項(xiàng)技術(shù)能做到多少。例如，能不能給機(jī)器一張圖片，然后將圖片風(fēng)格復(fù)制到另一個(gè)視頻中？并且，維持良好順暢的視覺(jué)體驗(yàn)？
今天，德國(guó)弗萊堡大學(xué)的Manuel Ruder及伙伴們成功了。他們復(fù)制了梵高的《星空》和蒙克的《尖叫》等著名作品中的風(fēng)格，粘貼至各種電影和電視劇的視頻片段中，例如超萌的動(dòng)畫(huà)電影《冰川世紀(jì)》，以及由作家阿加莎·克里斯蒂小說(shuō)改編而成的英國(guó)懸疑犯罪電視劇《馬普爾小姐》。項(xiàng)目帶來(lái)了超級(jí)驚艷的視頻，讓我們看到，幾乎任何你能想到的視覺(jué)風(fēng)格都可以復(fù)制粘貼。
深度神經(jīng)網(wǎng)絡(luò)由許多層組成，每一層從圖像中抽取信息，然后將剩余信息傳遞給下一層。第一層抽取顏色等較明顯的模式，越深的層所抽取的信息越細(xì)節(jié)化，以此實(shí)現(xiàn)視覺(jué)識(shí)別。比較深的層所抽取的信息非常重要，這實(shí)際上就是圖像減去例如顏色、材質(zhì)等等所有環(huán)境信息。從某種意義上來(lái)說(shuō)，這就是電腦在畫(huà)簡(jiǎn)筆畫(huà)。
去年，德國(guó)圖賓根大學(xué)的Leon Gatys及伙伴們開(kāi)始用這種方式研究藝術(shù)風(fēng)格。他們發(fā)現(xiàn)，要抓住藝術(shù)風(fēng)格的本質(zhì)不一定得了解每一層所抓取的信息，而是研究各層之間的關(guān)聯(lián)性。藝術(shù)家畫(huà)人臉的方式，與他或她畫(huà)一棵樹(shù)、一棟房子或者星星月亮的方式應(yīng)該是有關(guān)聯(lián)的。抓住了關(guān)聯(lián)性，也就是抓住了風(fēng)格的本質(zhì)。
不過(guò)，他們的關(guān)鍵發(fā)現(xiàn)是，圖像的內(nèi)容可以完全與其藝術(shù)風(fēng)格分離。他們還發(fā)現(xiàn)，藝術(shù)風(fēng)格可以被復(fù)制粘貼，放到隨便什么其他圖像上去。
所以提升逼格的利器來(lái)了！你可以拍一張你家喵星人的睡姿，然后把它變成高大上的現(xiàn)代抽象主義康定斯基畫(huà)風(fēng)?；蛘邅?lái)一張蒙克尖叫式的自拍也行。除了搞笑，這項(xiàng)技術(shù)還可以玩些啥呢？
還可以將畫(huà)風(fēng)粘貼到連續(xù)的圖像上，做一個(gè)視頻。但這引起了別的問(wèn)題。連續(xù)幀之間的小差異，有可以導(dǎo)致藝術(shù)風(fēng)格全盤(pán)崩壞，甚至讓整個(gè)視頻看起來(lái)磕磕碰碰、毫不連貫。其中一個(gè)問(wèn)題就是物體在移動(dòng)或被遮蔽時(shí)，如何處理物體的邊緣。
現(xiàn)在，Ruder和同事們解決了這個(gè)問(wèn)題。“基于一個(gè)藝術(shù)圖像，我們可以成功將其風(fēng)格轉(zhuǎn)化到整個(gè)視頻中去。”他們說(shuō)。他們的方法是使用一個(gè)算法來(lái)分析連續(xù)處理幀之間的差異，避免大的變化，同時(shí)忽略畫(huà)面中被遮蔽的部分。他們說(shuō)：“這讓我們可以重建取消遮蔽的區(qū)域和變形的移動(dòng)邊界，同時(shí)保留圖像中其余部分的樣子。”
結(jié)果超級(jí)神奇。團(tuán)隊(duì)使用算法來(lái)從各種不同的藝術(shù)作品中抽取出藝術(shù)風(fēng)格，包括康定斯基、畢加索、馬蒂斯、特納以及人氣最高的蒙克和梵高。他們用1024 x 436像素的NVIDIA TITAN X GPU處理系列中的每一個(gè)圖像，以及一個(gè)CPU在同時(shí)平行運(yùn)行。剛開(kāi)始，處理每一幀需要8分鐘。但是經(jīng)過(guò)優(yōu)化之后，處理每一幀只需要3分鐘。團(tuán)隊(duì)的方法在計(jì)算方面變得越來(lái)越強(qiáng)大。
當(dāng)然，還是有一些可以改進(jìn)的地方。如果幀與幀之間的變化非?？焖倩蚍浅４?，算法的表現(xiàn)還是差強(qiáng)人意。而且，計(jì)算時(shí)間應(yīng)該還可以進(jìn)一步優(yōu)化降低。不過(guò)這些問(wèn)題不影響我們欣賞視頻里的驚艷效果。
人們不禁思考，這項(xiàng)技術(shù)還有哪些應(yīng)用空間。我們可以想到的是，也許之后會(huì)有一些基于云端的APP，讓你可以用你的手機(jī)拍視頻，然后加入藝術(shù)風(fēng)格。但是，有沒(méi)有可能將蒙克的《尖叫》風(fēng)格轉(zhuǎn)化到3D空間，通過(guò)虛擬現(xiàn)實(shí)（VR）實(shí)現(xiàn)出來(lái)呢？
另一方面，這項(xiàng)技術(shù)也為攝影和藝術(shù)領(lǐng)域打開(kāi)了新的可能性。如果藝術(shù)風(fēng)格變成了一種商品，人們可以購(gòu)買下來(lái)，然后復(fù)制粘貼到不同的圖像上，那么藝術(shù)家本身的價(jià)值是否會(huì)改變？甚至，我們還可以買下幾個(gè)不同的風(fēng)格，混搭起來(lái)再進(jìn)行編輯，也許又會(huì)有新的玩法。
到那時(shí)，我們可以掏出手機(jī)或者VR設(shè)備，來(lái)一張古典主義+野獸派+超現(xiàn)實(shí)主義+立體主義+未來(lái)主義+波普藝術(shù)（什么鬼）的混搭風(fēng)格自拍。
智能界（m.jwnfls.cn）中國(guó)智能科技聚合推薦平臺(tái)，秉承“引領(lǐng)未來(lái)智能生活”的理念，專注報(bào)道智能家居、可穿戴設(shè)備、智能醫(yī)療、機(jī)器人、3D打印、智能汽車等諸多科技前沿領(lǐng)域。聚合品牌宣傳、代理招商、產(chǎn)品評(píng)測(cè)、原創(chuàng)視頻、FM電臺(tái)與試用眾測(cè)，深入智能硬件行業(yè)，全平臺(tái)多維度為用戶及廠商提供服務(wù)，致力成為中國(guó)最具影響力的智能硬件聚合推薦平臺(tái)。
評(píng)論列表(已有條評(píng)論)
最新評(píng)論