機器學習演算法已能發現藝術歷史學家從未注意的畫作亮點

JustinWu發表於2014-09-13

人工智慧揭示偉大藝術家之間從未被認識到的影響

鑑別藝術作品的優劣是極端複雜的,在審視一副畫作時,藝術專家通常會判斷它所屬的型別、流派、作者和時代。藝術歷史學家更為深入,他們會尋找畫家間的影響和聯絡,這項工作更為棘手。

因此,使用計算機去鑑別畫作,尋找它們之間的聯絡,乍看起來很可笑。然而,在新澤西州的羅格斯大學,Bahak Saleh和pals已經完成了這項艱鉅的工作。

這些精英們使用了最新的影像處理和分類技術,完成了對“偉大的藝術家們是如何互相影響”的自動化探索。他們甚至發現了藝術歷史學家至今都未發現的一些影響。

藝術專家解決這類問題的方式,是通過一系列的“高階概念”對藝術作品進行比較,正如畫家所使用的空間、結構、樣式、形狀、以及顏色等等。專家們還會考慮畫家在畫作中所運用的藝術手法,協調、變化、平衡、對比、比例和模仿等。其他重要的要素還包括創作的題材、筆法、寓意、歷史背景等等。很顯然,這是一項複雜的工作。

所以可以想象,計算機對二維影像有限的分析能力不太可能完成對這一工作的自動化處理。然而,Salah和他的團隊卻做到了。

他們所使用的方法的核心,是一項由新罕布什爾州的達特茅斯學院和英國劍橋微軟研究所開發的新技術,這項技術能夠根據畫作包含的視覺概念對其進行分類。這些概念被稱之為“classemes”,它包含了幾乎所有的東西,從小的物質描述如鴨子、飛盤、人、獨輪手推車到顏色變化再到高層面描述如死屍、水體、路面等等。

由此,比較影像就轉變為了比較描述它們的“詞彙”,這已經有眾多成熟技術提供支援了。

Salah和他的團隊將這種方法應用在1700多幅畫作上,這些畫作經由66個畫家,包含13種風格,總的來說,這些畫家跨越了從15世紀早期到20世紀末期的時長。為了最準確的評估他們的成就,專家針對這些藝術家是如何互相影響的意見也被考慮在內。

對每一幅畫作的處理來說,為了達到最佳效率,他們將概念總數和興趣點限制在3000個以內。這個過程會產生一系列描述性詞彙,這些詞彙可以被視為一種向量,之後的工作是使用自然語言技術和機器學習演算法尋找相似的向量。

判定影響是很困難的,因為“影響”本身就是一個很難界定的概念。如果一副畫作與另一幅極其類似,它的畫家能被視為影響了另一個畫家嗎?還是說需要有一大批類似的畫作?如果是,那需要多少呢?

Salah和他的團隊試驗了大量不同的指標,最終他們建立了一類二維影像,其中每根軸上都有不同的指標,之後將所有畫家的作品都置於一處,觀察它們是如何聚合的。

結果非常有趣,在很多案例中,他們的演算法都清晰地識別出了藝術專家已經發現的影響。比如說,影像顯示奧地利畫家KlimtPicasso以及Braque的風格類似,確實,專家們也普遍認同Klimt深受後兩者的影響。這個演算法同樣指出了法國浪漫主義畫家Delacroix對法國印象派畫家Bazille的影響,以及挪威畫家Munch對德國畫家Beckmann的影響,還有DegasCaillebotte的影響。

這個演算法也能判斷個別畫作影響了其他東西,它挑選了1912年繪製的Georges BraqueMan with a ViolinPablo PicassoSpanish Still Life: Sun and Shadow,它們的聯絡眾所周知,通過它們,人們發現了立體主義運動。

該演算法也將Vincent van GoghOld Vineyard with Peasant Woman (1890)(左上) 和Joan MiroThe Farm (1922)聯絡在了一起,這兩幅畫作包含相同的物體和佈景,但情緒與風格極為不同。

最令人印象深刻的是它將Frederic BazilleStudio 9 Rue de la Condamine (1870)(左下)和Norman RockwellShuffleton’s Barber Shop (1950)聯絡在了一起。在瀏覽眾多出版物和網站後,我們得出結論,就目前我們掌握的知識,還沒有一個藝術歷史學家發現這樣的相似性。

然而通過目測我們也能看出其中清晰的聯絡,下圖中的黃圈展示了相似物體,紅線展示了構圖,藍色矩形展示了相關聯的結構性元素,Saleh和他的團隊如是說。

這非常有趣,當然,Saleh和他的團隊並沒有聲稱這種演算法可以替代藝術歷史學家,畢竟,通過這種方式找出畫作間的聯絡僅僅是深入研究畫家生平的第一步。

但是,這已經非常激動人心,機器學習技術能夠在龐大的主題上提供線索,並深入研究藝術歷史。

相關文章