當,程式設計師突然想畫畫,AI+機器人就該登場了

coyan發表於2021-09-09

640?wx_fmt=gif&wxfrom=5&wx_lazy=1


人生總有那麼一些時候,你突然間想文藝一下。比方畫一幅畫。


但,理想和現實之間,可能遠隔千山。比方,你其實沒有創作的靈感。以及,你其實沒有把靈感實現出來的基本技能。


每當這時,有人會妥協退縮,也有人會迎難而上。俗話說:“只要思想不滑坡,辦法總比困難多。”


今天,就是這樣一位不妥協的程式猿的故事。


澳大利亞人Jeremy Kraybill活了40多歲,突然對繪畫產生了興趣。橫亙在他面前的就是那兩個問題:既沒有藝術靈感,也沒有繪畫基礎。


但,他有技術。


先看結果。下面這幅畫,就是Jeremy的繪畫作品。為了完成這幅畫,他動用了人工智慧(神經網路)來產生創意,然後又動用了機械臂,把創意畫了出來。


640?wx_fmt=png


這幅成品,看起來是不是有模有樣,還頗有大師神韻?實力演繹“不想當畫家的創始人不是好的軟體工程師”年度大戲。


然而,這也並不是一番坦途。


這篇文章就帶你真實還原AI設計、機械臂全自動作畫完整過程。對了,我們還“採訪”了JK的“御用”機器人,問了問它這幾個月的修煉感受。

 

640?wx_fmt=gif

大概就是這樣的畫風


從歪七扭八開始


一切都得始於靈感。


在這個出發點上就不能輸。不過,怎麼才能擁有大師級的創作靈感?


作為資深程式設計師,Jeremy立刻就想到,可以靠AI啊!


沒錯,現在的AI其實已經有了某種程度的“想象力”和“創造力”了。AI的靈感來源,其實有點像那句話:模仿是藝術家向藝術家最高階別的致敬。


為了生成畫作,Jeremy選用了DCGAN(深度卷積生成對抗網路),直接用了tensorlayer在GitHub上開放的TensorFlow程式碼。


相關論文:


Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
Alec Radford, Luke Metz, Soumith Chintala


程式碼:


而所用的訓練集,由男男女女的肖像畫組成,全都是他喜歡的風格。挑選、修改、增強等等一套操作下來,他Jeremy得到了一個包含10萬幅畫的訓練集。


接下來,就是訓練和生成了。即使已經有了開原始碼,訓練一個GAN也並不容易。一不小心,就會遇到這樣慘不忍睹的崩潰NG場面:


640?wx_fmt=png


各種NG都解決了之後,就進入了最終的訓練和生成過程,在亞馬遜的AWS p2.xlarge例項上進行,整整花掉了7天時間。


Jeremy得到了——

640?wx_fmt=png


就是這個,一個64×64畫素的、歪七扭八的、全新的創意。From AI with Love.。GAN還為這幅作品起了個充滿詩意的名字:028749_0001_08。


上面這張小頭像和成品之間的差距,可能能繞地球好幾圈。但這已經是Jeremy可以得到的最好結果了。他還有過不少其他改善的嘗試,不斷碰壁後,最終他決定:

就用這個了!


這裡插播一下,為啥他沒有繼續嘗試,而是急急忙忙接受目前的結果?可能是因為Jeremy初心變了,他不只想畫一幅畫,而且還想參加機器人藝術大賽RobotArt。


於是,時間一下子就變得很緊張。


轉攻機械臂


接下來的問題是,怎麼把這個AI貢獻的靈感,變成一幅真正的畫作?

靠機械臂!


那也得教一下機械臂,怎麼畫畫。


第一次嘗試機器人手臂大概還是在去年7月份,Jeremy試圖熟悉機械臂的功能,並且想讓它看起來像人類的筆觸,他先就購買了一套溫莎牛頓的豪華刷頭馬克筆。


這套馬克筆的筆尖像毛筆,非常適合測試,又不用擔心調色的事。


640?wx_fmt=png2017年9月早期測試

雖然,沒試出什麼驚豔的結果,但Jeremy渾身上下寫滿了 (蜜汁) 自信,感覺用真正的水粉畫筆也沒問題。


640?wx_fmt=png


後來,他工作一忙,就開始捉急了。看看越來越近的截止日期,再看看還沒玩過水粉筆的自己,Jeremy決定用Aqua Brush(一種內建顏料盒的筆刷),來代替了水粉筆這種需要配置的操作。選了8種預先混合好的顏色,實驗又開始了。


640?wx_fmt=png

Aqua Brush筆刷

“您的撲街只用了一秒。”走出實驗室之前,他喪喪地扔掉了所有的Aqua Brush。這種工具需要的水量太大,效果很水。


技術宅覺得,如果用另外一種介質來代替水,可能會更好。不過,他還是毅然決定死磕水粉了,並堅信古老的筆刷和顏料會比現代工具更適合畫畫。調色盤裡顏色是根據要畫的作品和最少的混色步驟來選定的。


要指導機器畫畫,就需要給它一套指令,告訴它該在畫布的什麼位置、用什麼樣的筆觸、刷上什麼顏色。於是,Jeremy基於機器人要用的色板,將這幅影像用演算法翻譯成一套ABB機器人指令,開頭那張畫質很差的小人臉,搖身一變成了現在的樣子——
640?wx_fmt=png
在這個專案中,“從影像到筆刷”的轉換程式是唯一需要“從零開始”的,其他所有關於AI的步驟都主要基於過去幾年研究的已有檔案和程式碼。


在轉換之前,需要先處理一下DCGAN生成的渣畫質小圖:放大,將顏色減少到能和色板相匹配、並對影像進行平滑處理來增強所生成筆刷的平滑度……


640?wx_fmt=png640?wx_fmt=png


處理好了影像,還要準備備選的筆刷。這些大大小小的筆刷,是Jeremy在裡削出來的,構成了演算法的訓練資料集。這些筆刷再加上混色指令,就是演算法的全部輸入了。


距離截止日期12天時,Jeremy計劃的調色方案還很細膩:從奶油色開始,一步一步加深到深棕色,然後再用調色盤來調出餘下的顏色。但對於機器人來說,時間顯然不夠用。


640?wx_fmt=png


機器人按指令操作的結果,和他美麗的想象相去甚遠。以至於最後關頭,他還在緊急修改調色指令。


640?wx_fmt=jpeg


Jeremy還向想讓機器人在畫布上做一些混色,寫出了程式碼,但在有限的時間裡,並沒有實踐成功。


萬事俱備,就該進行“影像到筆刷”的生成了:演算法吃下準備好的影像,然後進行一個反覆的試錯,先考慮進多種可能的筆觸,再透過和圖片對比來篩選最接近的。


演算法輸出的結果包括一組要用到的筆刷、和機械臂要執行的混色指令,第一次嘗試的時候用了6000筆,最終的作品是4000筆。用這個訓練好的“影像到筆刷”生成演算法來渲染給機器人的指令,消耗了Jeremy八個小時的時間。


640?wx_fmt=gif


好在,最後的成功,沒有讓他失望。


Jeremy設計的畫作,也最終入圍了2018年度RobotArt設計大賽。


不過,故事還沒完。光提到Jeremy怎麼夠?


我們還(假裝)採訪到了參與本次創作的ABB機器人,它的心路歷程飽滿得快要噴發。以下,我們用自述體,還原這次採訪。


640?wx_fmt=gif


機器人的藝術修養


那是一個週四的下午,Jeremy到實驗室來告訴我,之前的試畫他很滿意,晚上就會把一幅大作的任務交給我。


之前從來沒有畫過一張完整的畫,每次都讓我試幾下就把筆收走。啊,想想還真有點小激動呢。


按這個節奏往下走,說不定哪天畫廊就會來找我簽約。


640?wx_fmt=gif


回到現實,沒想到他讓我一整晚不許停筆。4月5日的夜晚,我還是用色彩填滿了。


第二天,Jeremy說我發揮正常,不過他覺得青色(Cyan)用得有些重了,焦赭石色(burnt umber)又有點太輕了。


這不是大問題,反正我的混色習慣都是可以調的。可是他還說我畫得慢,只有一句話想送給毫無藝術天分的他。


640?wx_fmt=gif


三小時畫了1800筆,要不去問問別的機器人有沒有這麼快。一下子塞給我6000筆的任務,我也很絕望啊。


不過,好在他比我還緊張,這樣我也能平衡一點。


可能他也覺得有點對不起我,就給了我三天假。4月9日週一晚上,我又開始工作了。


640?wx_fmt=gif


Jeremy好像是剛剛知道,我有一個動作更快的模式。一開始,我的內心是拒絕的,那個模式真的很累。但他求了我,還說要帶我參加比賽,於是我決定給他看看我真正的速度。


那天晚上,我就把畫完成了。還是三個小時,但這次畫了4,000多筆。他果然被我精妙的技藝震撼了,除了速度,我還有更加流暢自然的筆觸。


640?wx_fmt=gif


這個傲嬌的技術宅,明明感受到了我的厲害,還要說我的畫有些小小的瑕疵。


他把水粉衝得太淡了,導致顏料在畫布上開心地流淌。還有,他又覺得把混色指示裡的焦赭石色調得太重了。只要他承認那是他的錯,就好。


生動的意外


不知為什麼,他好像不想讓我再畫了,要直接拿這幅畫去參加比賽。可我才剛出道,不想只留下一幅作品就隱退。


640?wx_fmt=jpeg


不過,沒過多久Jeremy就跑來告訴我,他改主意了。Jeremy在調色桶和調色盤的轉換之間,發現了一個bug,導致我的筆刷位置太低,才有了畫布下方那條亂入的棕色長線。


於是,Jeremy第二天一大早又來了。他說這次調整了系統,一幅畫只要4,000筆就好了,少了2,000筆。還算懂事。


640?wx_fmt=gif


另外,他還重新設計了顏料的混合方式,這樣我就可以畫出更有趣的色彩了,好興奮啊。


早上工作,神清氣爽。Jeremy讓我先做筆觸渲染,等他下班回來再開始畫畫。


晚上,準備工作兩小時,畫畫三小時。雖然,過程因為調整混色指示而中斷了幾次,但作品我還是滿意的,技術宅應該也滿意吧。


640?wx_fmt=gif


和預先準備好的影像相比,我畫出的成果有些不同。但在有意無意中,色彩變得更生動了。


投稿截止日期將近,Jeremy說許多變化都是時間不夠造成的程式碼意外,但我們兩個都享受這些可愛的意外。如果真的和原圖一樣,怎麼看得出我的天分呢?


後記


機器人不知道的是,那天晚上Jeremy把它的作品小心翼翼地捧回了家,像個得到了珍貴禮物的孩子。


後來,他還用蠟給作品上了一層表面,讓水粉多了一些光澤,多了一些深度。當然,那是比賽之後的事了。


至於,這是不是藝術。要說不是,那些孩子一樣的心情又是什麼呢?


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2236/viewspace-2801122/,如需轉載,請註明出處,否則將追究法律責任。

相關文章