王小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號 QbitAI

寫個網頁能有多麻煩？在大多數公司裡，這項工作分為三步：

1. 產品經理完成使用者調研任務後，列出一系列技術要求；

2. 設計師根據這些要求來設計低保真原型，逐漸修改得到高保真原型和UI設計圖；

3. 工程師將這些設計圖實現為程式碼，最終變成使用者使用的產品。

這麼多環節，任何地方出一點問題，都會拉長開發週期。因此，不少公司，比如Airbnb已經開始用機器學習來提高這個過程的效率。

△ Airbnb內部的AI工具，從圖紙到程式碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓練的細節，以及手工設計的影像特徵對該模型的貢獻度。這是該公司特有的閉源解決方案專利，可能不會進行公開。

好在，一個叫Ashwin Kumar的程式設計師建立了一個開源版本，讓開發者/設計師的工作變得更簡單。

以下內容翻譯自他的部落格：

理想上，這個模型可以根據網站設計的簡單手繪原型，很快地生成一個可用的HTML網站：

△ SketchCode模型利用手繪線框圖來生成HTML網站

事實上，上面例子就是利用訓練好的模型在測試集上生成的一個實際網站，程式碼請訪問：https://github.com/ashnkumar/sketch-code。

從影像標註中獲取靈感

目前要解決的問題屬於一種更廣泛的任務，叫做程式綜合（program synthesis），即自動生成工作原始碼。儘管很多程式綜合研究通過自然語言規範或執行追蹤法來生成程式碼，但在當前任務中，我會充分利用源影像，即給出的手繪線框圖來展開工作。

在機器學習中有一個十分熱門的研究領域，稱為影像標註（image caption），目的是構建一種把影像和文字連線在一起的模型，特別是用於生成源影像內容的描述。

△ 影像標註模型生成源影像的文字描述

我從一篇pix2code論文和另一個應用這種方法的相關專案中獲得靈感，決定把我的任務按照影像標註方式來實現，把繪製的網站線框圖作為輸入影像，並將其相應的HTML程式碼作為其輸出內容。

注：上段提到的兩個參考專案分別是
pix2code論文：https://arxiv.org/abs/1705.07962
floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的資料集

確定影像標註方法後，理想中使用的訓練資料集會包含成千上萬對手繪線框圖和對應的HTML輸出程式碼。但是，目前還沒有我想要的相關資料集，我只好為這個任務來建立資料集。

最開始，我嘗試了pix2code論文給出的開源資料集，該資料集由1750張綜合生成網站的截圖及其相應原始碼組成。

△ pix2code資料集中的生成網站圖片和原始碼

這是一個很好的資料集，有幾個有趣的地方：

• 該資料集中的每個生成網站都包含幾個簡單的輔助程式元素，如按鈕、文字框和DIV物件。儘管這意味著這個模型受限於將這些少數元素作為它的輸出內容，但是這些元素可通過選擇生成網路來修改和擴充套件。這種方法應該很容易地推廣到更大的元素詞彙表。

• 每個樣本的原始碼都是由領域專用語言（DSL）的令牌組成，這是該論文作者為該任務所建立的。每個令牌對應於HTML和CSS的一個片段，且加入編譯器把DSL轉換為執行的HTML程式碼。

彩色網站影像變手繪圖

為了修改我的任務資料集，我要讓網站影像看起來像手工繪製出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張影像進行修改，包括灰度轉換和輪廓檢測。

最終，我決定直接修改原始網站的CSS樣式表，通過執行以下操作：

1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV物件的邊緣；

2. 模仿繪製的草圖來調整邊框的粗細，並新增陰影；

3. 將原有字型更改為類似手寫的字型；

最終實現的流程中還增加了一個步驟，通過新增傾斜、移動和旋轉來實現影像增強，來模擬實際繪製草圖中的變化。

使用影像標註模型架構

現在，我已經處理好資料集，接下來是構建模型。

我利用了影像標註中使用的模型架構，該架構由三個主要部分組成：

1. 一種使用卷積神經網路（CNN）的計算機視覺模型，從源影像提取影像特徵；

2. 一種包含門控單元GRU的語言模型，對原始碼令牌序列進行編碼；

3. 一個解碼器模型，也屬於GRU單元，把前兩個步驟的輸出作為輸入，並預測序列中的下一個令牌。

△ 以令牌序列為輸入來訓練模型

為了訓練模型，我將原始碼拆分為令牌序列。模型的輸入為單個部分序列及它的源影像，其標籤是文字中的下一個令牌。該模型使用交叉熵函式作為損失函式，將模型的下個預測令牌與實際的下個令牌進行比較。

在模型從頭開始生成程式碼的過程中，該推理方式稍有不同。影像仍然通過CNN網路進行處理，但文字處理開始時僅採用一個啟動序列。在每個步驟中，模型對序列中輸出的下個預測令牌將會新增到當前輸入序列，並作為新的輸入序列送到模型中；重複此操作直到模型的預測令牌為，或該過程達到每個文字中令牌數目的預定義值。

當模型生成一組預測令牌後，編譯器就會將DSL令牌轉換為HTML程式碼，這些HTML程式碼可以在任何瀏覽器中執行。

用BLEU分數評估模型

我決定使用BLEU分數來評估模型。這是機器翻譯任務中常用的一種度量標準，通過在給定相同輸入的情況下，衡量機器生成的文字與人類可能產生內容的近似程度。

實際上，BLEU通過比較生成文字和參考文字的N元序列，以建立修改後的準確版本。它非常適用於這個專案，因為它會影響生成HTML程式碼中的實際元素，以及它們之間的相互關係。

最棒的是，我還可以通過檢查生成的網站來比較當前的實際BLEU分數。

△ 觀察BLEU分數

當BLEU分數為1.0時，則說明給定源影像後該模型能在正確位置設定合適的元素，而較低的BLEU分數這說明模型預測了錯誤元素或是把它們放在相對不合適的位置。我們最終模型在評估資料集上的BLEU分數為0.76。

福利：定製網頁風格

後來，我還想到，由於該模型只生成當前頁面的框架，即文字的令牌，因此我可以在編譯過程中新增一個定製的CSS層，並立刻得到不同風格的生成網站。

△ 一個手繪圖生成多種風格的網頁

把風格定製和模型生成兩個過程分開，在使用模型時帶來了很多好處：

1.如果想要將SketchCode模型應用到自己公司的產品中，前端工程師可以直接使用該模型，只需更改一個CSS檔案來匹配該公司的網頁設計風格；

2. 該模型內建的可擴充套件性，即通過單一源影像，模型可以迅速編譯出多種不同的預定義風格，因此使用者可以設想出多種可能的網站風格，並在瀏覽器中瀏覽這些生成網頁。

總結和展望

受到影像標註研究的啟發，SketchCode模型能夠在幾秒鐘內將手繪網站線框圖轉換為可用的HTML網站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由於這個模型只使用了16個元素進行訓練，所以它不能預測這些資料以外的令牌。下一步方向可能是使用更多元素來生成更多的網站樣本，包括網站圖片，下拉選單和窗體，可參考啟動程式元件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實際網站構建中，存在很多變化。建立一個能更好反映這種變化的訓練集，是提高生成效果的一種好方法，可以通過獲取更多網站的HTML/CSS程式碼以及內容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個問題的一種好方法是使用生成對抗網路GAN來建立更逼真的繪製網站影像。

相關地址

程式碼：https://github.com/ashnkumar/sketch-code

原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

作者系網易新聞·網易號“各有態度”簽約作者

— 完 —

活動報名

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態