近日,位元組跳動旗下智慧AI助手豆包升級文生圖能力,支援一鍵生成指定文字。使用者可以在生圖提示詞中加入文字要求,如“一張帶有「新年快樂」的圖”,即可生成帶有指定文字的圖片。目前該功能已經在豆包APP開啟測試,即夢也已小範圍測試。
(用豆包生成帶有文字的圖片)
對文生圖模型而言,如何在影像中精準生成文字一直是難題,尤其是中文文字,經常出現亂碼。據介紹,相比英文字母,漢字字元結構更復雜,且字元數量要多兩個數量級。豆包大模型團隊相關負責人表示,豆包文生圖模型透過打通LLM和DIT構架,具備更好的原生中文資料學習能力,並在此基礎上強化了漢字生成能力,大幅提升了生成效果。
據觀察,已有不少使用者嘗試使用該能力製作表情包、梗圖漫畫,或輔助生成海報,並在社交媒體平臺釋出。據介紹,當前該功能僅支援文生圖時新增文字,暫不支援上傳圖片生成文字。
(即夢內測使用者在社交媒體釋出的圖片)
豆包負責人表示,該能力剛剛推出,仍在完善和最佳化中。目前絕大多數情況下豆包能夠準確生成指定文字,但仍存在少部分錯字、漏字或小字亂碼等情況。“不管文字、圖片、還是音樂生成功能,豆包都希望能夠降低創作門檻,幫助人們更好地表達和創造。”
據悉,豆包網頁及電腦版也將在近期上線該能力。