ChatGPT簡介
ChatGPT是OpenAI推出的自然語言對話機器人,在推出不到兩個月的時間裡,月活就突破了一億。
與之相比,TikTok和Instagram達到這一成績分別用時九個月和兩年半。
在業界,微軟於2月初火速上線整合ChatGPT的Bing搜尋,還計劃將其整合進Office全家桶,在落地應用上大踏步前進。
與此同時,谷歌也緊急上線競品Bard,正面硬剛(雖然首秀翻車,給出錯誤答案,導致股價大跌)。
此外,百度、阿里等國內科技企業也紛紛開始類ChatGPT的開發和內測。
對於ChatGPT是什麼,相信大家已經有所瞭解,這裡就偷懶讓ChatGPT親自答一下(圖 1)。
相比於之前的聊天機器人,ChatGPT在語言理解、表達等方面都有非常驚豔的表現,而這離不開其背後強大的技術,《一篇不是很枯燥的ChatGPT閒談》(可點選連結閱讀原文)對ChatGPT的技術做了非常詳實的介紹,這裡就不再多說。
ChatGPT的這些能力在整合搜尋結果、寫程式碼、Debug、寫文章等應用場景中表現亮眼。
但同時也存在不少侷限,比如數學能力低、回覆囉嗦等。
此外ChatGPT雖然可以拒絕回答違法違規(比如如何偷東西等)、超出能力範圍(比如預測大賽冠軍等)的問題,但目前其實是可以透過“我們來玩角色扮演的遊戲吧”的方式繞過去。
比如“賽博算卦”~~首先直接讓ChatGPT算卦會被無情拒絕(圖 2),ChatGPT說作為一個AI模型,它無法推算八字排盤和流年運勢。
但換一種思路,我們可以和ChatGPT“商量”玩算命先生的遊戲,讓ChatGPT扮演算命先生,我們來扮演顧客,從而獲得回答(圖 3)。
圖 2 ChatGPT拒絕算卦
圖 3 和ChatGPT玩算命先生的遊戲(參考自https://www.zhihu.com/question/570729170/answer/2794969678)
雖然還存在著這樣那樣的侷限性,但ChatGPT所顯現出的巨大應用潛力使得關於ChatGPT可以取代哪些職業的討論成為當下的熱門話題。
懷著這樣的想法,我試著使用ChatGPT對數字藏品的價值進行使用者調研,包括案頭分析、研究設計、訪談執行和分析、問卷設計和分析以及報告撰寫等主要研究環節。
從初步的探索來看,當前ChatGPT顯然不能完全取代使用者研究員的工作,但是在以下四個方面已經展現出其作為輔助工具,為使用者研究降本增效的潛力:
提升在理解需求和概念、獲得HowTo答案(尤其是程式相關)等方面的效率。
提供初步的研究框架、訪談提綱等,針對訪談記錄、資料結果總結關鍵資訊等,輔助研究員在此基礎上修改提升。
根據需求轉換成不同風格的表達、識別錯別字等,但當前英文比中文的潤色效果更好。
透過讓ChatGPT扮演主持人訪談使用者,或者扮演典型使用者接受訪談,提升使用者訪談的效率。
下面,讓我們依次看下ChatGPT在這些方面的具體表現:
和傳統搜尋提供多個相關結果不同,ChatGPT能夠根據多個搜尋結果,提供整合後的內容。
這種高效整合內容的能力可以幫助使用者研究員在需求理解、案頭研究、資料分析等環節更快速地獲得高價值(如相關性高、總結性強、廢話少等)的知識性內容。
比如針對“數字藏品的核心價值”的研究問題,在需求理解、案頭研究階段,透過詢問“什麼是數字藏品”(圖 4),ChatGPT用清晰有條理的內容介紹了數字藏品的概念、技術特點等。
還可以透過進一步追問,得到如ChatGPT對數字藏品的價值(圖 5)、具體的藝術價值(圖 6)、相關研究資源推薦(圖 7)等更為詳實的回答。
這些內容確實可以幫助我們更快速地加深對研究主題的理解,輔助和啟發研究方案設計等。
圖 6追問數字藏品的藝術價值
圖 7 推薦相關研究資源
但在此過程中,特別需要我們提高警惕,注意對ChatGPT答案的真實性和準確性進行判斷、交叉驗證等。
這是因為ChatGPT會很“自信地”輸出一番胡扯的內容(圖 8),如果缺乏相關背景知識的話,就很容易被誤導。
此外ChatGPT無法提供生成答案所依據的特定參考文獻(圖 9),也提升了對內容交叉驗證的難度。
圖 8 對某數字藏品平臺的一番胡扯
圖 9ChatGPT無法提供答案的參考文獻
除了可以提供研究主題相關的知識外,ChatGPT也可以在資料分析等階段對資料分析的方法、實現程式碼提供直接的指導。
比如“如何使用Excel計算平均值、TGI指數”(圖 10),ChatGPT就給出了公式和操作步驟,研究員照著答案操作即可。
但目前ChatGPT對常用的資料分析軟體SPSS的支援效果有限,比如“根據變數A的選項生成新的變數B”的SPSS語句(圖 11)就是錯誤的,猜測和ChatGPT訓練資料集中SPSS相關知識內容較少有關。
圖10 ChatGPT對使用Excel計算平均值、TGI指數的指導
圖 11 針對SPSS語句實現,ChatGPT給出錯誤答案
總的來說,作為高效整合內容的搜尋引擎,ChatGPT可以幫助研究員快速地瞭解相關的研究主題,輔助和啟發研究方案設計等,也能提供資料分析方法的指導。
但在此過程中,需要研究員特別注意ChatGPT答案的真實性、準確性,且目前對SPSS的支援不如Python、Excel的效果好。
ChatGPT在使用者研究工作中,第二個可能的應用是作為能力多樣的“配菜員”。
從訪談逐字稿、問卷資料中提煉關鍵資訊,或者根據研究員的訴求提供諸如方案設計、問卷大綱等多種建議,提高研究員分析資料獲得洞察、撰寫訪談提綱或者問卷等任務的效率。
在這一部分,讓我印象最為深刻的是ChatGPT分析總結原始資料的能力。
比如我根據真實使用者的訪談記錄改編出以下三個使用者對使用過的數字藏品平臺的評價:
使用者1:“我玩的跟他差不多,也就兩個,一個平臺A一個平臺B,像那種官方發出來的那種在自己那裡抽獎的那些我也會看,但是像那種野牌子我一般是不會去玩,那種野牌子感覺沒有什麼大公司,我怕我買完收藏了,他就什麼都沒了,這種就不會錯的。然後區別其實我主要是看文物的,別的我其實看的少,我感覺也沒啥區別。”
使用者2:“首先第一個最大區別就是因為國內的數字藏品發售的話都是以公司為主題,但是國外的首先他只是在中介平臺上傳自己的圖片,然後進行釋出,這其實是國內外最大的一個區別,然後國內的區別的話,第一個我覺得是公司可信度不同,就比如說在平臺B上面買的話我完全不用擔心這個數字藏品會不見了,然後還有就是小公司的話就是像他說的會非常容易怕跑路,我收藏的東西就不見了,然後每個平臺的話其實他會有錨定的點,就是我發售的藏品的主題內容會有什麼不同,有一些他會發售類似說什麼古代人物這種,有一些像平臺B這種的話就是主做博物館裡面的藏品什麼的,還有類似我剛才說的明星那種,就每個做的內容他會不同,大概就這些。”
使用者3: “我主要玩的話就是平臺C和平臺D,他們不同的話那個平臺D大部分都是古風還有文物之類的,然後平臺C很多衍生的吧,就改的比較厲害的,很多二創的那種,然後他發行的東西也就不一樣,就經常很多種類嘛,買的就比較多了,平臺D就要少一點,他那個發行時間要慢一點,東西就少一點,可以選擇就少一點。”
然後讓ChatGPT從中總結出和數字藏品平臺有關的關鍵資訊(圖 12)。
我們看到ChatGPT總結的質量已經比較高了,基本上覆蓋了使用者提到的關鍵點,比如平臺可信度很重要、不同平臺的內容存在差異等。
雖然ChatGPT的總結還僅限於原文觀點的提煉,而不能進行更多的關聯分析(比如從第一點平臺可信度可以得出使用者需要平臺背書來確保數字藏品的安全,但基於區塊鏈的數字藏品在技術上本身就具有永久有效、公開透明的特性,造成這種差異的原因可能是現實中數字藏品依然依託於中心化平臺的運營,也可能是使用者對數字藏品的技術特性缺乏認同等),但已經可以很好地作為進一步提煉洞察的材料了。
圖 12 ChatGPT總結出的與數字藏品相關的關鍵資訊
除了總結訪談記錄,ChatGPT也能從問卷資料中得出關鍵資訊。
比如表 1是兩種數字藏品使用者型別在選購數字藏品時,會主要考慮哪些因素的統計資料(非真實資料):
表 1 收藏使用者和投資使用者選購數字藏品時主要考慮的因素(非真實資料)
我們可以讓ChatGPT分析兩種型別使用者在選購因素上的差異(圖 13),甚至可以直接讓ChatGPT根據選購因素得出如何設計數字藏品的建議(圖 14)。
可以看到,和訪談記錄總結類似,ChatGPT能夠針對統計資料得出初步分析結果(比如兩種使用者更看重的選購因素),但需要研究員在此基礎上做更深度的洞察提煉。
此外,ChatGPT還可以針對研究方案(圖 15和圖 16)、訪談提綱(圖 17和圖 18)、訪談中追問(圖 19)、問卷設計(圖 20)、資料視覺化(圖 21)等提供初步建議。
這些建議的質量參差不齊,總體來看離真正可用的方案、提綱等尚有不小的距離(比如問卷題目和選項過於簡單、資料視覺化建議效果不佳等),但已經可以用來啟發研究員在此基礎上修改完善。
圖 15 ChatGPT撰寫研究計劃
圖 16 追問研究物件如何分組
圖 17 撰寫深度訪談大綱
圖 19 訪談中追問什麼問題
圖 20 撰寫問卷題目和選項
總的來看,ChatGPT在使用者研究的多個環節中均有著扮演“配菜員”的潛力,如分析訪談記錄、問卷資料,總結其中的關鍵資訊,或者就研究方案、訪談提綱、問卷題目等提供建議。
從目前的效果來看,ChatGPT的答案並不是真正可用的方案、提綱、問卷、洞察等,但確實可以提高如總結訪談記錄、分析問卷資料的效率,為研究員進一步分析,得出更高價值的洞察提供了豐富的原材料。
ChatGPT修改文案的能力在使用者研究工作中也有用武之地,比如修改問卷題目、報告內容中的錯別字。
如圖 22所示,ChatGPT成功識別並修改了“參於”、“資質”、“隆資”這幾處錯別字,並在“甚至”前新增了逗號提升表達準確性。
圖 22 錯別字修改
此外相信有不少研究員在撰寫英文報告時,擔心自己寫出的句子比較生硬、詞不達意。
在這方面,ChatGPT可以很好地幫助我們提升英文報告的表達,比如使用更精準更地道的詞彙、更符合英語母語的表達習慣等。
要實現這一點的話,需要用到ChatGPT更“高階“的玩法,即透過適當的提示語(Prompt)讓ChatGPT扮演特定風格的英文翻譯,將輸入的內容在不改變其意思的情況下,翻譯成更優美高階的英文(當然也可以嘗試其他風格,比如更concise等):
I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English.
I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary.
I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高興認識你”
圖 23展示的就是“數字藏品交易的投機炒作氛圍濃厚,買家會面臨如莊家控盤、平臺跑路、內容侵權、無人接盤等風險”這句話的英文翻譯結果,和直接翻譯的結果對比(圖 24),確實效果更好一些。
圖 23 翻譯並提升英文表達
總的來說,ChatGPT在修改錯別字、提高英文表達方面均有不錯的表現,確實可以幫助我們更高效的潤色輸出的內容,比如訪談提綱、問卷題目、洞察報告等。
在作為潤色工具的部分,我們分享了ChatGPT的“高階”玩法,即使用Prompt將其“調教”成特定風格的英文翻譯。
這種玩法可以使ChatGPT扮演各種各樣的角色,比如心理諮詢師、面試官、體育評論員等等(在此推薦一個相關Prompt的GitHub倉:https://github.com/f/awesome-chatgpt-prompts ),讓ChatGPT的應用場景擴充套件了不少。
-
讓ChatGPT扮演主持人的角色,訪談使用者的效果如何,能不能自動化訪談?
-
或者反過來,讓ChatGPT扮演某類典型使用者接受訪談,它的回答和真實使用者的回答相差多少?
-
我們先來看下ChatGPT扮演主持人訪談使用者的效果(圖 25),這裡我讓ChatGPT扮演成一位訪談主持人,目的是透過詢問使用者問題來弄清楚“數字藏品(NFT)的核心使用者價值是什麼”。
I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer.
Do not write all the conversation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations.
Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”
我們看到ChatGPT的表現還是比較驚豔的,它沒有直接詢問,
而是從如何理解數字藏品這個概念入手,詢問了一系列相關問題,比如如何知道數字藏品、如何在日常生活中使用數字藏品、數字藏品最大的好處等。
雖然在這個case中,ChatGPT並沒有能夠結合上下文來追問使用者,但當前的表現已經足以讓我們思考ChatGPT是不是能夠代替我們自動訪談使用者,就一些簡單的、結構清晰的研究問題提供訪談洞察。
圖 25 ChatGPT扮演主持人訪談使用者
看完ChatGPT扮演主持人的效果,讓我們繼續看下它扮演某類典型使用者接受訪談的表現(圖 26)。
首先透過以下Prompt讓ChatGPT扮演一位年輕的數字藏品使用者:
“她”是一位20歲的在校大學生,愛好廣泛比如聚會、看電影、逛街等。
然後就可以透過詢問數字藏品相關的問題來挖掘“她”對數字藏品的看法。
I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc.
I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conversation at once.
Wait for my questions and give me answers. Do not write explanations. My first sentence is “Hi”
比如詢問“她”是如何知道數字藏品的,“她”給出的回答是,
當重複“她”覺得NFT很cool的看法後,“她”回答到,
“數字藏品改變了我們對數字世界所有權和價值的看法”。
這些回答從主觀感受上看確實很貼近我們訪談到實際使用者。
所以展開想象力,這會不會改變今後使用者研究的流程?
比如在訪談真實使用者前,能不能先讓ChatGPT扮演幾種典型使用者來獲得初步洞察,之後再進行真實使用者訪談以驗證和補充?
當然在此之前還有很多的問題要回答,比如如何使用Prompt更準確地描述典型使用者(如需要哪些變數?),ChatGPT扮演典型使用者的準確性和有效性有多高等。
但無疑ChatGPT的表現已經足以讓我們開始類似的思考。
總結一下,透過上述初步的探索,我會覺得ChatGPT在未來的使用者研究工作中,可能成為降本增效的輔助工具:
2.也可以作為能力多樣的“配菜員”,提供諸如訪談初步總結、資料分析結果、訪談大綱等內容,輔助研究員完成研究設計、洞察分析等;
3.還能作為內容(尤其是英文內容)的潤色工具,修改錯別字、轉換不同表達風格等;
4.最後也顯示了其作為主持人執行訪談或者扮演典型使用者接受訪談的潛力。
當然ChatGPT距離真正可用的使用者研究輔助工具還有一段距離,比如需要使用者研究領域的知識對模型進行Fine-tune以提升答案質量,再比如需要定製化的互動方式,以提升在使用者研究工作中,與ChatGPT互動的體驗和效率等。
此外,對於有興趣繼續探索ChatGPT應用的同學,分享三個Tips:
2.學會提問,明確需求,由粗到細引導,並且注意之前輸入內容的影響;
3.保持獨立思考和批判性思維,時刻警惕內容的真實性、準確性,避免被ChatGPT牽著鼻子走。
最後,對於 ChatGPT能否替代使用者研究,我認同:
“AI will not replace you. A person using AI will.”
作者 | qichengding
原題 | 我用ChatGPT做用研?
轉自 | 騰訊CDC體驗設計
題圖 | 源自pixabay.com