使用ChatGPT人工智慧回答國外知乎Stack Overflow上問題?

banq發表於2022-12-06

最近,OpenAI開放了釋出了他們的ChatGPT人工智慧的免費研究預覽,這也是最近的熱門話題。我建立了一個賬戶,然後開始問一些簡單的問題,看了一些其他人使用它的影片,並利用它來幫助我為我心中的一個有趣的副業編寫一些簡單的模板程式碼。然後我想,如果我開始從Stack Overflow上給它提問,會發生什麼?我想到的一些問題是:
  • 答案會有多準確?
  • 我提供的答案多久會被選為公認的答案?
  • 我提供的答案有多少次會完全不起作用?
  • 我是否能夠回答我以前從未使用過的語言/技術問題?

在這篇文章中,我將回答這些問題,並提供我做這件事的經驗、優點和缺點、我一路走來注意到的事情,以及我打算繼續做的事情。

我的經驗
總的來說,我想說我做這件事的經驗是相當積極的。我的目的是幫助人們,回答他們的問題,或者說讓ChatGPT回答他們的問題。但這也是一把雙刃劍,因為我經常發現自己在回答問題時,如果是自己做的話,幾乎不知道從哪裡開始,也不知道如何開始排除問題。起初,我嘗試儘可能多地回答問題,簡單地複製+貼上答案並提交。這裡的想法是想看看盲目複製答案的成功率/失敗率。不出所料,成功率相當低。然而,一旦我開始仔細檢查ChatGPT提供給我的答案,我的答案被接受的比率就會增加。雖然只是一點點,但還是很明顯的。

這發生在過去3天(12月1日至12月3日)。讓我們看看這些資料:

  • 我的答案是其中10人(21.7%)的選擇答案。
  • 其中7人選擇了另一個答案(15.2%)。
  • 我的答案在其中4個問題中是錯誤的(8.6%)。
  • 對於剩下的25個問題,還沒有選定答案(54.3%)。


我獲得了392個點贊,增加了247%。我從159個開始,在寫這篇文章時,我目前是551個點贊。另外,在寫這篇文章時,我本月獲得的代表數排名第69位,不錯。

優點和缺點
接下來,我想介紹一下我在這幾天裡經歷的一些利弊。

在做了這些之後,我想到了一個缺點,我認為人們會爭論的一點,我也同意,那就是在不理解程式碼的情況下,只是複製和貼上ChatGPT給我的問題的答案,這對我沒有好處。現在,公平地說,ChatGPT在解釋程式碼是什麼方面做得非常好(至少在我看來)。它通常會提供至少一兩段的解釋。

不過,這樣做的好處是,它為我開啟了許多不同的網路開發/程式設計領域,我沒有想到要去探索。例如,有一個問題是用React的網路攝像頭工作。我發現這很有趣,所以我去做了一個簡單的演示,用React+TypeScript開啟和關閉我的網路攝像頭。我還回答了一個問題,有人在他們的Discord機器人上有一個問題。現在我想去建立一個簡單的Discord機器人。有幾個關於MongoDB的問題,所以現在我有動力回去學習更多關於MERN堆疊的知識,並嘗試在那裡拼湊一些簡單的專案。

因此,雖然我有時可能沒有完全理解我提供的答案,但它確實激勵我自己出去嘗試一些我可能不會去做的事情,並且/或者重新激發我對以前探索的領域的興趣。

我發現的另一個缺點是,我個人認為很難回答對方提供的問題,例如,一兩個React元件的程式碼,以及解釋他們遇到的問題。我發現這很難,因為對我來說,很難只看孤立的程式碼,而不是在整個專案的大背景下看。這個元件是在哪裡使用的?資料/道具的型別是什麼,等等。我現在已經習慣於使用TypeScript,所以審查用JS寫的React程式碼有點困難。這真的讓我很感激那些不僅在過去回答我的問題,而且還繼續定期回答這類問題的人。這絕對是我想要改進的一項技能。

stackoverflow釋出暫時禁止在 Stack Overflow 上的帖子中使用 ChatGPT 生成的文字:
總的來說,由於從ChatGPT獲得正確答案的平均比率太低,釋出由ChatGPT建立的答案對網站和正在詢問或尋找正確答案的使用者來說是大大有害的。

主要問題是,雖然ChatGPT製作的答案有很高的錯誤率,但它們通常看起來可能是好的,而且答案非常容易製作。也有很多人嘗試用ChatGPT來製作答案,但他們沒有專業知識,也不願意在釋出前驗證答案是否正確。因為這樣的答案很容易產生,所以大量的人在釋出大量的答案。這些答案的數量(數以千計),以及這些答案往往需要由至少具有一些主題知識的人進行詳細閱讀,以確定答案實際上是壞的,這實際上已經淹沒了我們基於志願者的質量策劃基礎設施。

因此,我們需要減少這些帖子的數量,並且我們需要能夠快速處理那些被髮布的帖子,這意味著處理使用者,而不是單個帖子。因此,目前不允許在Stack Overflow上使用ChatGPT來建立帖子。如果在這個臨時政策釋出後,有使用者被認為使用了ChatGPT,我們將對其進行制裁,以防止使用者繼續釋出此類內容,即使這些帖子在其他方面是可以接受的。

 

相關文章