敖飛寺西風

量子比特|公眾號QbitAI

如果允許學生用AI“作弊”，他們的成績分布會發(fā)生怎樣的變化？

針對這個問題，幾位大學教授確實認真研究了，寫了一篇62頁的研究論文。

結果發(fā)現(xiàn)，使用GPT-4后，學生的“能力曲線被壓縮”，差生和尖子生的差距縮小。

沃頓商學院教授分享了這項研究后，引起了網友的諸多討論。對于這個結果，網友們也感到驚訝：

這與我的預期完全不符。我以為大家的成績都會提高。

有網友稱這是“真正的游戲規(guī)則改變者”：

人工智能正在改變教育格局，提高標準，同時縮小差距。

不過，也有網友持有不同的看法：

擅長使用AI的人可能會表現(xiàn)得很好，看似差距縮小可能只是因為4.0 GPA的上限：

AI會成為“均衡器”嗎？除了上面說的之外，我們查看論文發(fā)現(xiàn)研究人員還得出了這些結論：

GPT-4的使用對參與者整體任務完成質量影響較小且不穩(wěn)定； GPT-4的使用顯著減少了參與者完成任務所需的時間；通常技能水平較低的參與者在使用GPT-4 后完成任務的質量提升最為顯著，能夠獨立且高質量完成任務的參與者獲得的質量提升較小； GPT-4 可以為所有學生節(jié)省類似的時間，無論他們最初完成任務的速度如何；即使參與者不了解自己在各項任務上的具體結果，他們也可以清楚地指出GPT-4最有效的應用場景。下面我們來看看實驗細節(jié)。

具體來說，南加州大學古爾德法學院和明尼蘇達大學法學院的幾位教授以人工智能輔助對法律分析影響的研究為例。

參與實驗的明尼蘇達大學法學院的60 名學生被分配了四項初級律師常見的任務：起草訴狀、起草合同、起草員工手冊（EE Handbook）和起草客戶備忘錄（Client Memo）。

不同的是，這些參與者被隨機分為兩組（A組和B組），每組30人。 A組的參與者需要使用GPT-4來完成起草投訴和合同的任務，而B組的參與者則使用GPT-4來完成起草員工手冊和起草客戶備忘錄的任務。

實驗前，所有學生都接受了約2小時的培訓，了解如何有效地使用GPT-4進行法律分析。在完成任務的過程中，參與者需要記錄完成任務所花費的時間。

隨后，研究人員在不知道參與者身份等信息的情況下，以匿名方式完成了所有作品的評分。

具體實驗結果如下。

在4.0績點機制上，使用GPT-4輔助后，學生在四項任務中的平均分數(shù)波動分別為+0.17、+0.24、+0.07和-0.07。

可視化圖表更直觀：

總體而言，只有合同起草任務在95% 的置信度下顯示出統(tǒng)計上顯著的績效改善。

讓我們看看參與者在使用和不使用GPT-4 的情況下完成任務所需的平均時間：

直觀地可以看出，參與者完成任務的時間大大減少：

更多數(shù)據和分析內容，感興趣的朋友可以查看論文。

值得一提的是，幾位教授還在論文最后寫下了12頁的啟示，為律師、法律委托人、法官、法學院、法學院學生提出了不同的建議。

它指出：法學院需要重新考慮學生使用人工智能的時機和方法，以及在什么情況下應限制人工智能的應用，以更好地適應未來實踐的需要。

此外，針對不同人群的類似研究也有很多。

AI會成為職場的“均衡器”嗎？來自哈佛商學院、沃頓商學院、麻省理工斯隆管理學院等的研究人員與波士頓咨詢集團合作進行了一項研究。

他們挑選了波士頓咨詢集團的一些高層員工，要求他們利用人工智能輔助完成分析、創(chuàng)意構思、說服技巧等18項任務。

結果顯示，原本處于團隊下半部分的顧問在AI的輔助下，結果質量提高了43%；而通常表現(xiàn)在團隊上半部分的顧問只提高了17%。

在使用GPT-4 之前，高層員工與其他員工之間的平均差距為22%；使用后，這一差距顯著縮小至4%。

麻省理工學院的一項研究也表明，使用ChatGPT 后，高級編寫器和低級編寫器之間的性能差異縮小了一半。

類似的現(xiàn)象也出現(xiàn)在創(chuàng)意寫作領域。倫敦大學學院和埃克塞特大學的研究人員進行的一項實驗表明，創(chuàng)意作家之間的技能差距已經縮小。 GPT-4提供的五種創(chuàng)作靈感“有效平衡了不同創(chuàng)造力水平的作家”。創(chuàng)造力評級”。

然而，盡管有很多研究表明人工智能的使用可以縮小人與人之間的技能差距，正如論文分享者、沃頓商學院教授Ethan Mollick 所說：

人工智能將扮演“造王者”、“技能升級者”或“技能調平者”的角色并不總是很清楚。

那么，您認為人工智能在您周圍扮演著什么角色？

參考鏈接：[1]https://x.com/emollick/status/1753486416758337981 s=20[2]https://www.oneusefulthing.org/p/everyone-is-above-average—完—量子比特QbitAI·今日頭條簽名關注我們，不學習立即了解前沿技術趨勢