敖飛寺西風(fēng)

量子比特|公眾號QbitAI

如果允許學(xué)生用AI“作弊”，他們的成績分布會發(fā)生怎樣的變化？

針對這個問題，幾位大學(xué)教授確實(shí)認(rèn)真研究了，寫了一篇62頁的研究論文。

結(jié)果發(fā)現(xiàn)，使用GPT-4后，學(xué)生的“能力曲線被壓縮”，差生和尖子生的差距縮小。

沃頓商學(xué)院教授分享了這項(xiàng)研究后，引起了網(wǎng)友的諸多討論。對于這個結(jié)果，網(wǎng)友們也感到驚訝：

這與我的預(yù)期完全不符。我以為大家的成績都會提高。

有網(wǎng)友稱這是“真正的游戲規(guī)則改變者”：

人工智能正在改變教育格局，提高標(biāo)準(zhǔn)并縮小差距。

不過，也有網(wǎng)友持有不同的看法：

擅長使用AI的人可能會表現(xiàn)得很好，看似差距縮小可能只是因?yàn)?.0 GPA的上限：

AI會成為“均衡器”嗎？除了上面說的以外，我們查看論文發(fā)現(xiàn)研究人員還得出了這些結(jié)論：

GPT-4的使用對參與者整體任務(wù)完成質(zhì)量影響較小且不穩(wěn)定； GPT-4的使用顯著減少了參與者完成任務(wù)所需的時間；通常技能水平較低的參與者在使用GPT-4后完成任務(wù)的質(zhì)量提升最為顯著，能夠獨(dú)立完成任務(wù)且質(zhì)量較高的參與者獲得的質(zhì)量提升較??； GPT-4 可以為所有學(xué)生節(jié)省類似的時間，無論他們最初完成任務(wù)的速度有多快；即使參與者不了解自己在各項(xiàng)任務(wù)上的具體結(jié)果，他們也可以清楚地指出GPT-4最有效的應(yīng)用場景。下面我們來看看實(shí)驗(yàn)細(xì)節(jié)。

具體來說，南加州大學(xué)古爾德法學(xué)院和明尼蘇達(dá)大學(xué)法學(xué)院的幾位教授以人工智能輔助對法律分析影響的研究為例。

參與實(shí)驗(yàn)的明尼蘇達(dá)大學(xué)法學(xué)院的60 名學(xué)生被分配了四項(xiàng)初級律師常見的任務(wù)：起草訴狀、起草合同、起草員工手冊（EE Handbook）和起草客戶備忘錄（Client Memo）。

不同的是，這些參與者被隨機(jī)分為兩組（A組和B組），每組30人。 A組的參與者需要使用GPT-4來完成起草投訴和合同的任務(wù)，而B組的參與者則使用GPT-4來完成起草員工手冊和起草客戶備忘錄的任務(wù)。

實(shí)驗(yàn)前，所有學(xué)生都接受了約2小時的培訓(xùn)，了解如何有效地使用GPT-4進(jìn)行法律分析。在完成任務(wù)的過程中，參與者需要記錄完成任務(wù)所花費(fèi)的時間。

隨后，研究人員在不知道參與者的身份和其他信息的情況下，匿名完成了所有作品的評分。

具體實(shí)驗(yàn)結(jié)果如下。

在4.0績點(diǎn)機(jī)制上，使用GPT-4輔助后，學(xué)生在四項(xiàng)任務(wù)中的平均分?jǐn)?shù)波動分別為+0.17、+0.24、+0.07和-0.07。

可視化圖表更直觀：

總體而言，只有合同起草任務(wù)在95% 的置信度下顯示出統(tǒng)計(jì)上顯著的績效改善。

我們來看看使用和不使用GPT-4 的參與者完成任務(wù)的平均時間：

直觀地可以看出，參與者完成任務(wù)的時間大大減少：

更多數(shù)據(jù)和分析內(nèi)容，感興趣的朋友可以查看論文。

值得一提的是，幾位教授還在論文最后寫下了12頁的啟示，為律師、法律委托人、法官、法學(xué)院、法學(xué)院學(xué)生提出了不同的建議。

它指出：法學(xué)院需要重新考慮學(xué)生使用人工智能的時機(jī)和方式，以及在什么情況下應(yīng)該限制人工智能的應(yīng)用，以更好地適應(yīng)未來實(shí)踐的需要。

此外，針對不同人群的類似研究也有很多。

AI會成為職場的“均衡器”嗎？來自哈佛商學(xué)院、沃頓商學(xué)院、麻省理工斯隆管理學(xué)院等的研究人員與波士頓咨詢集團(tuán)合作進(jìn)行了一項(xiàng)研究。

他們挑選了波士頓咨詢集團(tuán)的一些高層員工，要求他們利用人工智能輔助完成分析、創(chuàng)意構(gòu)思、說服技巧等18項(xiàng)任務(wù)。

結(jié)果顯示，原本處于團(tuán)隊(duì)下半部分的顧問在AI的輔助下，結(jié)果質(zhì)量提高了43%；而通常表現(xiàn)在團(tuán)隊(duì)上半部分的顧問只提高了17%。

在使用GPT-4 之前，高層員工與其他員工之間的平均差距為22%；使用后，這一差距顯著縮小至4%。

麻省理工學(xué)院的一項(xiàng)研究也表明，使用ChatGPT 后，高級編寫器和低級編寫器之間的性能差異縮小了一半。

類似的現(xiàn)象也出現(xiàn)在創(chuàng)意寫作領(lǐng)域。倫敦大學(xué)學(xué)院和?？巳卮髮W(xué)的研究人員進(jìn)行的一項(xiàng)實(shí)驗(yàn)表明，創(chuàng)意作家之間的技能差距已經(jīng)縮小。 GPT-4提供的五種創(chuàng)作靈感“有效平衡了不同創(chuàng)造力水平的作家”。創(chuàng)造力評級”。

然而，盡管有很多研究表明人工智能的使用可以縮小人與人之間的技能差距，正如論文分享者、沃頓商學(xué)院教授Ethan Mollick 所說：

人工智能將扮演“造王者”、“技能升級者”或“技能調(diào)平者”的哪個角色并不總是很清楚。

那么，您認(rèn)為人工智能在您周圍扮演著什么角色？

參考鏈接：[1]https://x.com/emollick/status/1753486416758337981 s=20[2]https://www.oneusefulthing.org/p/everyone-is-above-average—完—量子位QbitAI ·今日頭條簽名關(guān)注我們，不學(xué)習(xí)立即了解前沿技術(shù)趨勢