如果允许学生用AI“作弊”,他们的成绩分布会发生怎样的变化?

针对这个问题,真有几位大学教授正儿八经研究了一番,并写下了长达62页的研究论文。

使用GPT-4 学渣比学霸更有优势 第1张

结果发现,使用GPT-4后,学生的“能力曲线被压缩了”,差生和优等生的差距缩小。

使用GPT-4 学渣比学霸更有优势 第2张

沃顿商学院教授分享了这项研究后,引起不少网友讨论。网友对这样的结果也感觉很意外:

和我的预期完全不符啊,还以为所有人分数都会提高。

使用GPT-4 学渣比学霸更有优势 第3张

还有网友称这是“真正的游戏规则改变者”:

AI正在改变教育格局,在缩小差距的同时提高标准。

使用GPT-4 学渣比学霸更有优势 第4张

不过也有网友持不同观点:

擅长使用AI的人可能表现会非常出色,那种看起来差距缩小的情况可能只是因为有满绩点4.0这一上限:

使用GPT-4 学渣比学霸更有优势 第5张

AI会是“平衡器”吗?

除了上面所说的,我们查看论文,发现研究人员还得出了这些结论:

使用GPT-4对参与者总体任务完成的质量影响较小且不稳定;使用GPT-4显著减少了参与者完成任务的时间;平时技能水平较低的参与者在使用GPT-4后,任务完成质量提升最为显著,本就能独立高质量完成任务的参与者获得的质量提升较小;GPT-4能为所有学生节省相似的时间,无论他们原本完成任务的速度如何;即便参与者不了解自己在各项任务上的具体成绩,他们也能明确指出GPT-4最有效的应用场景。

下面一起来看实验详情。

具体来说,来自南加州大学Gould法学院、明尼苏达大学法学院的几位教授,以研究AI辅助对法律分析的影响为例。

给参与实验的60位来自明尼苏达大学法学院的学生提出了四项初级律师常见的任务:起诉状起草(Complaint Drafting)、合同起草(Contract Drafting)、员工手册起草(EE Handbook)和客户备忘录起草(Client Memo)。

不同的是,这些参与者随机分为两组(A组、B组),每组30人。A组参与者需使用GPT-4完成起诉状起草、合同起草任务,而B组使用GPT-4完成员工手册起草和客户备忘录起草任务。

使用GPT-4 学渣比学霸更有优势 第6张

实验前,全部学生都接受了约2小时的培训,了解如何有效使用GPT-4进行法律分析。完成任务过程中,参与者需记录自己完成任务的时间。

然后,研究人员在不知道参与者身份和其他信息的情况下,匿名完成所有作品的评分。

具体实验结果如下。

在4.0绩点机制上,使用GPT-4辅助后,学生在四项任务中的平均分数波动幅度为+0.17、+0.24、+0.07、-0.07。

使用GPT-4 学渣比学霸更有优势 第7张

可视化图表更直观:

使用GPT-4 学渣比学霸更有优势 第8张

总的来说,仅合同起草任务的表现在95%置信水平上展现出了统计学意义上的显著提升。

再来看使用和不使用GPT-4参与者,完成任务平均花费的时间:

使用GPT-4 学渣比学霸更有优势 第9张

可以直观地看到,参与者完成任务时间大大缩减:

使用GPT-4 学渣比学霸更有优势 第10张

更多数据和分析内容,感兴趣的朋友可查看论文。

值得一提的是,几位教授在论文最后,还写下了长达12页的启示,针对律师、法律客户、法官以及法学院、法学院学生提出了不同的建议。

其中指出:法学院需要重新考虑学生使用AI的时机和方法,以及在何种情况下应限制AI的应用,以便更好地适应未来实践的需求。

此外,针对不同人群的类似研究也不在少数。

职场中AI会是“平衡器”吗?

来自哈佛商学院、沃顿商学院、MIT斯隆管理学院等的研究人员联合波士顿咨询公司做了一项研究。

使用GPT-4 学渣比学霸更有优势 第11张

他们选取了波士顿咨询公司中的部分高知员工,让他们使用AI辅助完成分析、创意构思和说服技巧等18项任务测试。

结果发现,原本表现位于团队下半层的顾问们在AI辅助下成果质量提升了43%;而平时表现在上半层的顾问仅提升了17%。

使用GPT-4之前,顶尖员工与其他员工之间的平均差距为22%;使用之后,这一差距显著缩小至4%。

使用GPT-4 学渣比学霸更有优势 第12张

MIT的一项研究同样表明,使用ChatGPT之后,高水平写作者和低水平写作者的表现差异缩减了一半。

使用GPT-4 学渣比学霸更有优势 第13张

创意写作领域亦见相似现象,伦敦大学学院、埃克塞特大学研究人员的一项实验表明,创意作家技能差距缩小,GPT-4提供的五个创意灵感“有效地平衡了不同创造力水平作家的创造力评分”。

使用GPT-4 学渣比学霸更有优势 第14张

不过,尽管有多项研究表明使用AI可以缩减人们之间的技能差距,但正如论文分享者、沃顿商学院教授Ethan Mollick所言:

技能的造王者(King Maker)、加速器(Escalator)、平衡器(Leveler),AI究竟将扮演哪一种角色,并不是总是很清楚。

使用GPT-4 学渣比学霸更有优势 第15张

那么,你认为AI在你身边正扮演着哪种角色?

使用GPT-4 学渣比学霸更有优势 第16张

收藏(0)