大数据文摘制作人:Caleb说起作弊,可以说是一脚比魔高的典型。2017年,一部电影《天才枪手》重新审视了看似“普遍”的学生作弊行为,甚至有网友表示,“作弊是学生时代的主题”。受疫情等诸多因素影响,全球范围内的在线考试也被迫提上日程,随之而来的是各种反作弊措施。但经过这么长时间,这些反作弊软件真的能正常工作吗?最近的一项调查发现,尽管声称具有很高的可信度,但世界各地的学校都在使用的反作弊软件Proctorio在检测环境中的作弊者方面效果不佳。研究论文:https://ris.utwente.nl/ws/portalfiles/portal/275927505/3e2a9e5b2fad237a3d35f36fa2c5f44552f2.pdf荷兰特温特大学的一位研究员打了一个很形象的比喻,说软件就像服用安慰剂:它有一些积极的影响,不是因为它有效,而是因为人们相信它有效,或者它可能有效。Proctorio到底有多不可靠?在此之前,我们还需要了解一下Proctorio。作为一个人工智能系统,必须承认Proctorio解放了监考人员的人力资源,而是主要通过软件来监控学生,发现并报告测试对象的任何可疑行为。这需要学生在他们的计算机上安装浏览器扩展程序或应用程序,以更好地跟踪学生的眼球运动和肢体语言。学生还必须上传他们的学生照片和身份证,以便更好地进行面部识别。另一方面,Proctorio的主要工作是录制学生电脑的视频和音频剪辑,捕捉学生的击键,记录电脑屏幕数据,在学生移动头部、眼睛或身体时对其进行标记,并监控他们访问的网站,同时提供考试。对监考进行分类等。2021年4月,该研究首次在第13届计算机辅助教育国际会议上发表,旨在证明该软件是否有效。为此,研究人员从一所大学计算机科学课程中找到了30名学生志愿者,并要求其中六人在Proctorio监考的考试中作弊。其中五人被告知不要作弊,而要表现得可疑。人们诚实地接受测试。至于如何作弊,研究人员将这种权力交还给了学生,让他们自己决定如何最好地欺骗系统。事实证明,Proctorio并不擅长发现作弊者,系统也没有将任何作弊者标记为作弊者。有人在使用虚拟机,这是Proctorio系统的一个已知漏洞。该研究写道,该软件确实将这些学生标记为“违规”,但它也将其他诚实的学生标记为同样的违规行为。与此同时,一些作弊者使用了音频通话,但Proctorio并未将他们的音频标记为异常,但它确实标记了学生在嘈杂环境中进行测试的音频。对数据和录像的独立人工审查只发现了六名作弊者中的一名,这主要是因为摄像机的角度和可选的“房间扫描”功能使他们无法准确了解学生胸部下方的内容,以及作弊者的行为学生。Proctorio发言人DavidLux描述了另外三项关于“在线监考的有效性”的研究,这些研究是“多学科的,样本量更大”。作者承认特温特大学的研究存在缺陷。然而,这三项研究都不是对照实验。相反,他们使用调查或回归模型来估计作弊率和学生对在线监考的态度。这些研究不仅研究设计不同,而且解决的问题也根本不同,因为它们都没有试图证明在线监考软件是否能有效抓到作弊者。除了Proctorio,清华推出了AI鹰眼系统,国内在线监考技术也在稳步跟进。今年3月,清华大学研发出“AI鹰眼”数字监考防作弊系统,可以监测人脸偏差、视线等异常情况并进行预警,无需提前下载APP。预计明年开始使用。清华大学教学发展中心主任周修传表示,AI鹰眼数字监考系统是目前唯一一款不需要提前下载软件的系统,考生不需要交出电脑控制权,支持手机接听,支持所有浏览器,适合100人以上大班监考防作弊系统。AI鹰眼数字监考系统的核心是应用人脸识别和眼动追踪技术,让一般家用电脑或手机摄像头的视频镜头扫描眼动轨迹,并结合鼠标轨迹、音频和其他AI人工智慧深度学习系统可以准确判断考生是否作弊。对此,AI鹰眼系统将作弊行为分为“换脸”、“偏离脸”、“视线偏离”、“打开分页”四种异常现象,统计异常次数提醒考生和监考人员注意。考生也可以要求考生开启通话功能,确定现场情况。清华大学表示,今年将对AI鹰眼系统进行小规模测试,收集更多样本和数据,继续完善和提高系统的准确性,目标明年正式使用。我应该如何处理在线监考?事实上,在中国,网上监考早已在实践中。今年5月,北京市丰台区中考“模范”考试采取线上线下相结合等多种方式进行。首先是对测试环境的要求。参加网考的同学必须保证桌面整洁。学生面前放着一台笔记本电脑,学生身后45度角放着一部手机。两台设备的摄像头从不同角度拍摄学生的答题状态,确保监考人员有一个完整、清晰的视角来监控整个过程。北京市赵登禹学校学术主任沉磊介绍,除了每个考场配备一名监考人员外,学校教学干部、年级组长、班主任均通过网络进入考场进行检查。去6个检查,检查学生摄像头的角度和方位是否规范,检查每个学生的答题状态是否认真。”“一模”考试第一天后,学校还提出了一些优化方案比如在线监考,一个屏幕无法完整显示所有考生的实时状态,需要翻页。对此,丰台二中提出了一个优化:除了监考人员,班主任也进场了,两台设备同时监考,让所有同学的答案一目了然。特文特大学的研究,即该软件对一些过于明目张胆的作弊行为有震慑作用,比如学生一起考试,实时讨论。但毕竟学校可能会花钱每次考试都在监考系统上投入大量资金,而且存在危及学生隐私的风险。换句话说,监考人员是否应该在所有人都打开相机的情况下进行考试?添加了一些变量。
