IBM研究院与伦斯勒理工学院(RPI)携手打造帮助学生学习汉语的新方式。
他们希望利用人工智能技术支持的助手在沉浸式课堂环境中进行教学。
这在语言教学领域是一项前所未有的创举。
这种课程被称为认知沉浸室(CIR),让学生感觉自己身处中餐厅、花园或太极课堂,与人工智能聊天机器人练习中文对话。
CIR 由认知和沉浸式系统实验室 (CISL) 开发,该实验室是一个与 IBM Research 和 RPI 合作的研究组织。
要学习一门新语言,尤其是像汉语这样困难的语言,必须为学生提供大量机会来实际练习会话技能。
通过文化沉浸自然地学习一门新语言可能比非沉浸式练习更有效。
然而,大多数中国初学者没有获得体验式学习的机会。
这就是我们开发 CIR 的原因。
沉浸式游戏化课堂环境为了实现多种模式下的自然沉浸式对话,CIR集成了语音文本转换、自然语言理解、计算机视觉等多种先进技术。
教室内放置全景显示系统、音频系统、多个摄像头、多个Kinect设备和多个麦克风。
当然,还有用于支持AI技术的计算机系统,有的放在教室里,有的放在云端。
我们的目标是将沉浸式认知技术与游戏元素相结合,让学生体验文化环境,练习日常会话任务,并获得智能助手的帮助。
通过中文项目,我们在CIR中使用IBM Watson作为对话机器人与学习中文的学生进行交流。
该项目使用IBM Watson语音识别技术和自然语言理解技术来处理英语和中文。
在沉浸式氛围中学习外语时,学生面临的最大障碍之一是害怕被母语人士评判。
但在 CIR 中,学生可以与虚拟对话伙伴练习词汇和发音,而无需承受真实环境的压力。
许多语言学习研究人员正在使用虚拟现实或增强现实技术,但我们正在研究的是真人沉浸式游戏环境,学生可以在不佩戴特殊设备的情况下实际游览这样的环境。
这体现了人机交互领域的一个大趋势,那就是我们日常生活中的信息交流将有更强的沉浸感,人与智能机器的交互也将走向深度融合。
我们的系统于深秋在 RPI 校园的中文一级课程中进行了测试。
今年秋天,我们将继续在汉语一级、二级、三级课程中使用人工智能作为教学工具,目标是在明年夏天推出整合汉语1-3级内容的新课程。
课堂背后的研究——不仅仅是课堂认知和沉浸式系统实验室 (CISL) 是 IBM AI Horizo??ns Network 的一部分,构建和应用先进技术,包括情境感知。
上下文感知系统、音调轮廓分析、人与人工智能机器人自然语言对话中的中英文语言切换、人工智能代理、多用户多模态交互、决策过程中的推理和规划以及多模态故事讲述自动生成描述性、视觉和听觉信息(多模式讲故事,自动生成叙述、可视化和可听化)。
认知沉浸室 (CIR) 是 CISL 的四个用例之一。
该实验室还致力于增强群体智能,以便在董事会等现实环境中做出关键决策。
未来,这些新的认知和沉浸式系统将从根本上改变人们的生活和工作方式。
CIR 的早期原型已经提供了许多研究用户交互的机会,使我们能够发现和解决语言学习中的新挑战。