9月28日上午消息,针对苹果平板产品的系统iPadOS 14已经发布。其中一项主要更新是“涂鸦”功能。此功能会自动将 Apple Pencil 手写内容转换为文本内容。近日,苹果软件工程高级副总裁 Craig Federighi 在接受《大众机械》Popular Mechanics 采访时谈到了这一功能的工作原理。
iPadOS 14的“手写”功能将Apple Pencil手写变成文本输入,可以在很多地方使用,例如Safari浏览器的地址栏或Messages消息中的信息。而且,Apple 设备会自动将手写内容转换为文本,就像打字一样。
这不仅意味着 Apple Pencil 有了新的用途,也让用户不必在键盘和 Apple Pencil 之间来回切换进行输入,尤其是在沙发上用平板电脑浏览时。当 Craig向《大众机械》提及此功能时,他解释说,徒手书写功能的基础是数据收集。
在功能开发过程中,Apple 找到了世界各地的人们,并要求他们使用 Apple Pencil 书写: “为了理解手写笔画,我们必须进行数据收集。我们找到了世界各地的人并请他们写信。给他们一支笔,让他们快写、慢写、斜写。
(收集)所有这些变化的数据。” 这种方法不同于扫描和分析现有笔迹的相对传统和简单的方法。克雷格认为,对于苹果的技术来说,仅仅依靠静态的方法(即书写和分析)扫描收集数据)还不够。
他们需要查看组成每个单词的笔画或字母。“如果你了解笔画及其书写方式,你就可以用它来消除所写内容的歧义。” 与苹果产品中的大多数机器学习功能一样,所有这些处理都是在设备上完成的,无法使用互联网带来了另一个挑战。
克雷格说:“识别现在必须在设备本地实时完成。”这意味着设备的计算能力必须足以在本地执行这种级别的计算处理。
” 从这个案例中,我们可以看到苹果的创新之处以及他们习惯做事的方式。手写识别并不是一个新功能。尤其是对于中国用户来说,他们多年前就已经用黑白手机体验过。
但苹果和苹果的区别在于,他们的数据识别/收集方式是动态收集的。他们收集的是人们笔迹的笔画,而不是常规的笔迹痕迹;另外,在隐私保护方面,他们并没有采用效率更高的云端识别方式,而是将数据处理放在本地。与云端相比,这种方式显然难度更高,但也相对安全,不会受到网络较差的干扰。