消费者对能够提高便利性、安全性和用户体验的进步有着永不满足的胃口。我们已经看到，人机界面(HMI)已经以显着的方式发展，从纯触觉到多年来，已经涵盖了从语音到手势再到视频的各种输入方法以及各种计算机视觉功能，从点到-销售终端到智能家居。下一步将是不仅能理解直接命令而且能推断意图的设备。与此同时，人们越来越担心基于云的传统连接设备的安全性和延迟，这为更多基于边缘的处理铺平了道路。在人机界面(HMI)中尤其如此。然而，本地处理给技术开发人员带来了新的挑战，他们必须考虑特定的用例要求、开发选项以及智能（机器学习训练）设备的成本，这些设备需要引入新的自动化水平以增强感知智能和环境计算.边缘人工智能是基础所谓的边缘人工智能（EdgeAI）是更复杂、用户友好和安全的物联网体验的基础。根据定义，AIattheedge意味着AI处理在终端产品本身（如机顶盒或智能显示器）内部运行，而不是在云端运行。这样做的原因是众所周知的，即更好的隐私、更少的带宽和更快的响应时间，甚至是生态友好，因为边缘处理减少了运行大型数据中心对能源、水和其他资源的需求。边缘人工智能已经被我们每天使用的许多应用程序所采用，但最初的使用主要限于智能手机和汽车等昂贵的产品。因此，这些产品的边缘AI实施也很昂贵，而且对于智能家居的消费零售设备来说是遥不可及的。在很大程度上，现有的边缘AI应用程序就其提供的用户体验而言是一维的。例如，ADAS（高级驾驶辅助系统）应用中的人工智能视觉或手机中的图像质量增强。为智能家居创建和采用边缘AI解决方案的令人信服的理由是什么？HMI在家庭中推动边缘AI我们看到对无处不在的消费者物联网领域的兴趣特别浓厚，应用机会越来越多，例如各种娱乐、通信、家庭自动化、安全和其他各种设备。尤其是在当今时代，消费者希望获得互联体验，而无需担心传统连接的成本、隐私和性能问题。对更加身临其境和感知的人机交互的需求是推动智能家居对边缘人工智能需求的关键因素。随着基于人工智能的智能家居边缘计算解决方案上市，创造更人性化体验所需的性能将适用于更广泛的产品。有许多实际用例可以从智能家居中的边缘AI中受益。有些具有明显的实际好处。例如，家用门铃摄像头可以区分掉落的包裹和被盗的包裹。娱乐设备可以自动检测低分辨率视频流并将其升级到具有卓越感知质量的更高分辨率，从而更好地利用高分辨率电视显示器。即使是熟悉且现在几乎无处不在的视频会议应用程序也可以通过更高质量的视频和音频得到增强，并且可以在经济高效的设备上使用。其他例子似乎更具未来感。可以根据冰箱中储存的食材推荐晚餐（菜单）的冰箱。烤箱可以告诉您餐点何时煮熟至完美。一个虚拟的个人家庭瑜伽教练，它会在您摆姿势时提醒您伸直手臂。家庭自动化设备可以协同工作以预测房主的需求，从取暖到准备食物再到选择在电视上观看的内容。此类解决方案可以将视频、视觉和语音传感器与人工智能处理相结合，为新一代熟悉的设备带来增强的功能，例如智能显示器和条形音箱、机顶盒和安全摄像头等。这些应用程序的共同点是需要一种基于边缘、基于人工智能的解决方案，该解决方案专为智能家居而不是智能手机或汽车应用程序量身定制。为了进一步使边缘AI民主化，解决方案必须：通过标准工具，更广泛的AI开发人员和创新者可以访问；确保安全和隐私措施满足消费者的期望。边缘人工智能在智能家居中的优势智能家居人机交互需要多模式方法正如我们之前讨论的那样，基于边缘人工智能的智能手机和汽车应用解决方案主要集中在相机视觉应用。然而，在智能家居中，多模态HMI是在连接设备的新时代提升用户体验的关键要素。以机顶盒为例，此应用将需要视频AI，可能是前面提到的一种视频增强形式。它还需要语音AI能够通过语音命令识别谁在看电视，并相应地配置体验。例如，可以更轻松地选择您喜欢的节目。甚至可能需要VisionAI，内置摄像头可在与家人远程聊天时提供增强和直观的视频会议体验。理想的解决方案是以智能家居为中心的SoC（片上系统），它可以支持高性能视频、语音和视觉处理以及集成的AI加速器。SynapticsVS600SoC系列就是此类解决方案的一个示例。这种方法不仅经过优化以满足智能家居应用的多模式AI性能要求，而且还将所有这些功能集成到一个芯片中，使其可用于以消费市场价格销售的普通家用产品。满足这一需求的解决方案始于集成多种类型处理器引擎的SOC平台：CPU、NPU、GPU和ISP，以及与高性能相机和显示器的连接。该架构实现了高安全性、低成本推理和实时多模态性能的理想组合。SynapticsEdgeAI系列是一个SoC系列，每个都高度针对其给定的消费者应用程序。该系列中的每个SoC都集成了应用程序所需的处理内核和适当级别的集成AI性能。全栈工具方法简化了AI开发正如我们所见，成本/性能权衡对于成功地将边缘AI扩展到更多应用程序至关重要。在竞争激烈的消费电子领域，上市时间和差异化也至关重要。应对边缘人工智能广泛应用的挑战需要一种全栈方法，其中包括将人工智能创新引入边缘人工智能SoC的必要开发工具。最重要的是，所需的工具集应该与庞大且不断增长的AI开发者用户社区兼容。例如，该工具包将使开发人员能够导入使用TensorFlow、TensorFlowLite、Caffe和ONNX等行业标准框架创建的模型。这使开发人员能够利用现有的AI创新，并使他们能够快速轻松地在目标SoC上工作。让我们使用我们之前讨论过的个人家庭瑜伽教练应用程序。该应用程序将基于的AI模型将是人体姿态估计模型，这是一种行业标准概念，用于检测用户在相机视线内的相对骨骼位置。如果AI开发人员自己使用TensorFlowlite等行业标准工具创建人体姿势估计模型的实现，他们将使用该工具包将其导入以在所需的SoC上使用。当开发人员准备就绪时，该工具应该使他们能够针对他们选择的将在其上运行的处理器优化AI模型的性能。开发人员可以选择使用TensorFlow或TensorFlowLite等开放框架，但在使用它们时要考虑到目标处理器的功能。或者他们可以再次使用特定于SoC的工具，例如Synaptics的SyNAP工具，该工具可以专门针对VS600SoC中的处理器进行优化。在我们的示例中，开发人员可以使用SyNAP优化来配置他们的身体姿势估计模型，例如以每秒30帧的速度在VS600SoC上实时运行。然而，安全和隐私需要满足消费者的期望人机界面的未来听起来很光明，但采用的最大障碍也许是用户认为他们的隐私和安全会受到损害。最近有很多新闻报道证实了这种担忧。任何有意义的HMI解决方案都必须考虑到这一点。幸运的是，这些视频、语音和视觉数据将在设备上而不是在云端进行处理这一事实代表着隐私方面向前迈出了一大步。在视频门铃示例中，通过将AI智能添加到门铃本身，来自前门的视频不需要全天候24/7流式传输到云端，但只有在发生特定事件时才需要。例如，只有当AI引擎检测到有恶人靠近门口时，才会传输视频。或者，在我们的家庭瑜伽教练示例中，应用程序可以像我们之前展示的那样完全在设备内运行，根本不需要将任何图像从家里发送到云服务器。然而，即使这些图像从未发送到云端，用户也可能担心这些图像仍在您的设备中被捕获和处理，即使是暂时的。恶意人员可能会尝试从您的设备获取该数据，这也存在安全风险。因此，理想的以智能家居为中心的AI解决方案还必须确保以安全的方式捕获和处理这些内容，这一点至关重要。智能家居安全物联网的新时代将由更多“本地智能”（边缘人工智能）驱动，这将降低始终连接的需求和风险。在边缘设备上进行处理的人工智能神经网络是加速采用感知智能系统的关键。通过能够在边缘执行此操作，系统可以在更高的安全性和隐私性以及更低的延迟下运行。可支持多模式接口解决方案（以消费市场价格提供）的高性能、多处理器SoC将帮助开发人员快速利用AI创新并使他们的产品脱颖而出。机器如何使用语音、视频和视觉数据，以及它们如何使用它们来理解和预测性地响应我们所做的事情（例如说话或触摸），从而改善物联网如何为我们的生活提供前所未有的安全性、便利性和生产力。
