继去年5月业界首次推出首款物联网AI芯芯片——Swift及其系统解决方案后，1月2日日前，国内人工智能领军企业云知声在北京召开新闻发布会，正式公布了其多模态AI芯电影战略和计划。
会上，其同时曝光了多款正在研发的针对不同场景的AI芯片，包括第二代物联网语音AI芯 Lite，以及面向智慧城市、支持图像和语音计算的多模态AI芯芯片Dolphin。
以及针对智能出行的汽车级多模态AI芯电影Leopard。
5G推动AIoT落地，多模AI芯势在必行。
云知声创始人/CEO黄伟认为，我们目前正处于5G爆发的边缘。
5G与人工智能的结合将真正推动智能万物互联（AIoT）的落地和实现。
可以预见，未来海量多维数据（如语音、图像、视频等）的集中处理和边缘分布式计算的需求，势必进一步挑战AI底层支撑硬件的算力——芯片。
同时，人工智能在AIoT场景中的应用对端云互动有着强烈的需求。
强大的云会让终端能力更强，而强大的终端可以提高数据处理的实时性和有效性，从而增强云的能力。
两者需要紧密结合，这就需要芯片设计和云端架构统一考虑。
由于传统通用解决方案架构在高实时、高智能场景下计算能力有限，无法平衡成本、功耗、安全等诸多实际需求，需要具备集中处理能力的多模态解决方案。
需要三维AI数据。
AI芯电影将是一条出路。
黄伟还指出，在万物智联的5G时代，人工智能服务需要提供更多场景化的解决方案，云+芯综合服务模式将成为行业主流。
基于此，他进一步提出了传统SOC（System On Chip）概念的新定义，其中S代表不同的AI服务能力，即Skills，O代表云端与边缘On/off Cloud之间的交互，C代表AI芯片具有智能处理能力。
从IVM到Swift，云知声的造芯之旅 云知声于2016年开始进军物联网AI硬件芯片解决方案（IVM），并于2016年开始形成量产出货。
其中，家居领域客户包括格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。
在深度场景提供服务的过程中，为了弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及边缘算力和多模态AI数据处理方面的短板之后，云知声正式启动自主研发AI芯电影项目。
去年5月16日，云知声正式发布了他的第一部物联网AI芯电影，该电影历时近三年自主研发。
该芯片采用云知声自研的AI指令集，拥有完全自主知识产权的DeepNet1.0和uDSP（数字信号处理器），支持DNN/LSTM/CNN等多种深度神经网络模型。
与通用方案相比，其性能提升50%以上。
次。
发布该芯片仅4个月后，云知声就选择开源基于Swift的解决方案，并于去年9月正式推出了两套智能家居和智能音箱的标杆解决方案。
通过“云芯”的结合，我们为客户及合作伙伴提供针对特定场景的软硬件一体化Turnkey解决方案，让客户站在更高的设计起点，以更低的成本在更短的时间内打造产品，生产更稳定和可靠的产品。
同时，开源的解决方案也保证了客户可以基于提供的AI能力设计其他各种长尾产品形态，构建更丰富的AIoT生态。
目前基于Swift芯片的全栈解决方案已向美的、奥克斯、海信、京东、中国平安、硬蛋科技等10余家各类解决方案提供商及合作伙伴推出，以及相关产品最早将在第一季度产品上市时批量供货。
物联网AI芯的多模态进化之路。
在第一代UniOne芯片Swift发布会上，云知声和创始人李小涵曾指出，UniOne不是一个芯片，而是一系列芯片，代表了云知声的物联网AI芯。
电影发展战略的总体构想。
在今天召开的云知声多模态AI芯电影战略发布会上，李小涵再次从三个方面论证了多模态AI芯电影对于物联网的必要性。
他认为，当前物联网产品线的AI芯电影越来越体现出三个趋势：一是场景化。
芯片设计正逐渐从最初片面追求PPA，即性能（Power）、功耗（Performance）和面积（Area），发展到基于软件与芯片集成解决某一垂直领域的具体问题。
硬件，甚至云服务。
芯片本身已经成为整个解决方案的重要组成部分，而不是唯一；其次，端云互动。
在物联网的不同应用场景中，大量的终端设备必须相互配合才能实现功能智能化，这意味着形成边缘计算能力和云计算能力的动态平衡。
端云互动的主张需要AI芯电影的大力支持，进一步深刻影响芯片的设计和最终交付；此外，数据是多模式的。
在5G驱动的万物智能互联场景下，芯片所接触到的数据维度将由原来的单一多元化，芯片需要处理的数据也将从单一模态向多模态转变。
这对于芯片尤其是物联网来说非常重要。
人工智能芯片的设计提出了新的挑战。
结合以上三点，李晓涵认为物联网AI芯片的最终呈现形式将不再是单一硬件，而一定是承载边缘能力和云端能力的多模态AI软硬件一体化解决方案。
云知声的多模态AI芯薄膜技术布局 为了实现多模态AI芯薄膜的战略实施，云知声目前正在加快技术布局，在机器视觉方面取得快速进展。
其中，用于机器视觉的轻量级图像信号处理器能够以30 fps的速率实时预处理传感器图像，无需依赖外部存储器，进一步提高后续机器视觉处理模块的处理能力。
速度和效果。
借助基于人脸信息分析的多模态技术，可以实现人脸/物体识别、表情分析、标注、唇动状态跟踪等功能，为产品交互和用户体验提供更多的可玩性和灵活性。
性别。
特别值得一提的是，云知声多模态人工智能核心IP DeepNet 2.0的发布，标志着云知声人工智能处理核心全面进入融合语音、图像等处理能力的2.0多模态时代。
1.0语音时代。
。
DeepNet2.0兼容LSTM/CNN/RNN/TDNN等多种推理网络，支持可重构计算和Winograd处理，最大可配置计算能力达4T，达到业界一流水平。
目前，云知声的DeepNet2.0已经在FPGA上进行了验证，并将在2019年推出的新型多模态AI芯电影海豚上实现。
此外，在图像和芯片技术的产学研合作方面，云知声还与杜克大学主导的美国自然科学基金会旗下唯一的人工智能计算中心ASIC达成深度合作，致力于AI芯切片算法的压缩和量化。
技术，以及非冯新AI芯电影计算架构研究，将为云知声多模态AI芯电影战略的推进进一步奠定坚实的基础。
三款正在开发的芯片被曝光，2020年开始量产。
在首款量产芯片Swift已被大量客户导入、具备市场先发优势的背景下，云知声2020年芯片落地规划仍保持积极态度。
李晓涵透露，除了继续迭代升级现有Swift芯片的性能和服务外，目前正在开发多款不同方向的云知声芯片，其中包括适用性更广的超轻量级物联网语音AI芯芯片Swift Lite。
，集成云知声最先进的神经网络处理器DeepNet2.0、可为智慧城市场景提供语音、图像多模态计算支持的多模态AI芯电影海豚（Dolphin），以及吉利旗下生态链企业一卡群豹，通通科技联合打造的针对智慧出行场景的多模态汽车级AI芯片。
上述三款芯片计划于2020年开始量产。
目前，凭借在家庭、汽车等现实场景中丰富的产品经验，以及具有先发优势的AI芯电影能力，云知声的业务已覆盖包括智能家居、智能汽车、智能儿童机器人、智能酒店、智能交通等诸多场景。
未来，云知声将持续研发多模态AI芯片，不断拓展技术和场景生态，实现对未来AIoT时代的全面赋能。