当前位置: 首页 > 科技赋能

微软HoloLens视觉芯片细节

时间:2024-05-22 14:56:34 科技赋能

微软(Microsoft)近日首次披露了其增强现实(AR)头戴设备HoloLens内部定制视觉处理器芯片的细节;该芯片拥有每秒1兆位(trillin)子像素操作(pixel-operations)的处理能力,功耗低于采用代号为Cherry Trail的英特尔Atom系列核心的4W主机处理器。

HoloLens 处理单元 (HPU) 融合来自五个摄像头镜头、深度传感器和运动传感器的输入,将其压缩并传输到英特尔的主处理器 SoC;此外,HPU还可以识别覆盖多个房间环境的手势和地图。

微软在今年早些时候介绍了 HoloLens 的主要功能,但没有透露其 HPU 的详细信息。

微软评估了 Movidius 等供应商的商用计算机视觉芯片,但发现没有产品能够处理具有所需性能、延迟和功耗目标的所有算法;后来定制的HPU采用了28nm TSMC工艺,包含24个Tensilica数字信号处理器(DSP)内核和一个8Mbyte缓存。

它将逻辑门和1GB容量的LPDDR 3集成到尺寸仅为12x12mm的芯片封装中。

最近在硅谷 Hot Chips 会议上介绍 HPU 的微软杰出技术人员 Nick Baker 表示,选择 Tensilica 核心的部分原因是考虑其灵活性。

微软在核心中添加了定制指令集:“如果你没有办法添加定制指令集,并且最终可实现的数学密度不是你所需要的。

”HPU芯片使用了独立加速器和独立加速器的混合体。

与 DSP 内核紧密耦合,以纯软件版本实现整个过程。

加速次数; Baker说:“我们根据需要尽可能使用可编程元件和固定功能硬件,以实现我们需要的性能目标;”该芯片的软件程序代码包含多种算法:“具有不同的成熟度、数学运算和存储器访问模式。

贝克透露,HoloLens的开发分为硬件、软件、用户体验和性能等不同团队同时进行:“我们将在这个项目上最大限度地联合设计;”他还强调,微软已经模拟软件的内部能力(模拟测试结果生成硬件模拟程序,也可以在最终硬件上执行:“所有工作在 Windows 10 开发过程中同时进行。

”HoloLens 开发套件于 3 月份推出,定价为价格为美元,包括 HPU;不过,Baker 拒绝评论 HPU 是否会有更新计划,以及微软何时推出 HoloLens 的消费者版本。

展望未来,Baker 相信设计工程师将进一步推动这款耳机。

到 8K 分辨率并支持更宽的视野(注视点渲染,这是一种对用户目标聚焦范围之外的任何场景保持模糊的方法)预计将变得越来越流行......并且具有各种分辨率的显示器可能会。

也会出现;”贝克说:“我们需要思考这样的趋势对GPU、互连技术和面板行业等整个供应链的影响。