热点:

    小米这只狗 到底安的什么“芯”

      [  中关村在线 原创  ]   作者:曲楠

    芯研所时评,8月10日晚,小米发布会的召开,给人留下印象最深的不是手机如何,而是在发布会最后雷军公布的小米仿生四足机器人——CyberDog,中文名“铁蛋”。

    CyberDog(铁蛋)是一款工程探索版的仿生四足机器人。其12个自由度的四足移动平台,具有优越的平衡能力与环境适应能力,对于无规则地形有很好的环境适应性。

    搭载视觉感知相机,使CyberDog具备优异的人脸、人体识别与跟踪能力;融合触摸传感器、语音Al模块,APP等可以实现多模态的人机交互,使CyberDog成为用户的陪玩伙伴。在开放更多功能操作与代码后,CyberDog也可以满足机器人表演、娱乐、科教等广泛的行业使用。

    NVIDIA Jetson Xavier NX芯片
    CyberDog铁蛋(图源网络芯研所采编)

    仿生四足机器人工程探索版米粉价9999元,将在小米社区开启首批共创体验官招募。最后,小米还宣布:小米机器人实验室正式成立,并邀请机器人领域精英工程师加入,此外小米计划筹建机器人开源社区。

    这其中笔者注意到“铁蛋”采用了NVIDIA Jetson Xavier NX边缘AI超级计算机,要知道“铁蛋”的售价是9999元,而这个模块的成本就达到了399美元(约合人民币2600元左右),25%的成本都用在了这里,NVIDIA Jetson Xavier NX究竟有什么过人之处?

    NVIDIA Jetson Xavier NX芯片
    NVIDIA Jetson Xavier NX边缘AI超级计算机(图源网络芯研所采编)

    01 NVIDIA Jetson Xavier NX

    首先我们来看一下NVIDIA Jetson Xavier NX的产品信息和性能参数,它的算力为 21 TOPS,分别由10W和15W两个模式,整体功耗非常小,模块尺寸仅为70×45mm(比我们常用的银行卡还要小),但性能却异常强劲。根据小米“铁蛋”的官方宣传图来看,采用的为15W高算力模式。

    NVIDIA Jetson Xavier NX芯片
    Jetson Xavier NX两个版本的参数(图源网络芯研所采编)

    另外Jetson Xavier NX对外界设备的支持和兼容性也很好:

    在CPU方面,配备了6核 Carmel Arm 64位的CPU,拥有6MB L2缓存+4MB L3缓存。GPU方面,拥有384个CUDA和48个Tensor Core的NVIDIA Volta架构,外加两个NVDLA。

    不少玩家可能会惊呼,384个CUDA和48个Tensor Core能有多少算力?但对于Xavier系列,算力不止由GPU的CUDA核心提供,评估较为复杂。

    小米这只狗 到底安的什么“芯”
    Jetson Xavier NX(图源网络芯研所采编)

    如果仅看GPU的FP32算力,有845 GFlops,其中48个Tensor Core,提供了6.8TFlops的FP16算力;两个NVDLA(Deep Learning Accelerator),提供FP16和INT8支持。这样总计就有21TOPs的INT8算力,这些只需要消耗15W功耗。如果切换到10W模式,也能提供 14TOPs的算力。

    NVIDIA Jetson Xavier NX芯片
    铁蛋的配置(图源网络芯研所采编)

    CUDA和Tensor Core熟悉显卡的朋友都比较熟悉,而后面的NVDLA(NVIDIA Deep Learning Accelerator)为NVIDIA开源的一个开放框架,具有很好的可扩展性和配置性,为深度计算提供了一个简单灵活的推理加速解决方案。

    NVIDIA Jetson Xavier NX芯片
    NVDLA核心内部架构(图源网络芯研所采编)

    NVDLA硬件主要包含卷积核心(Convolution Core)、一维数据处理器(Single Data Processor)、二维数据处理器(Planar Data Processor)、通道数据处理器(Channel Data Processor)、专用内存与数据形状重塑引擎(Dedicated Memory and Data Reshape Engines)。

    我们继续说Jetson Xavier NX,内存方面采用了8GB 128bit LPDDR4x内存,带宽为51.2GB/s。LPDDR内存通常被用在移动端产品,相比我们熟悉的DDR系列内存,它最大的特点便是低功耗。

    NVIDIA Jetson Xavier NX芯片
    铁蛋浑身遍布传感器(图源网络芯研所采编)

    Jetson Xavier NX在视频输出方面支持2×4K30编码和2×4K60编码,拥有最多6个CSI摄像头(通过虚拟通道最多36个),12路(3×4或6×2) MIPI CSI-2接口,并且该模块拥有千兆以太网连接。其中摄像机串行接口2(CSI-2 )提供了更高的接口带宽和更好的通道布局灵活性,最重要的还是降低了接口功耗,改善了并行难以扩展的问题。

    02 CybDog——快进到赛博精神世界

    我们都知道,这个Jetson Xavier NX模块就相当于“铁蛋”的大脑,那么这个大脑具体能干什么,只是记住操作指令吗?

    NVIDIA表示,Jetson Xavier NX是目前全球最小的AI超级计算机,它的计算能力为许多嵌入式边缘计算设备敞开了大门,这些设备对性能需求大,但却收到尺寸、重量、功耗或成本的限制。其中包括小型的商用机器人、无人机、智能高分辨率传感器(工厂物流和生产线)、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。

    此前在GTC发布会上,NVIDIA发布了一个demo,演示了云原生技术帮助开发者在NVIDIA NGC训练好的模型,即在Jetson Xavier NX设备端上同时运行 4 个任务。左上角是 4 路视频的行人检测,左下角是多人姿态估计,右上角是使用了 BERT 的语音对话机器人,右下角是 Gaze 目光追踪。而这一切都同时在一块树莓派大小的板子上运行。

    NVIDIA Jetson Xavier NX芯片
    使用Jetson Xavier NX演示的4个demo(图源网络芯研所采编)

    这4个Demo展示出了Jetson Xavier NX在智慧视频分析和机器人应用上的潜力。Demo 中虽总共只有6路视频流,但Jetson Xavier NX实际能进行16路H.264编码的1080P视频流解码。如果使用H.265编码,甚至可以支持到32路。那么左上角的 Demo 就可以用来做人数统计,甚至在加入重识别后可以分析活动轨迹。

    而姿态估计的应用就更为广泛,并且在机器人领域中有着更大的价值,可以让“铁蛋”进行手势识别,动作分析,并根据分析结果执行进一步操作指令。

    右侧两个技术则提供了构建对话机器人的良好范例。通过Gaze目光追踪,“铁蛋”可以知道用户是在跟自己说话,还是跟旁边的第三者。

    NVIDIA Jetson Xavier NX芯片
    快进到赛博精神世界(图源网络芯研所采编)

    当然,在未来机器人的应用远不止这4个demo,Jetson Xavier NX这种高算力低功耗超级计算机的出现,极大的扩展了我们的思路和应用场景。或许在不久的将来,机器人就可以观察我们的情绪,通过AI判断出适宜的对话内容,或许以后再我们不开心的时候,机器人可以“亲手”泡上一杯咖啡,端到我们面前。

    AI计算的突破不仅让我们的生活变得更方便,也逐渐变得更有“人情味儿”。正如“铁蛋”的官方名称“CyberDog”,让我们离赛博精神世界又进了一步。

    但话又说回来,赛博世界真的好吗?

    (作者:曲楠  责编:Martin)

    本文属于原创文章,如若转载,请注明来源:小米这只狗 到底安的什么“芯”https://diy.zol.com.cn/774/7744018.html

    diy.zol.com.cn true https://diy.zol.com.cn/774/7744018.html report 4800 芯研所时评,8月10日晚,小米发布会的召开,给人留下印象最深的不是手机如何,而是在发布会最后雷军公布的小米仿生四足机器人——CyberDog,中文名“铁蛋”。CyberDog(铁蛋)是一款工程探索版的仿生四足机器人。其12个自由度的四足移动平台,具有优越的平衡能力与环境适...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    • DIY组装电脑
    • 新品上市
    推荐问答
    提问
    • 论坛精选
    • 最热回答
    0

    下载ZOL APP
    秒看最新热品

    内容纠错