对话后摩智能CEO吴强:未来90%的数据处理可能会在端边
在后摩智能展台,后摩智能M50系列产品首次亮相,后摩智能M50芯片与力谋®BX50计算盒子、力擎LQ50 Duo M.2卡等旗下核心产品一同位于展台的核心位置。
作为主打端边大模型和存算一体的芯片企业,后摩智能这次带来的M50芯片专为大模型推理设计,主要面向AI PC(人工智能个人电脑)、智能终端等场景。
他认为,未来的计算格局有可能是端、边、云的混合体,但是90%的数据处理可能会在端和边,只有10%的训练算到云端做更昂贵或者更复杂的任务在云端做。
后摩智能创立于2020年,创立早期定位为基于存算一体技术的大算力AI(人工智能)芯片研发企业。创始人吴强拥有美国普林斯顿大学博士学位,曾任地平线CTO(首席技术官)。
据介绍,M50芯片实现了160TOPS INT8、100TFLOPS bFP16的物理算力,搭配最大48GB内存与153.6 GB/s的超高带宽,典型功耗仅10W,相当于手机快充的功率,能让PC、智能语音设备、机器人等智能移动终端高效运行1.5B到70B参数的本地大模型,实现了“高算力、低功耗、即插即用”。
吴强曾表示,国产替代的企业可以对标海外的某类产品,但绝不能用同样的技术路径进行照搬,如英伟达、AMD等国际巨头的研发、工程、供应链能力远超过初创企业,硬碰硬难以取得成功,创业公司需要另辟蹊径,以一种差异化的技术路线来应对和巨头们之间的竞争。
吴强称,M50芯片的发布是后摩智能现阶段迈出的重要的一步,后面会推出更多的芯片去解决端边大模型的算力和功耗问题以及带宽问题。“长期来说,后摩希望定位在端边AI计算。”
图源:观察者网
2024年初,后摩智能把第一代芯片调整了一版,推出了M30,针对大模型做了一些调整和优化。
本次推出的M50产品可广泛应用于消费终端、智能办公、智能工业等多元领域,且均能在离线状态下实现全流程本地处理,从源头杜绝数据联网传输风险。
吴强还披露了当下后摩智能的意向客户,包括联想的下一代AI PC产品、讯飞听见的下一代智能语音设备以及中国移动的全新一代的5G+AI边缘计算设备等。
本文系观察者网独家稿件,未经授权,不得转载。
2、从未授权开展研学活动!侵华日军第七三一部队罪证陈列馆声明,侵华日军第七三一部队罪证陈列馆图片
3、欧洲怎么都是死,他没有资金补贴本国的产业,钱从哪里来,欧洲有人才吗?