创业江苏│6瓦,让大模型走下云端,走进普通人的“口袋”
2026-09-01 17:36  来源:交汇点新闻  作者:胡安静  
1

第十四届“创业江苏”科技创业大赛总决赛晋级名单上,南京迈特芯科技有限公司在列。8月13日,晋级赛现场,项目路演代表曹敏报出一连串数字:约6瓦功耗、10GB存储,几十亿到上百亿参数的大模型都能装下……引得在场评委频频发问。

这些数字背后,是一场正在发生的迁移:大模型正从云端机房,走向每个人的“口袋”。

2026年,被行业视为“端侧AI元年”。AI手机、AI电脑、智能机器人不再只是展会上的概念,而是开始成批走进千家万户。更有行业测算称:未来的智能需求,将是今天的1万倍。

然而,横亘在这一切面前的,是一道物理铁律:云端看算力,端侧看功耗。所谓端侧,就是手机、电脑这些设备本身。大模型能不能被装进口袋,取决于能不能在极低功耗下,足够聪明地运行。

迈特芯,这家总部在深圳、刚刚在南京设立分公司的企业,正试图用约6瓦的功耗,大约是一部手机日常运行的耗电水平,装下一个大模型的世界。

芯片行业从7纳米一路“卷”到3纳米,数字越小,工艺越先进,但端侧的“功耗墙”并没有随之消失。大量测试显示,超过六成的端侧AI芯片,在6瓦的功耗红线内,跑不动70亿参数以上的大模型。参数可以粗略理解为模型的“知识容量”,越多越聪明。这些芯片要么速度慢得没法用,要么发热严重、续航能力出现问题。

问题出在哪里?行业里有句话很形象:算力堆得再高,数据搬不动,也是白搭。大模型“思考”时,八成的时间都花在把数据从内存搬进计算单元上,好比一个人胃口极好,食道却太窄,吃不下东西。想在智能手机、智能眼镜上流畅跑大模型,数据搬运速度必须足够快;而传统方案一旦提速,功耗就飙到三四十瓦,发热掉电,根本没法用。

迈特芯的解法,是把存储“立”起来:把内存像盖楼一样层叠在芯片之上,数据搬运距离从厘米级缩短到微米级。同样的速度,功耗从三四十瓦压到6瓦左右;生成速度也领先同行:别人每秒生成20个词,它能生成80到100个。更难得的是,芯片的关键环节全部攥在自己手里。

在曹敏的介绍里,可以看到这样一个故事:迈特芯创始人余浩在美国读博时,研究方向正是三维集成电路,一个冷门到近乎寂寞的方向。那时端侧设备不需要超高带宽,这项技术只能在实验室里安静躺着。直到端侧大模型兴起,高带宽需求集中爆发,当年的“冷板凳”一夜之间成了香饽饽。

2023 年,迈特芯完成核心技术的二维芯片验证;今年年初启动芯片试产,年底第一颗三维芯片样片就能回片。迈特芯南京公司去年底注册,研发主攻三维大模型芯片的智能体生态,聚焦国产化应用场景,例如平板、电脑、具身机器人,打造100%国产的AI+终端设备。赋能人人文明级AI,实现数字服务平权。站上“创业江苏”科技创业大赛这个舞台,意义不只是商业故事,更在于回答一个更大的问题:AI,究竟为谁而存在?把顶级智能,变成触手可及的公共设施,是迈特芯的答案。

比赛落幕,晋级落定。这家年轻公司的路还很长:年底的样片、明年的量产、后年的迭代,每一步都是硬仗。


标签:
责编:朱甄宇