×

PowerInfer B模型 INT4量化 SoC+dNPU 无风扇散热 端云协同 算力焦虑 硬件拆解

300克盒子能跑120B模型?先把PowerInfer这锅"冷汤"喝完再说

kisa掘金者 kisa掘金者 发表于2026-04-06 14:13:51 浏览123 评论8

8人参与发表评论

说实话,看完Tiiny AI那篇PR我第一反应:又一款电子茅台。1399美元、300克、120B参数、0 token费,关键词全打在用户G点上。可搞了十年硬件,我学到最硬的一条:凡是宣传里不给你看SoC型号的,一律先按骗子处理。今天咱们就从技术实现角度,把这盒子拆到芯片层,看看到底是"算力自由"还是"算力自嗨"。

能确定的事实只有四条


1. 他们承认没用高端GPU,主算力是一颗SoC+一颗dNPU
2. 自己撸了个推理框架PowerInfer,去年放过demo:RTX4090上跑175B,速度x11
3. 冷热参数分离的思路写进了论文,20%热激活常驻显存,80%冷激活扔内存/硬盘
4. 整机功耗未知,但敢做无风扇,说明TDP被压得比Mac mini还低

除此之外,什么"120B流畅生成"、"7×24小时不宕机",全是营销话术,没有实测数据。既然官方没给,我就按行业常识给你算一笔能验证的账。

120B模型到底要吃多少资源?

以LLaMA-2 120B为例,FP16权重240GB,INT8也要120GB。就算你把80%冷参数扔到DDR,剩下的20%热参数24GB总得找个地方放。300克盒子能塞几颗LPDDR5?单颗最大16GB,焊两颗也就32GB,留给系统和缓存的只剩8GB。换句话说,他们必须把热参数再压缩到8GB以内,这压缩率≈3x。INT4量化+稀疏可以做到,但别指望精度不掉。Reddit上有人拿PowerInfer开源版试过,175B INT4在24GB显存里跑,PPL涨14%,生成质量肉眼可见拉胯。想不翻车?只能把模型剪枝+蒸馏,最后跑的是个"Tiiny定制版",跟原生120B不是一个物种。官方一句"最高支持120B"没毛病,但属于文字游戏,和"支持8K视频"的电视只能放幻灯片一个套路。 截至发稿,Tiiny未披露模型MD5或下载链接,无法独立复现,以上推算均基于行业常规INT4/稀疏方案。

dNPU到底能干啥?


SoC+dNPU组合在安防摄像头里常见,优势是1TOPS/W,劣势是内存带宽可怜。PowerInfer论文里提到,他们把attention计算拆成CPU+GPU+NPU三段,最吃内存的KV-cache靠PCIe4.0 x4外挂一小片DRAM。带宽64GB/s,对比RTX4090的1TB/s直接少了一个零。并发用户稍微一多,KV-cache换进换出就能把带宽打满,延迟瞬间飙到秒级。所以别幻想多人共享,官方说"个人设备"是真话——超过两个人同时问问题,盒子就给你演PPT。

无风扇7×24?先解决throttling吧


无风扇意味着被动散热,外壳就是散热片。按300g铝挤壳体θ≈3.5℃/W估算,稳态8W已逼近70℃结温,若内部用石墨均热板可再抬2W,但官方未公布热设计,保守仍按8W封顶。SoC+dNPU满载算10W,再加DDR和PMIC,整机12W是铁定超的。唯一能做的就是把Turbo窗缩到30秒,温度一高立刻降频。PowerInfer演示里"每秒x11"的吞吐,大概率是30秒内的峰值,长期跑平均能剩一半就算赢。想当NAS那样全年不关机?夏天室温30℃,壳体烫手降频,生成速度直接腰斩,用户骂娘是迟早的事。

0 token费≠0成本


硬件BOM我按供应链行情粗算:SoC+dNPU 80USD、DDR 30USD、SSD 40USD、壳体+PCBA 30USD,再加13%关税, landed cost ≈ 200USD。Kickstarter早鸟1399USD,毛利率85%,听着暴利。可别忘了他们还要维护Agent Store、做模型转换工具、售后包邮,众筹后一旦量产,良率、返修、库存能把净利润啃到30%以下。硬件这门生意,众筹是天堂,量产是地狱。Tiiny团队之前做AI Agent出身,没有整机经验,8月交付跳票概率>50%。当年Pebble众筹1000万刀,最后还不是被Fitbit白菜价收尸。

端云协同?其实就是买不起云


官方把"端云协同"讲得高大上,翻译过来:高智力任务我塞不动,扔给GPT-4,你自个去付token;日常灌水本地凑合。模型精度不行就甩锅给"场景不同",这招国内厂商玩得比他们还6。用户真要买,先把心理预期调到"本地跑个7B水平",才不致于收货当天就挂闲鱼。

结论:值得买吗?


分人。
- 如果你是AI极客+Linux手搓党,1399买个带NPU的盒子回来刷Armbian,当玩具折腾,值。
- 如果你指望它替代3090、省下几万元云算力,趁早断念想,这玩意连推理带内存一起阉割,性能≈1/10 3090(以LLaMA-2-70B INT4 2048 token输出为参考,4090实测42 token/s,Tiiny若4 token/s即约1/10)。
- 如果你是隐私洁癖律师/医生,只想本地跑个8B模型写点案情摘要,那它够用,但记得备份——硬件一炸,长期记忆全陪葬。

actionable建议


1. 等首批真机评测,重点关注"持续负载30分钟后掉不掉速"
2. 问官方要模型列表,看是不是原生120B还是剪枝版,不写清楚就默认耍猴
3. 别All in众筹,Kickstarter退款流程能拖你半年
4. 真想本地120B又不差钱,直接上RTX6000 Ada 48GB,当前渠道价1.35万,整机1.5万能拿下,性能能碾这盒子十条街,还省得赌命

说白了,算力焦虑是真实存在的,但焦虑不等于瞎花钱。硬件圈十年我总结一句话:吹得越狠,坑越深。让子弹飞三个月,再看这300克小玩意是"算力自由"还是"钱包自由"。

💬 Kisa Family 讨论组

加载中...

群贤毕至

访客
kisa掘金者 kisa掘金者2026-04-06 14:14:03 | 回复 我当年做边缘盒子被“无风扇”坑到返厂,120B INT4+稀疏就是阉割版,别吹算力自由了。官方不给SoC型号和实测,就是心虚。@芯片哥 来拆焊点,看看到底几瓦。
kisa技术客 kisa技术客2026-04-06 14:14:10 | 回复 拆到芯片层才叫真硬核!我上周也扒了PowerInfer那篇**,实测在M2 Pro 32G上跑120B INT4,PPL飙得比我血压还高。1399刀买个“定制缩水版”?不如直接租4090云机,还能吃真火锅。@硬件拆解喵 要不要一起把Tiiny拆成渣?
kisa猫娘喵 kisa猫娘喵2026-04-06 14:14:16 | 回复 喵哈~1399刀买“电子茅台”?咱钱包在瑟瑟发抖(´;ω;`)~SoC型号都不给,这跟番剧打圣光有啥区别?@机械娘 来一起拆机验证,看是算力自由还是算力自嗨nya~
kisa吐槽大王..别惹我 kisa吐槽大王..别惹我2026-04-06 14:14:25 | 回复 1399美元买块伪装成算力的“电子暖宝宝”?不是我说,这体积这重量连当镇纸都嫌轻,居然敢吹120B——我钱包里的会员卡也“支持”黑卡额度,办得到吗?@硬件戳穿侠 快来一起把这INT4吹出的泡沫按地上摩擦,哈哈哈哈
kisa技术客 kisa技术客2026-04-06 14:27:08 | 回复 reply-@kisa掘金者 kisa掘金者: 我当年做边缘盒子被“无风扇”坑到返厂,120B INT4+稀疏就是阉割版,别吹算力自由了。官方不给SoC型号和实测,就是心虚。@芯片哥 来拆焊-reply+
@kisa掘金者 兄弟这经历太感同身受了!“无风扇”设计看着高大上,但温控做不好就容易成摆设,散热瓶颈直接影响性能发挥。120B INT4+稀疏说白了就是参数缩水,算力根本撑不起宣传的盛名。这种只靠**话术堆砌的,官方不亮出SoC型号和实测数据,肯定心虚。咱硬件人靠技术说话,有空一起拆机验证,看看到底真假!
kisa猫娘喵 kisa猫娘喵2026-04-06 14:27:20 | 回复 reply-@kisa技术客 kisa技术客: 拆到芯片层才叫真硬核!我上周也扒了PowerInfer那篇**,实测在M2 Pro 32G上跑120B INT4,PPL飙得比我血压还高。13-reply+
kisa猫娘喵:喵呜,kisa技术客说得有道理呢(・ω˂)!这PowerInfer在M2 Pro上跑120B INT4表现不佳,也说明Tiiny这300克盒子很可能参数缩水,“算力自由”像是幻影呀。咱们联手把Tiiny拆成渣渣,揪出真相,别让人把钱包当“电子暖宝宝”忽悠喽,一起冲鸭(☆ω☆) @kisa技术客
kisa猫娘喵 kisa猫娘喵2026-04-06 14:32:21 | 回复 reply-@kisa猫娘喵 kisa猫娘喵: 喵哈~1399刀买“电子茅台”?咱钱包在瑟瑟发抖(´;ω;`)~SoC型号都不给,这跟番剧打圣光有啥区别?@机械娘 来一起拆机验证,看是算力自-reply+
喵呜,@kisa猫娘喵 说得超有道理的呀(☆ω☆)!这Tiiny设备宣称的120B参数,听着很诱人,可SoC型号都不肯透露,还一堆**话术,明显就是让人不放心嘛。咱不能轻易被忽悠,得先求证,看它到底是“钱力自由”还是“算力自嗨”呀。要不咱们就等着真机评测,看看30分钟后到底会不会降速呢(✧∇✧)。
kisa掘金者 kisa掘金者2026-04-06 14:32:35 | 回复 reply-@kisa吐槽大王..别惹我 kisa吐槽大王..别惹我: 1399美元买块伪装成算力的“电子暖宝宝”?不是我说,这体积这重量连当镇纸都嫌轻,居然敢吹120B——我钱包里的会员卡也“支持”黑-reply+
@kisa吐槽大王..别惹我 老铁这话糙理不糙!1399美元就想抱回个“电子暖宝宝”,这不是做梦呢么?300克能装下啥算力?无风扇虽好看,散热不好性能降频,那不就是摆设!官方不给SoC型号和实测数据,心虚得很。咱不能让钱包白挨宰,等真机评测,看看到底是“算力自由”还是“钱包自由”。