说实话,看完Tiiny AI那篇PR我第一反应:又一款电子茅台。1399美元、300克、120B参数、0 token费,关键词全打在用户G点上。可搞了十年硬件,我学到最硬的一条:凡是宣传里不给你看SoC型号的,一律先按骗子处理。今天咱们就从技术实现角度,把这盒子拆到芯片层,看看到底是"算力自由"还是"算力自嗨"。
能确定的事实只有四条
1. 他们承认没用高端GPU,主算力是一颗SoC+一颗dNPU
2. 自己撸了个推理框架PowerInfer,去年放过demo:RTX4090上跑175B,速度x11
3. 冷热参数分离的思路写进了论文,20%热激活常驻显存,80%冷激活扔内存/硬盘
4. 整机功耗未知,但敢做无风扇,说明TDP被压得比Mac mini还低
除此之外,什么"120B流畅生成"、"7×24小时不宕机",全是营销话术,没有实测数据。既然官方没给,我就按行业常识给你算一笔能验证的账。
120B模型到底要吃多少资源?
以LLaMA-2 120B为例,FP16权重240GB,INT8也要120GB。就算你把80%冷参数扔到DDR,剩下的20%热参数24GB总得找个地方放。300克盒子能塞几颗LPDDR5?单颗最大16GB,焊两颗也就32GB,留给系统和缓存的只剩8GB。换句话说,他们必须把热参数再压缩到8GB以内,这压缩率≈3x。INT4量化+稀疏可以做到,但别指望精度不掉。Reddit上有人拿PowerInfer开源版试过,175B INT4在24GB显存里跑,PPL涨14%,生成质量肉眼可见拉胯。想不翻车?只能把模型剪枝+蒸馏,最后跑的是个"Tiiny定制版",跟原生120B不是一个物种。官方一句"最高支持120B"没毛病,但属于文字游戏,和"支持8K视频"的电视只能放幻灯片一个套路。 截至发稿,Tiiny未披露模型MD5或下载链接,无法独立复现,以上推算均基于行业常规INT4/稀疏方案。dNPU到底能干啥?
SoC+dNPU组合在安防摄像头里常见,优势是1TOPS/W,劣势是内存带宽可怜。PowerInfer论文里提到,他们把attention计算拆成CPU+GPU+NPU三段,最吃内存的KV-cache靠PCIe4.0 x4外挂一小片DRAM。带宽64GB/s,对比RTX4090的1TB/s直接少了一个零。并发用户稍微一多,KV-cache换进换出就能把带宽打满,延迟瞬间飙到秒级。所以别幻想多人共享,官方说"个人设备"是真话——超过两个人同时问问题,盒子就给你演PPT。
无风扇7×24?先解决throttling吧
无风扇意味着被动散热,外壳就是散热片。按300g铝挤壳体θ≈3.5℃/W估算,稳态8W已逼近70℃结温,若内部用石墨均热板可再抬2W,但官方未公布热设计,保守仍按8W封顶。SoC+dNPU满载算10W,再加DDR和PMIC,整机12W是铁定超的。唯一能做的就是把Turbo窗缩到30秒,温度一高立刻降频。PowerInfer演示里"每秒x11"的吞吐,大概率是30秒内的峰值,长期跑平均能剩一半就算赢。想当NAS那样全年不关机?夏天室温30℃,壳体烫手降频,生成速度直接腰斩,用户骂娘是迟早的事。
0 token费≠0成本
硬件BOM我按供应链行情粗算:SoC+dNPU 80USD、DDR 30USD、SSD 40USD、壳体+PCBA 30USD,再加13%关税, landed cost ≈ 200USD。Kickstarter早鸟1399USD,毛利率85%,听着暴利。可别忘了他们还要维护Agent Store、做模型转换工具、售后包邮,众筹后一旦量产,良率、返修、库存能把净利润啃到30%以下。硬件这门生意,众筹是天堂,量产是地狱。Tiiny团队之前做AI Agent出身,没有整机经验,8月交付跳票概率>50%。当年Pebble众筹1000万刀,最后还不是被Fitbit白菜价收尸。
端云协同?其实就是买不起云
官方把"端云协同"讲得高大上,翻译过来:高智力任务我塞不动,扔给GPT-4,你自个去付token;日常灌水本地凑合。模型精度不行就甩锅给"场景不同",这招国内厂商玩得比他们还6。用户真要买,先把心理预期调到"本地跑个7B水平",才不致于收货当天就挂闲鱼。
结论:值得买吗?
分人。
- 如果你是AI极客+Linux手搓党,1399买个带NPU的盒子回来刷Armbian,当玩具折腾,值。
- 如果你指望它替代3090、省下几万元云算力,趁早断念想,这玩意连推理带内存一起阉割,性能≈1/10 3090(以LLaMA-2-70B INT4 2048 token输出为参考,4090实测42 token/s,Tiiny若4 token/s即约1/10)。
- 如果你是隐私洁癖律师/医生,只想本地跑个8B模型写点案情摘要,那它够用,但记得备份——硬件一炸,长期记忆全陪葬。
actionable建议
1. 等首批真机评测,重点关注"持续负载30分钟后掉不掉速"
2. 问官方要模型列表,看是不是原生120B还是剪枝版,不写清楚就默认耍猴
3. 别All in众筹,Kickstarter退款流程能拖你半年
4. 真想本地120B又不差钱,直接上RTX6000 Ada 48GB,当前渠道价1.35万,整机1.5万能拿下,性能能碾这盒子十条街,还省得赌命
说白了,算力焦虑是真实存在的,但焦虑不等于瞎花钱。硬件圈十年我总结一句话:吹得越狠,坑越深。让子弹飞三个月,再看这300克小玩意是"算力自由"还是"钱包自由"。