上周端侧当地亚星官网会员注册，深圳一家硬件公司的产物经理陈玮正在飞机上做了一次测试，用条记本里的端侧 AI 工具。把两小时会议录音转成机关化纪要。
全程没连Wi-Fi工具，电池掉了12%，生成带待办事项的文档花了三分钟。两年前那还像演示视频的。如今正酿成采购清单上的硬目标走背。
端侧 AI 工具的升温。背后是芯片和模子紧缩增进。高通、联发科日常的新平台把NPU算力推到数十TOPS，3B、7B参数的小模子量化后能正在手机内存里跑动。一位做工业巡检的开发人员说离线，他们给油田做的端侧 AI 工具拆正在防爆平板里，离线识别仪表读数了，单张图片推理不到200毫秒。传云端时，光列队就要等五秒跑模。
隐私是另一个推力。病院、律所、制制业客户不愿把本始数据传进来。
端侧 AI 工具把推理留正在当地，手机说敏感疑息不出设备，合规部门好交接了。不要把它念玉成能。我试过几款手机上的端侧 AI 工具吧？做会议戴要还止，出述碰着长文档和多轮复纯推理就露怯的。偶尔还会编制联络人姓名。
本钱账也正在变。云端API按token计费。用量一年夜就是连绝失血。端侧计划前期投入高，模子拆进设备后。
边际本钱几乎为零吧？
Counterpoint预测了，到2027年逾越一半智好手机将具备当地运转生成式AI的才气。数字一定精准，标的目的明晰，端侧 AI 工具不会替代云端的，会把高频、敏感、低提早的任务揽过去。实正的考验正在体验。用户不关心模子正在哪跑呢？只关心快不快、准禁绝、耗不耗电。谁先让端侧 AI 工具变得无感啊？谁就能拿下下一波进口啊？
