（AI云资讯消息）在智能手机上运行更高复杂度 AI 模型，最大瓶颈在于内存容量。就目前内存的市场形势来看，短期内内存规格很难突破 16GB 门槛。不过，高通CEO克里斯蒂亚诺·安蒙（Cristiano Amon）认为，手机能够持续运行千亿参数大模型的时代很快就会到来，他还证实已有 AI 企业正在研发可以实现这一目标的手机产品。谈及运行高复杂度模型的现实可行性，安蒙提到，即便内存供货紧张、价格居高不下，手机厂商依旧会搭载大容量运行内存。
在接受采访时，安蒙并未透露打造可运行1000亿参数大模型智能手机的AI公司名称，但他大胆提出 2028 年就能落地此类设备，这无疑是一项极为艰巨的挑战。受内存供应紧张的影响，大量手机厂商已经放弃推出更高内存版本机型，而就在一年前，安卓机型还曾配备高达 24GB 的 LPDDR5X 内存。
即便简单测算也能发现：运行 4 比特量化的千亿参数模型，手机至少需要 50GB 运行内存，还要预留足够内存供给系统、各类应用以及上下文缓存。而 2 比特量化方案依旧难以实现，仅千亿参数大模型本身就需要占用手机 25GB 内存。就算内存成本与供应难题能够得到相应解决，那么还尚未考虑另一重问题：持续运行高复杂度模型会产生大量热量，进而触发设备温控降频。
苹果与高通已通过芯片封装方案迭代，在 A20 Pro 和第六代骁龙8超级至尊版上一定程度缓解了该问题。但想要真正稳定运行千亿参数大模型，内存瓶颈仍将持续存在，除非采用更多创新技术方案。
举例来说，高压缩量化可大幅降低内存需求，1 比特量化版本甚至能够装入内存。可惜的是，当量化精度低于 4 比特后，大模型输出质量会显著下降，推理任务尤为明显。另一条技术路线是带专家卸载的混合专家模型（MoE）：每个 token 计算时仅激活少量专家模块，这部分常驻内存，其余专家模块存放于闪存。说到闪存，苹果已研究过在机身存储上运行大模型。但 UFS 与 NVMe 闪存的读写速度远不及内存，会造成推理速度下降。
经过蒸馏的 200 亿至 300 亿参数模型，在手机端运行时，其效果可以接近千亿参数大模型。对厂商而言，这是更具备商业化前景的方案，也是可行性最高的路线。不过，安蒙仅作出此番表态，却没有给出技术落地路线图，这并不会加快手机运行高复杂度大模型的进程。不过畅想便携设备拥有和大型算力设备同等能力，依旧是个美好的愿景。
成为付费用户可以阅读 高通 所有资料
了解更多 →