158 6721 8818

0574-27676908

新闻动态

—

新闻动态

—

约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒

作者:宁波海曙光信电子科技有限公司 浏览: 发表时间:2026-11-20 16:30:26

约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒

作者:IT之家

11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约 60 秒。

圣塞维耶罗借助谷歌的 Gemini 4 Carbon 模型,探索展示了一个特别实验,将小型 Transformer 推理引擎与量化后的模型编译成一个 PostScript 打印任务。

本次实验没有修改理光打印机固件,也未加装外部计算板,而是利用打印机内置的 PostScript 解释器执行计算,让原本用于描述打印页面的语言承担起运行 AI 的工作。

为充分发挥打印机有限的内存资源,本次实验并未一次性装下整个模型,改为采用动态层加载方式,轮流将模型各层调入、移出内存,该实验运行时峰值占用约为 14.1MB。IT之家附上相关截图如下:

性能输出方面,本次实验处理速度约为每个词元 60 秒(不是每秒 60 个词元)。报道称整个计算发生在打印机内部,由打印机的 CPU 执行 PostScript 程序,再把答案交给打印机打印,模型推理涉及 18 个 Transformer 网络层。

在预填充(prefill)阶段,处理输入提示“Read the fine”耗时约 184 秒,而解码(decode)单个生成词元耗时 0.1 秒,总计 184.1 秒。


约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒
谷歌 DeepMind 工程师完成实验,在不改动理光打印机固件、不加外设的前提下,依靠打印机内置 PostScript 解释器,以 14.1MB 峰值内存运行量化后的 Gemma 3 270M 模型。采用动态层加载方案,推理由打印机原生 CPU 完成,单生成词元耗时约 60 秒,计算结果直接打印输出,展示了极具创意的轻量化 AI 部署思路。
长按图片保存/分享
0

产品中心

产品中心

快速导航

联系我们

手机:158 6721 8818(微信)

电话:0574-27676908

地址:海曙区东渡路29号8楼D01

版权所有© 2025 宁波海曙光信电子科技有限公司   浙ICP备14008261号 

版权所有© 2025 宁波海曙光信电子科技有限公司   浙ICP备14008261号 

客服中心
手机号
158 6721 8818(微信)
服务热线
0574-27676908
上班时间
周一到周五
E-mail地址
9090683@qq.com
添加微信好友,详细了解产品
使用企业微信
“扫一扫”加入群聊
复制成功!
添加微信好友,详细了解产品
我知道了