据 Tom's Hardware 报道,开发者 Leonardo Alegría 的开源项目 Garlic LLM 让装了 GoldHEN 的 PS4 离线运行 90 亿参数的 Qwen3.5-9B,文字聊天约 31–39 token/s,写代码最高 43 token/s,还支持七种语言的语音对话和语音输入。

PS4 上没有可供自制软件使用的 Vulkan 驱动,所以项目没用 llama.cpp,而是用 OpenCL C 写计算内核,再用 LLVM 编译到 GCN 架构,并自己生成 PM4 命令缓冲直接驱动 GPU。为了塞进 8GB 共享内存,权重大部分用 4 bit,每层最大的两个矩阵用 3 bit,KV 缓存也压到 4 bit,上下文 16K,连同语音模型共约 5.6GB。速度主要靠 Qwen3.5 自带的多 token 预测头一次草拟两个 token。安装包已上架 Hugging Face,已在固件 11.52 的初代和 Slim 机型上测试;软件本身不含漏洞利用,但装 GoldHEN 风险需自担。

来源:Tom's Hardware

原文链接:Jailbroken PS4 runs 9-billion-parameter AI model at up to 43 tokens per second

标题和摘要由 AI 根据原文生成,可能有误,以原文为准。