Cerebras 以约 3,115 tokens/s 领跑 2026 年公开推理速度榜

Asked:
2026 年最快的推理服务提供商

本报告汇总截至 2026-11-07 检索到的 15 家推理服务商各自最高的一条公开速度记录(单位统一为 output tokens/s 与秒),来源覆盖 15 个不同域名,既有独立测试,也有厂商自测与二次汇总。各行模型、推理强度与测速口径不同,跨行数字不能直接判定绝对胜负。

各服务商最高公开输出速度(output tokens/s,单请求)

独立测量 / 独立基准 厂商测量 未注明口径

速度 vs 首 token 延迟(仅含两项指标齐全的 8 行)

右下方区域代表更理想的「高速度、低首 token 延迟」组合。

关键发现

Cerebras 在 gpt-oss-120B(excessive)上报出约 3,115 tokens/s、TTFT 约 0.28 秒,是本次检索到的最高数字,但该来源未注明测量口径。myreels.cloud
Google 的 Gemini Diffusion 为厂商自报 1,479 tokens/s 采样速度,开销单列;Groq 的 Llama 3.1 8B 在独立基准中达 1,250+ tokens/s、TTFT 约 0.2 秒。benchlm.ai · apirank.vip
同一模型差距可达数倍:GLM-5.2 在 20 家端点间从 55.2 到 360.4 tokens/s,相差 6.5 倍,量化与端点配置是主因。llmwaves.com
在 GLM 5.3 Flash 的 10 家同场独立测试中,Modal 为 270.3 tokens/s、TTFT p95 1.06 秒——同模型同口径的严谨比较应以这类数据为准。openbenchmarks.com

方法提醒:跨模型不可直接比较

本页每行取自不同来源,模型、推理强度(reasoning effort)、量化精度、上下文长度与测速口径(如是否剔除 prefill、是否 p95)各不相同。条形图只呈现「各家可检索到的最高公开数字」,不构成同场横向排名;颜色标出的测量类型是判断可信度的第一依据,缺失值在表中保持为空。

如何选

纯输出吞吐优先Cerebras 的公开数字最高(约 3,115 tokens/s),最可能是 2026 年纯输出速度冠军。
实时交互优先重点看 TTFT:Groq(约 0.2 秒)与 Cerebras(约 0.28 秒)在高速与超低首 token 延迟上同时领先。
同模型严谨采购使用同一 checkpoint、同一推理强度、同一上下文长度与并发,自行重新压测;GPU 云与聚合平台的领先者随模型而变。

全部 15 条记录(点击表头排序)

服务商模型 / 模式 输出 tokens/s TTFT(秒) 测试日期 口径 同场比较家数 来源

方法:15 家推理服务商,每家保留检索到的最高一条公开速度记录(共 15 行),检索截至 2026-11-07;数值为单请求输出生成速度(output tokens/s)与首 token 延迟(秒)。来源含独立测试、厂商测量与二次汇总,缺失值保持为空;散点图仅用速度与 TTFT 均非空的 8 行。各行模型与口径不同,不可直接横向比较。

This report was generated automatically by Keenable SELECT at a user's request, from publicly available web sources linked herein. Keenable does not review, verify, or endorse its contents and makes no representation as to accuracy, completeness, or timeliness; AI-based extraction may contain errors. Nothing in this report is investment, legal, financial, or other professional advice. All trademarks and referenced content remain the property of their respective owners; no affiliation or endorsement is implied. To report an error, rights concern, or request removal: legal@keenable.ai.

Keenable SELECTAsk your own question
Made with Keenable SELECT