We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
There was an error while loading. Please reload this page.
1 parent 164b83a commit d3e1522Copy full SHA for d3e1522
docs/zh/features/speculative_decoding.md
@@ -108,7 +108,7 @@ python -m fastdeploy.entrypoints.openai.api_server \
108
```
109
110
## 🧠 使用 Ngram 解码
111
-该算法通过 n-gram 窗口从 prompt 和已生成的 Token 中进行匹配生成草稿 Token,适合输入和输出有很大 overlap 的场景如代码编辑、文档查询等查看论文地址。
+该算法通过 n-gram 窗口从 prompt 和已生成的 Token 中进行匹配生成草稿 Token,适合输入和输出有很大 overlap 的场景,如代码续写、文档查询等。
112
> 使用 4×H100;量化方式选择 WINT4
113
> 配置文件:benchmarks/yaml/eb45t-32k-wint4-mtp-h100-tp4.yaml
114
0 commit comments