DeepSeek-V3.2-Exp 是中文聊天机器人的最新模型,引入了 DSA、效率、API 和部署

  • V3.2-Exp 引入了 DSA 来加速长上下文,同时将质量损失降至最低。
  • 性能与 V3.1-Terminus 相当,API 定价 -50% 现已生效。
  • 开源:Hugging Face 中的权重、TileLang、DeepGEMM 和 FlashMLA 中的内核。
  • 实用指南:端点、流、函数调用和本地执行。

DeepSeek-V3.2-Exp

DeepSeek-V3.2-Exp是一款实验性迭代版本,专注于大规模效率和长期应用,并明确地向社区致敬:开源、发布内核和更便宜的 API。

抛开炒作不谈,关键在于这款基于 V3.1-Terminus 的模型首次引入了一种名为 DeepSeek Sparse Attention (DSA) 的细粒度稀疏注意力机制,它能够在保持模型质量的同时加速训练和推理。该公司已在其App、Web 和 API中部署了该机制,并将使用价格降低了50%以上,这一激进举措无疑给竞争对手带来了压力。

DeepSeek-V3.2-Exp 的主要新功能

这项旗舰创新是DSA(动态序列分析),它允许对上下文中的相关部分进行选择性关注,而无需穷尽扫描整个序列。据该公司称,这对质量的影响微乎其微,而对长上下文的效率提升却十分显著。

在可用性方面,该模型从发布之日起即可在应用程序、网页和 API上运行,同时大幅降价(50% 以上)以方便测试和推广。如需进行比较,DeepSeek 为 V3.1-Terminus 保留了一个临时端点,有效期至 2025 年 10 月 15 日 15:59 UTC。

DeepSeek-V3.2-Exp 性能和基准:与 V3.1-Terminus 相当

DeepSeek在多项测试中力求与 V3.1-Terminus 达到同等水平,尤其旨在排除引入分散注意力所带来的影响。实际上,这体现在推理、编码和类智能体工具使用等方面的指标上。

各种来源的数据有助于稳定预期:V3.2-Exp 模型拥有685 亿个参数,其性能在不同领域表现相近或略有差异。在无工具推理方面,MMLU-Pro测试得分为 85.0, AIME 2025测试得分为89.3 ;在基于代理的场景中,BrowseComp测试得分为 40.1, SWE Verified测试得分为67.8 。这些结果与官方的说法相符,即优先考虑效率而非大幅提升准确率。

甚至还有一些细微的对比:在编程任务中,Codeforces 的平均分从 2046 分上升到2121 分;而在更侧重人文的测试中,则观察到一些小幅下降(例如,在 Humanity's Last Exam 中,平均分从21.7 分下降到 19.8 分)。总体而言,图表显示了一种平衡:偶尔会有进步,也会有一些小的妥协,而速度是关键因素。

DSA:细粒度分散注意力,清晰讲述

在广泛的背景下,传统的注意力机制会变得成本高昂;DSA 则能最大限度地减少那些贡献甚微的工作。通过精细控制稀疏性,该模型将计算集中在真正找到信号的地方,从而在不扭曲输出的前提下,降低延迟并减少资源消耗。

在实际应用中,这一点在上下文密集型任务中尤为明显:例如,总结冗长的文档、分析日志、代理进行长时间对话,或者结合检索和生成的流程。在这些情况下,效率并非可有可无,而是决定系统能否大规模应用的关键所在。

DeepSeek-V3.2-Exp 的可用性、定价和比较

DeepSeek宣布3.2-Exp版本现已在App、Web和API平台发布。此外,他们立即将API价格下调50%以上,此举旨在扩大用户群体并鼓励基准测试。

对于希望与先前版本进行比较的用户,V3.1-Terminus 仍为临时版本,有效期至 2025 年 10 月 15 日 15:59 (UTC)。公司也鼓励用户通过公开表单提供反馈,以加强与社区的持续改进互动。

开源状态:权重、技术报告和内核

DeepSeek在Hugging Face上发布了该模型,并附有技术报告,详细记录了修改内容和结果。该公司明确致力于提高透明度,并以更低的成本推动长期应用研究。

在内核层面,有两种路径可供选择:TileLang更便于阅读和原型开发,而 CUDA 则追求极致性能。Logit 索引内核(包括分页变体)发布在DeepGEMM中,而稀疏注意力内核则发布在FlashMLA中。这种分离使得研究和生产社区更容易找到各自的应用领域。

DeepSeek-V3.2-Exp 和推理演示的本地执行

DeepSeek 提供了一个推理库,其中包含一个更新的演示,方便用户快速上手并了解架构。第一步是将 Hugging Face 权重转换为演示所需的格式,并定义专家数量和模型并行度。

交互式转换和生成的示例命令(将 EXPERTS=256 和 MP 设置为 GPU 的数量):可以在准备好的环境中直接使用。

cd 推理导出 EXPERTS=256 python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP} 导出 CONFIG=config_671B_v3.2.json torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

对于偏好SGLang 的用户,我们提供了预制镜像和启动命令。兼容性包括 NVIDIA (H200)、AMD (MI350) GPU 以及带有特定标签的某些 NPU。

# H200 docker pull lmsysorg/sglang:dsv32 # MI350 docker pull lmsysorg/sglang:dsv32-rocm # NPUs docker pull lmsysorg/sglang:dsv32-a2 docker pull lmsysorg/sglang:dsv32-a3 python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --page-size 64

如果您更喜欢vLLM,它从一开始就提供支持。建议您查看官方的配置指南,以获取最新的参数和硬件优化信息。

API:端点、兼容性和到期

DeepSeek API遵循标准约定,并与常用 SDK 兼容。默认情况下,使用基本 URL https://api.deepseek.com指向 V3.2-Exp 版本,这简化了初始集成并方便用户享受优惠费率。

对于基准测试,V3.1-Terminus 有一个临时端点:https://api.deepseek.com/v3.1_terminus_expires_on_20251015 。在规划基准测试时,请记住到期日期和时间(2025 年 10 月 15 日 15:59 UTC)。

此外,它还与Anthropic生态系统兼容。您可以使用基础 API https://api.deepseek.com/anthropic进行 Claude 式交互,或者如果您需要与之前的模型进行比较,可以使用与临时端点关联的变体。

身份验证和密钥管理

请求通过 Authorization 标头中的Bearer进行身份验证。您可以从 DeepSeek 控制面板生成密钥,并将其安全地存储,例如存储在环境变量或AWS Secrets Manager 等密钥管理器中。

控制面板会显示使用情况和计费数据,以便监控代币消耗。虽然价格有所下降,但仍建议在计算机上实施费率上限和定期密钥轮换,并立即撤销任何泄露的密钥。

聊天完成、模板和基本请求

中心端点是/chat/completions,它处理多轮对话并在调用之间保持上下文,这是 V3.2-Exp 长上下文优势的理想场景。有两种典型的模型模式:deepseek-chat和deepseek-reasoner。

一个简单的请求正文可能如下所示,使用转义引号的 JSON(为了清晰起见,这里用 " 表示):它包含系统提示和用户提示。

{ "model": "deepseek-chat", "messages": [ { "role": "system", "content": "您是技术专家。" }, { "role": "user", "content": "解释稀疏注意力机制。" } ], "stream": false }

如果您需要实时响应,请启用`stream=true`。请求头必须包含 `Content-Type: application/json` 和 `Authorization: Bearer ${DEEPSEEK_API_KEY}` 中的令牌。如果您使用显式推理,可以使用`reasoning.enabled`标志来控制其行为。

响应结构和 SSE 流

非流式响应包含id、object、created、model、choices 和 usage 等字段。在 choices 字段中,您可以找到生成的内容(角色:“assistant”),在 usage 字段中,您可以找到prompt_tokens、completion_tokens 和 total_tokens 的详细信息。

在流式模式下,API 会发送服务器发送事件 (Server-Sent Events) 。每个数据片段都以数据事件的形式到达,并带有一个增量值,您需要累加该增量值。这对于交互式界面或具有增量输出的终端来说是理想的选择。

严格 JSON 中的函数调用和输出

您可以定义工具,以便模型决定何时调用函数,例如,检索数据或执行操作。这与代理流程和后端集成非常契合。

如果需要结构化输出,请使用 `response_format` 强制使用 JSON 模式。这对于数据提取或在管道中进行自动验证非常有用。

使用 OpenAI 风格 SDK 的 Python 示例

使用 Python,学习曲线非常平缓。只需配置基础 API以匹配 DeepSeek,定义密钥,然后发送请求;您可以根据使用场景在标准模式和流式模式之间切换。

导入 openai openai.api_base = "https://api.deepseek.com" openai.api_key = "your_api_key_here" response = openai.ChatCompletion.create( model="deepseek-chat", messages=[ {"role": "system", "content": "您是编码助手。"}, {"role": "user", "content": "编写一个 Python 函数来计算斐波那契数。"} ], stream=False ) print(response.choices[0].message.content) # 流式传输 stream = openai.ChatCompletion.create(model="deepseek-chat", messages=[...], stream=True) for chunk in stream: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end="") # 函数调用(工具定义) tools = [ { "type": "function", "function": { "name": "get_weather", "description": "获取当前天气", "parameters": { "type": "object", "properties": { "location": {"type": "string"} }, "required": [ "location" ] } } } ]

要输出标准的 JSON 格式,请将response_format设置为 {"type": "json_object"}。如果对话较长,请记住限制上下文范围,使其保持在适当的边界内,从而最大限度地提高效率。

与 Apidog 集成

Apidog 加速了调用原型设计:它可以导入规范、保存环境变量(例如键)、构建 POST 请求并进行即时测试。它的响应模拟器使得无需使用令牌即可轻松测试极端情况。

它还能生成多种语言的代码片段,并提供时间线视图,方便调试身份验证或参数。由于 V3.2-Exp 可以处理大型上下文,Apidog 非常适合用于试验长提示符和测试性能。

充分利用它的良好做法

定义清晰简洁的系统提示,明确描述行为。对于复杂问题,推理模式会很有帮助,可以将其与适合实际情况的思维结构技巧相结合。

合理管理上下文:虽然 V3.2-Exp 能够容忍较长的上下文(已有案例显示最长可达 128K),但过多的历史记录会对效率产生负面影响。因此,应酌情实施智能截断、频繁查询缓存和批量处理。

为了安全起见,请对输入进行清理以防止提示注入,并记录交互以进行审计。根据您的目标调整 temperature 和 top_p:低值用于确定性,高值用于创造性。

在deepseek-chat和deepseek-reasoner之间进行 A/B 测试,以选择最佳模式。并注意速率限制,以免产生意外账单。

与 V3.1-Terminus 的比较

DSA 的引入带来了延迟方面的显著改善,在某些情况下,速度可提升近 3 倍,且不会牺牲整体质量。这项技术改进的重点在于提升功耗效率比,而非追求破纪录的精度。

编码方面的小幅增长和人文领域的轻微下降反映了该模型固有的微调特性,而该模型本身就是一个实验性模型。V3.1 的时间终点允许进行直接比较,从而展现出 DSA 在长期内取得的进步。

高级本地部署

对于注重隐私或离线部署的情况,从 Hugging Face 下载权重并使用官方转换脚本是最佳选择。配置专家数量(例如 256),并调整模型并行度以匹配您的GPU。

推理演示允许交互式测试,TileLang或 CUDA 内核将帮助您根据优先级最大限度地提高性能:原型设计的速度或生产中的最大吞吐量。

开放内核和性能

TileLang 优先考虑可读性和研究设计,因此您可以快速迭代新想法。如果您正在探索注意力分散的变化或记忆优化,它将是理想之选。

为了充分利用每一毫秒,CUDA 内核发挥了作用:logit 索引(分页版本)位于DeepGEMM中,而稀疏注意力索引位于FlashMLA中。这种分段方式使得每个团队都能选择最佳的堆栈,而无需重复工作。

DeepSeek-V3.2-Exp 许可证、预约和联系方式

该存储库和模型权重以 MIT 许可证发布。这为高度灵活的商业用途打开了大门,促进了生态系统内的应用和创新。

如需在出版物中引用 V3.2-Exp,DeepSeek 会提供一个@misc引用条目,标题为“DeepSeek-V3.2-Exp: Boosting Long-Context Efficiency with DeepSeek Sparse Attention”,作者为“DeepSeek-AI”(年份 2025)。如有任何疑问或问题,请联系[email protected ]

关于 DeepSeek-V3.2-Exp 的官方资源和有用链接

如果您想下载该模型,可以在Hugging Face网站上找到。技术报告、实现细节和评估结果均可在 GitHub 上获取。

有关 V3.2-Exp 和 V3.1-Terminus 之间的对比测试,请参阅官方指南。如果您想提交建议,请访问https://feedback.deepseek.com/dsa 上的公开反馈渠道。

DeepSeek V3.2-Exp 秉承一个简单的理念:在不牺牲质量的前提下提高效率。DSA 为以合理成本支持海量上下文的模型奠定了基础,精简的 API 让更多团队能够使用这些功能,而开放的技术栈(权重、内核和文档)则让社区能够更轻松地进行研究、比较和构建实际产品。


在 Google 中将其添加为首选来源