DeepSeek又有大看成！ 文爱 聊天
开源周第三天，DeepSeek文牍开源Optimized Parallelism Strategies（优化并行政策）。
Optimized Parallelism Strategies，该政策是为了提高经营效力、减少资源浮滥并最大化系统性能而盘算的并行经营决策。这些政策通过合理分派任务、互助资源愚弄和减少通讯支出，收场在多核、散播式或异构系统中的高效并行实行。
与此同期，英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1，收场了推理速率擢升25倍，况兼每token资本镌汰20倍的惊东谈主效果。这一新模子的推出，绚烂着英伟达在东谈主工智能领域的又一次短处发达。
看成不休
DeepSeek开源周第四天，今天早上，该公司再度开源优化并行政策，包括DualPipe、群众并行负载平衡器 (EPLB)、DeepSeek Infra 中的性能分析数据。优化并行政策需证实任务类型、数据规模、硬件环境活泼采用，平衡经营、通讯和存储支出，最终收场高效、可膨胀的并行经营。该政策是为了提高经营效力、减少资源浮滥并最大化系统性能而盘算的并行经营决策。
妖媚婷儿 勾引最近，DeepSeek硬核不休。此前，该公司文牍将DeepEP向公众绽放。在文牍后的约20分钟内，DeepEP已在 GitHub、微软（MSFT.US）等平台上赢得越过1000个 Star保藏。
据悉，DeepEP是MoE模子历练和推理的Expert Parallelism通讯基础，可收场高效优化的全到全通讯，以相沿包括FP8在内的低精度经营，适用于当代高性能经营。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供高迷糊量，还相沿流式多惩处器数目完毕，从而在历练和推理任务中收场高迷糊量性能。
此外，2月26日，DeepSeek文牍即日起在北京工夫逐日00:30至08:30的夜间闲散时段，大幅下调API调用价钱，其中DeepSeek-V3降至原价的50%，DeepSeek-R1更是低至25%，降幅最高达75%。该公司称，这一举措旨在饱读吹用户充分愚弄夜间时段，享受更经济、更运动的工作体验。
英伟达亦借机冲突
近日，英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1，收场了推理速率擢升25倍，况兼每token资本镌汰20倍的惊东谈主效果。这一新模子的推出，绚烂着英伟达在东谈主工智能领域的又一次短处发达。
证实媒体报谈，金瓶梅电影DeepSeek-R1的土产货化部署依然引起闲居和顺，英伟达也躬行下场，开源了基于Blackwell架构的优化决策——DeepSeek-R1-FP4。这一新模子在推理迷糊量上达到了高达21，088 token每秒，与H100的844 token每秒比拟，擢升幅度高达25倍。同期，每token的资本也收场了20倍的镌汰。
英伟达通过在Blackwell架构上应用TensorRT DeepSeek优化，让具有FP4坐蓐级精度的模子，在MMLU通用智能基准测试中达到了FP8 模子性能的99.8%。现在，英伟达基于FP4优化的DeepSeek-R1查验点依然在Hugging Face上开源，况兼不错通过以下知晓看望模子地址：DeepSeek-R1-FP4。
在后历练量化方面，该模子将Transformer模块内的线性算子的权重和激活量化到了FP4，适用于TensorRT-LLM推理。这一优化使每个参数的位数从8位减少到4位，从而让磁碟空间和GPU显存的需求减少了约1.6倍。
使用TensorRT-LLM部署量化后的FP4权重文献，粗略为给定的教导生成文本反映，这需要相沿TensorRT-LLM的英达GPU（如 B200），况兼需要8个GPU来收场tensor_parallel_size=8的张量并行。这段代码愚弄FP4量化、TensorRT引擎和并行经营，旨在收场高效、低资本的推理，合乎坐蓐环境或高迷糊量应用。
据报谈，针对这次优化的效果，网友们暗示咋舌，称「FP4 魔法让 AI 改日依然机敏！」有网友褒贬谈，这次的优化使得好意思国供应商粗略以每百万token 0.25好意思元的价钱提供R1，并以为「还会有意润」。
如今，DeepSeek的开源活动握续进行。周一，DeepSeek 开源了 FlashMLA，这是专为英伟达Hopper GPU打造的高效MLA译码内核，特殊针对变长序列进行了优化。周二则推出了DeepEP，这是一个为搀杂群众系统（MoE）和群众并行（EP）盘算的通讯库。周三开源的是 DeepGEMM，这是一个相沿众多和 MoE 模子的 FP8 GEMM 经营库，为 V3/R1 的历练和推理提供弘大相沿。
总体而言，不管是英伟达开源的 DeepSeek-R1-FP4，照旧 DeepSeek 开源的其他三个仓库文爱 聊天，皆是通过对辉达 GPU 和集群的优化，来股东 AI 模子的高效经营和部署。