（原标题：DeepSeek一天能赚些许钱？官方俄顷揭秘！潞晨科技暂停DeepSeek API做事）萝莉 崩坏：星穹铁道
沿路温煦一下对于DeepSeek的最新音讯！
DeepSeek初次透露：表面资本利润率545%
当市集合计DeepSeek的开源周内容发布完了之后，3月1日，DeepSeek秘书了“One More Thing”，俄顷揭秘V3/R1推理系統，公开了大边界部署资本和收益。
凭证《DeepSeek-V3/R1推理系统概览》的著述，假设GPU租借资本为2好意思元/小时，总资本为87072好意思元/天；若是总共tokens全部按照DeepSeek R1的订价计较，表面上一天的总收入为562027好意思元/天，资本利润率为545%。
据官方透露，DeepSeek-V3/R1推理系统的优化方针是：更大的婉曲，更低的蔓延。
为了完了这两个方针，DeepSeek使用大边界跨节点巨匠并行（Expert Parallelism / EP）。领先EP使得batch size大大加多，从而提升GPU矩阵乘法的效劳，提升婉曲。其次EP使得巨匠分散在不同的GPU上，每个 GPU 只需要计较很少的巨匠（因此更少的访存需求），从而缩小蔓延。
但EP同期也加多了系统的复杂性。复杂性主要体咫尺两个方面：
EP引入跨节点的传输。为了优化婉曲，需要策画符合的计较经由使得传输和计较不错同步进行。
EP触及多个节点，因此自然需要Data Parallelism（DP），不同的DP之间需要进行负载平衡。
因此，DeepSeek先容了若何使用EP增大batch size，若何掩盖传输的耗时，若何进行负载平衡。
大边界跨节点巨匠并行（Expert Parallelism / EP）
由于DeepSeek-V3/R1的巨匠数目繁多，而且每层256个巨匠中仅激活其中8个。模子的高度零碎性决定了必须接管很大的overall batch size，才略给每个巨匠提供实足的expert batch size，从而完了更大的婉曲、更低的延时。需要大边界跨节点巨匠并行（Expert Parallelism / EP）。
接管多机多卡间的巨匠并行政策来达到以下方针：
Prefill：路由巨匠EP32、MLA和分享巨匠DP32萝莉 崩坏：星穹铁道，一个部署单位是4节点，32个冗余路由巨匠，每张卡9个路由巨匠和1个分享巨匠。
Decode：路由巨匠EP144、MLA和分享巨匠DP144，一个部署单位是18 节点，32个冗余路由巨匠，每张卡2个路由巨匠和1个分享巨匠。
计较通讯类似
多机多卡的巨匠并行会引入比拟大的通讯支出，是以使用了双batch类似来掩盖通讯支出，提升合座婉曲。
对于prefill阶段，两个batch的计较和通讯交错进行，一个batch在进行计较的时候不错去掩盖另一个batch的通讯支出；
对于decode阶段，不同阶段的现实本领有所区别，情欲禁地高清在线观看是以把attention部分拆成了两个stage，筹备5个stage的活水线来完了计较和通讯的类似。
尽可能地负载平衡
由于接管了很大边界的并行（包括数据并行和巨匠并行），若是某个GPU的计较或通讯负载过重，将成为性能瓶颈，拖慢通盘系统；同期其他GPU因为恭候而空转，变成合座诈欺率着落。因此需要尽可能地为每个GPU分拨平衡的计较负载、通讯负载。
PrefillLoadBalancer
中枢问题：不同数据并行（DP）实例上的肯求个数、长度不同，导致core-attention计较量、dispatch发送量也不同。
优化方针：各GPU的计较量尽量相似（core-attention计较负载平衡）、输入的token数目也尽量相似（dispatch发送量负载平衡），幸免部分GPU处理本领过长。
DecodeLoadBalancer
中枢问题：不同数据并行（DP）实例上的肯求数目、长度不同，导致core-attention计较量（与KVCache占用量联系）、dispatch发送量不同。
优化方针：各GPU的KVCache占用量尽量相似（core-attention计较负载平衡）、肯求数目尽量相似（dispatch发送量负载平衡）。
Expert-ParallelLoadBalancer
中枢问题：对于给定MoE模子，存在一些自然的高负载巨匠（expert），导致不同GPU的巨匠计较负载不平衡。
优化方针：每个GPU上的巨匠计较量平衡（即最小化总共GPU的dispatch接管量的最大值）。
线上系统的本色统计数据
DeepSeekV3和R1的总共做事均使用H800GPU，使用和磨练一致的精度，即矩阵计较和dispatch传输接管和磨练一致的FP8关键，core-attention计较和combine传输接管和磨练一致的BF16，最猛进度保证了做事恶果。
另外，由于日间的做事负荷高，晚上的做事负荷低，因此完了了一套机制，在日间负荷高的时候，用总共节点部署推理做事。晚上负荷低的时候，减少推理节点，以用来作念洽商和磨练。在最近的24小时里（北京本领2025/02/27 12:00至2025/02/28 12:00），DeepSeek-V3和R1推理做事占用节点总和，峰值占用为278个节点，平均占用226.75个节点（每个节点为8个H800GPU）。假设GPU租借资本为2好意思金/小时，总资本为87072好意思元/天。
在24小时统计时段内，DeepSeek-V3和R1：
输入token总和为608B，其中342Btokens（56.3%）射中KVCache硬盘缓存。
输出token总和为168B。平均输出速度为20~22tps，平均每输出一个token的KVCache长度是4989。
平均每台H800的婉曲量为：对于prefill任务，输入婉曲约73.7ktokens/s（含缓存射中）；对于decode任务，输出婉曲约14.8ktokens/s。
以上统计包括了网页、APP和API的总共负载。若是总共tokens全部按照DeepSeek-R1的订价计较，表面上一天的总收入为562027好意思元，资本利润率为545%。固然本色上莫得这样多收入，因为V3的订价更低，同期收费做事只占了一部分，另外夜间还会有扣头。
有网友将DeepSeek与OpenAI进行对比，暗示：“‘资本利润率545%’，等一下，是以你是说我被OpenAI抢劫了？”
潞晨科技暂停DeepSeek API做事
就在DeepSeek透露大边界部署资本和收益之后，潞晨科技俄顷秘书：“尊敬的用户，潞晨云将在一周后罢手提供DeepSeek API做事，请尽快用完您的余额。若是没用完，咱们全额退款。”
此前2月4日晚间，华为计较微信公众号发文暗示，DeepSeek-R1系列模子的开源，因其出色的性能和便宜的树立资本，已激励人人的首要筹备和温煦。潞晨科技联袂昇腾，估量发布基于昇腾算力的DeepSeek-R1系列推理API，及云镜像做事。
但近期潞晨科技CEO尤洋指出，满血版DeepSeek-R1每百万token（输出）订价16元，若是逐日输出1000亿token，一个月算下来接入方企业可得到4800万元收入。据他测算，完成1000亿token的输出，需要约4000台搭载H800的机器，以咫尺H800的市价未必折旧来计较，每月仅机器资本就达4.5亿元，因此企业方可能面对每月4亿元的亏本，“用户越多，做事资本越高，亏本越多”。
3月1日下昼4点，潞晨科技CEO尤洋发文恢复DeepSeek公布的表面资本利润率。
公开贵府表露，潞晨科技是一家发奋于于“目田AI坐褥力”的人人性企业，团队中枢成员来自好意思国加州大学伯克利分校，斯坦福大学，清华大学，北京大学等国表里著明高校。主贸易务包括分散式软件系统，大边界东说念主工智能平台，以及企业级云计较措置决策。公司旨在打造一个开源低资本AI大模子树立系统Colossal-AI，当作深度学习框架的内核萝莉 崩坏：星穹铁道，匡助企业最大化东说念主工智能磨练效劳的同期最小化东说念主工智能的磨练资本。