开yun体育网最猛进度保证了工作成果-开云平台切尔西赞助商「中国」官方入口
3月1日,DeepSeek官方通过酬酢媒体账号公布了其线上系统的实践统计数据,称若是悉数tokens一起按照DeepSeek R1的订价筹办,表面上本钱利润率为545%。
DeepSeek官方公布,DeepSeek V3和R1的悉数工作均使用H800GPU,使用和锤真金不怕火一致的精度,即矩阵筹办和dispatch传输取舍和锤真金不怕火一致的FP8措施,core-attention筹办和combine传输取舍和锤真金不怕火一致的BF16,最猛进度保证了工作成果。
另外,由于白昼的工作负荷高,晚上的工作负荷低,因此DeepSeek结束了一套机制,在白昼负荷高的本领,用悉数节点部署推理工作。晚上负荷低的本领,减少推理节点,以用来作念探讨和锤真金不怕火。在最近的24小时里(北京时分2025/02/2712:00至2025/02/2812:00),DeepSeek V3和R1推理工作占用节点总和,峰值占用为278个节点,平均占用226.75个节点(每个节点为8个H800GPU)。假设GPU租出本钱为2好意思金/小时,总本钱为$87,072/天。
在24小时统计时段内,DeepSeek V3和R1:
输入token总和为608B,其中342B tokens(56.3%)射中KVCache硬盘缓存。
输出token总和为168B。平均输出速度为20~22tps,平均每输出一个token的KVCache长度是4989。
平均每台H800的隐晦量为:关于prefill任务,输入隐晦约73.7k tokens/s(含缓存射中);关于decode任务,输出隐晦约14.8k tokens/s。
以上统计包括了网页、APP和API的悉数负载。若是悉数tokens一起按照DeepSeek R1的订价筹办,表面上一天的总收入为$562,027,本钱利润率545%。
DeepSeek官方示意,实践上莫得这样多收入,因为V3的订价更低,同期收费工作只占了一部分,另外夜间还会有扣头。
本文系不雅察者网独家稿件开yun体育网,未经授权,不得转载。