SpaceTiD 计算中
首页
数字化基座
未来之路
技术支持
关于我们
登录
登出
EN
技术服务
EcoBox 算力预测工具
请输入算力预测基础参数
项目名称
应用类型
对话助手
知识库问答
AI 客服
代码助手
其他
行业
金融
制造
医疗
政府
教育
零售
互联网
能源
其他
并发用户数
人
模型规模
7B
14B
32B
70B
100B+
不确定
单次请求长度
短文本(约 100 Tokens)
中等文本(约 300 Tokens)
长文本(约 1000 Tokens)
超长文本(约 4000 Tokens)
开始预测
项目A
金融 / 对话助手
当前按 14B 模型与中等文本请求规模进行推理资源估算。
0
卡
24GB / 80 TFLOPS
32GB / 120 TFLOPS
48GB / 160 TFLOPS
64GB / 220 TFLOPS
80GB / 300 TFLOPS
128GB / 450 TFLOPS
188GB / 600 TFLOPS
推荐 GPU 数量
按算力:0 卡;按显存:0 卡
0
峰值算力需求
按 Token 吞吐与模型激活参数估算的峰值算力。
0
总显存需求
包含参数驻留、激活显存和 KV Cache 显存。
技术假设
Token 生成速率
token/s
模型精度
选择模型精度
FP8
FP16
FP32
BF16
INT8
INT4
GPU 利用率假设
冗余系数
单卡 GPU 理论算力
文本请求占比
图像请求占比
图像 FLOPs 放大系数
趋势分析
并发用户增长趋势
不同模型规模所需的 GPU 数量和显存需求
请求长度与算力需求变化
保存本次预测
存档预测