–tok/s 主卡 / 副卡
–正在处理 / 排队
–KV 池占用
–Mamba 槽占用
–累计请求
–24h 请求 / token
–
GPU 实时 · 横向柱状 GPU0 主卡 · GPU1 副卡 · GPU2 4070(视觉/语音),每排:利用率 · 温度 · 功耗
主机资源 · 横向柱状 CPU · 内存 · 磁盘
模型推理 · 每卡分类 每张卡各自的显存 / 利用率 / 生成速度 / 输入吞吐,下方为实例级指标(KV 池 / 缓存槽 / 投机接受)
图形 窗口 30 分钟 · 数字标注 = 当前 / 平均 / 峰值
用量统计 请求数来自 HTTP 访问日志(精确);token 数由日志调度行聚合计数(含缓存命中与其它客户端探活请求,实测偏差约 ±5%);速度/并发/KV/投机接受取窗口内采样均值与峰值
最近推理请求 HTTP 访问日志逐条记录(时间 / 来源 / 接口 / 状态码,精确)
事件与告警 进程重启 / health 变化 / 断言与 CUDA 错误 / 面板自身事件