用户反馈问答很慢排查思路

SSE 问答和普通接口不一样，用户感受最明显的是两个时间：一个是排队等待时间，另一个是模型首包时间。如果用户 30 秒才看到第一个字，不一定是模型慢，也可能是前面排队太久、检索慢、Rerank 慢、Prompt 太长、线程池打满，或者 SSE 写出阻塞。第一，看 Redis 等待队列。

用户反馈问答很慢 排查思路