为什么我转换的qwen.rkllm推理第一个token需要5s
#3
by
waterpeople
- opened
根据你的转换方法，我的qwen.rkllm推理第一个token需要5s，下载你转换的qwen.rkllm只要1.8s。所以是为什么？
waterpeople
changed discussion status to
closed
根据你的转换方法，我的qwen.rkllm推理第一个token需要5s，下载你转换的qwen.rkllm只要1.8s。所以是为什么？