最近在折腾把Qwen2.5-7B量化后部署到安卓手机上，用了llama.cpp的GGUF格式（Q4_K_M），跑了两个测试。一是单次推理时间要8秒多，二是8GB内存的旧手机直接闪退。我试着把上下文长度从4096降到1024，速度稍有提升，但还是卡得不行。想问下大家，是不是需要换更小的模型（比如1.5B）？或者有什么量化技巧能保住7B性能又不爆内存？另外，手机端有没有类似vLLM那种流式输出加速方案？求指路，不想一上来就放弃大模型移动端部署（手动捂脸）。