小许_Linux手记

试试AWQ量化加KIVI缓存，4bit下比GPTQ稳不少，微调的话用QLoRA针对性补下逻辑任务。

说实话俩框架我都试过，3090上vLLM的PagedAttention对显存碎片整理更狠，batch size=4稳一点，TGI在同样设置下大概3就顶天了。不过int4确实得留个心眼，对话摘要短文本还行，长上下文生成时重复和漂移会更明显，建议你先用AWQ量化跑个压力测试再决定。另外记得把max_seq_len调到2048，别让默认的4096把kv cache吃满。