GPTQ 是一种针对大规模语言模型的先进量化技术，通过逐层量化和量化感知训练，显著减少了模型的计算和内存需求，同时保持
原创
2024-08-24 14:26:56
181阅读
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩
原创
2024-05-04 00:40:25
673阅读
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同
原创
2024-09-30 15:47:08
1241阅读
Qwen1.5-72b 版本有BF16、INT8、INT4三个版本，三个版本性能接近。由于BF16版本需要144GB的显存，让普通用户忘却止步，而INT4
原创
2024-09-30 15:44:33
546阅读
在大语言模型（LLM）应用落地过程中，开发者常面临三大核心挑战：模型格式碎片化导致的兼容性问题、硬件资源限制下的性能优化难题，以及多场景部署的灵活性需求。text-generation-webui作为一款开源的Gradio Web UI工具，通过模块化架构设计，实现了对Transformers原生格式、GPTQ、AWQ、EXL2等量化格式以及llama.cpp生态的全栈支持，为这些痛点提供了一站式...
本文介绍了使用GPTQ量化技术对BELLE大模型（基于LLaMA-7B和Bloomz-7B1-mt）进行量化处理后的推理性能测试。
原创
2024-04-24 11:52:24
58阅读
许多框架已经很好地支持Gemma模型，GPTQ和AWQ的量化也将很快就会发布的，经过量化后可以在8gb GPU上使用Gemma 7B。不
原创
2024-05-04 00:22:30
131阅读
ExLlamaV2模型非常快。他生成速度在15-30个令牌/秒。作为对比使用GPTQ(一个小10倍的模型)对量化为4位的Llama 27b进行测试时，大
原创
2024-05-04 00:49:27
177阅读
vLLM简介vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。vLLM 之所以快速，是因为：最先进的服务吞吐量通过 PagedAttention 高效管理注意力键和值内存连续批处理传入请求使用 CUDA/HIP 图快速模型执行量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存优化的 CUDA 内核vLLM 灵活且易于使用，因为它：与流行的 Hug
本文综合LLM.int8()、SmoothQuant、AWQ、GPTQ、FP8等主流PTQ量化方法的论文结论，总结如下：「PS：以上这些方法在实践中验证是有效的，以下结论基于这些方法的相关研究，可用于分析模型效果和评估结论的大致指导，但是，量化误差的影响因素是多元的，不一定所有模型、所有数据都普适」• 权重易量化，激活难量化；• 激活中，不同Token
原创
2024-08-20 10:28:43
0阅读
1. 几乎所有量化方式在8bit 量化无损失
2. GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。
3. 参数越大的模型，低bit量化损失越低。
4. 综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。
原创
精选
2024-07-15 09:43:06
808阅读
摘要： 大模型量化通过将高精度浮点数（如FP32/FP16）转换为低精度表示（如Int8/Int4），显著减少显存占用、加速推理并降低能耗。主流方法包括： GPTQ：基于二阶误差最小化的逐层量化，适合GPU推理； AWQ：保护关键权重，量化次要权重，平衡精度与效率； Bitsandbytes：支持QLoRA微调，优化8/4位计算； GGUF：面向CPU的跨平台格式，支持灵活硬件卸载。 工具如ms-swift（集成多模态量化）和LLM-Compressor（结合SmoothQuant等算法）提供全流程支持。量
