1，关于 fastllm 项目
【fastllm】学习框架，本地运行，速度还可以，可以成功运行chatglm2模型 2，本地CPU编译也非常方便git clone https://github.com/ztxz16/fastllm.git
cd fastllm
mkdir build
cd build
cmake .. -DUSE_CUDA=OFF
make -j3，运行webui 可以进
随着大语言模型（LLM）的兴起，推理加速成为关键。本文将介绍vllm、fastllm和llama.cpp三个加速工具的使用教程，并总结大模型推理的常见策略，为非专业读者提供简明易懂的操作建议。
原创
2024-03-26 10:33:21
422阅读
