Google官方推出的gemini-cli是一个强大而简洁的命令行工具，让你可以在终端中直接与强大的 Gemini 模型进行交互。
在人工智能快速发展的今天，大语言模型(LLM)已经成为构建智能应用的重要基础设施。本文将介绍如何利用大模型API和工具函数集成，构建一个能够理解自然语言并提供精准天气信息的智能助手。
本文将详细介绍如何使用 vLLM 框架部署DeepSeek-R1-Distill-Qwen-7B模型，并完成高效的推理任务。将从环境配置、模型加载、推理优化等方面一步步展开，帮助快速上手vLLM并体验其强大的性能优势。无论是深度学习开发者还是对大模型推理感兴趣的研究者，本文都能提供实用的指导。
Ollama是一个开源项目，它专为在本地机器上能便捷部署、以及运行大型语言模型（LLM）而设计的工具。
LORA(Low-Rank Adaptation)是一种高效的模型微调技术,它可以通过在预训练模型上添加额外的低秩权重矩阵来微调模型,从而仅需更新很少的参数即可获得良好的微调性能。这相比于全量微调大幅减少了训练时间和计算资源的消耗。
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
Unsloth是一个开源的大模型训练加速项目，可以显著提升大模型的训练速度，减少显存占用。本文将使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型。
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
