用LM studio本地离线部署大语言模型（LLM）（更新至2024.2）
- 培训职业
- 2025-05-06 18:39:00
本地部署大语言模型（LLM）的优势在于它的便利性和灵活性。首先，无需租赁服务器，可以自由尝试各种模型，同时利用个人的显卡或CPU资源，无需担心隐私问题，对各类问题的咨询也更为自由。由于本地运行，延迟低且响应速度较快，且这个过程是免费的。
在硬件需求方面，许多轻薄笔记本就能满足，拥有显卡则能使用更大规模的模型。例如，我起初使用笔记本CPU运行，过程顺利，虽然切换到GPU能显著提升吐字速度。选择模型时，关键因素是参数量，通常在模型名称中显示，如Dolphin 2.6 Mistral 7B，意味着70亿参数。根据你的内存和显存容量来选，我选择了16GB显存的电脑运行7B模型。
在LM Studio中，首先下载并安装软件，打开后会呈现基本界面。选择模型时，可以参考Huggingface的Open LLM Leaderboard，根据模型大小、性能指标和特性（如审查情况和适用领域）来筛选。下载gguf文件有两种方式：通过内部连接直接下载，或在Huggingface找到相应模型（如Dolphin-2.6-Mistral-7B）的TheBloke发布的gguf文件，然后将其移动到LM Studio的models文件夹中。
运行模型时，CPU模式无需调整GPU设置，而GPU运行则需勾选GPU Acceleration的GPU offload选项，并将n_gpu_layers设为-1。随后加载模型，通过任务管理器监控显存使用情况。成功加载后，你就可以在LM Studio中与模型进行实时交互了。
多重随机标签