国内的大语言模型DeepSeek近日迅速出圈,凭借其在自然语言处理、代码生成和多轮对话等任务中的出色表现,吸引了众多开发者和研究者的关注,甚至登上了不少地区的app榜单。
不过在使用时经常会遇到服务器繁忙的困扰,解决办法也很简单,就是将其部署到本地,无需依赖云端服务即可享受AI带来的便利。
要在本地部署DeepSeek,需要借助运行大语言模型的工具,这里我们建议使用LM Studio,这是一款专为本地运行大语言模型设计的客户端工具。
它支持多种开源模型,并提供了简单易用的界面,使得用户无需编写复杂的代码即可加载和运行模型。LM Studio的最大优势在于其“本地化”特性,确保数据的隐私和安全。
除了数据安全和避免服务器繁忙之外,在本地部署DeepSeek还可以做到灵活定制,我们可以根据硬件性能调整模型参数,优化运行效率,获得更加定制化的体验。
在开始部署之前,先确保设备满足以下硬件要求:显卡GTX 1060(6GB)及以上,推荐RTX3060及以上;内存容量8GB,推荐16GB及更高;存储空间C盘剩余20GB,推荐使用NVMe固态硬盘。
首先是安装LMStudio客户端,在官网lmstudio.AI下载对应操作系统的安装包即可,随后双击运行并按照提示完成安装。安装完成后启动LM Studio,就来到了用户界面。
进入LM Studio之后先点击右下角的设置图标(小齿轮)将语言改为简体中文,然后就可以加载模型了。这里有两种情况,如果能自己找到各种不同版本的模型,那就下载到本地,然后点击左上方文件夹的图标,选择模型目录导入即可,优点是可以选择自定义的模型,而且下载速度有保障。
不会自己找模型的话就在LMStudio的设置里,常规部分选中Use LM Studio's Hugging Face的复选框,然后点击左上方的搜索图标(放大镜),搜索deepseek即可找到各种不同版本的模型,优点是使用简单,但是下载非常不稳定。
这里简单介绍一下选择模型时不同参数规模的区别,参数规模以B(Billion,十亿)表示,数值越高,意味着模型就越复杂,理解和生成能力就越强,但是对系统的性能要求就越高,生成内容的速度也就越慢。
具体来说,1.5B适合体验/尝鲜的场景,只有大约3GB的文件,不做推荐。7B适合普通内容创作及开发测试场景,文件提升至8GB,推荐16GB内存+8GB显存,毕竟适合大多数用户。8B在7B的基础上更精细一些,适合对内容要求更高更精的场景,同样适合大多数用户。14B则提升至16GB,建议12核CPU+32GB内存+16GB显存,适合专业及深度内容创作场景。更高的参数规模需要的硬件太高,而且生成速度会更慢,所以不做推荐。
DeepSeek的生成速度和显卡性能有很大关系,作为参考,8B模型在移动端RTX 3060上的生成速度约为5字/秒,在桌面端RTX 3060平台的生成速度约为8字/秒,14B模型在桌面端RTX 3060平台的生成速度约为2字/秒,其他模型和配置可以近似估算,大家可以根据自己的配置和需求选择参数规模。
部署完成之后,点击LMStudio左上方的对话框,然后在顶部选择要加载的模型即可。开始前可以先在顶部的模型这里设置上下文长度和GPU负载等等,模型加载完成之后就可以开始使用了。
对于有更高要求的用户,LMStudio中支持创建多个文件夹,分类存放不同用途的模型,方便快速切换,LM Studio支持通过本地API接口与其他应用程序集成,实现更复杂的AI应用,本文因为篇幅原因不做深入介绍了。
最后再介绍一下常见问题与解决方案。下载速度慢:可以通过修改LM Studio的配置文件,将默认的Hugging Face镜像替换为国内镜像。
模型加载失败:确保模型文件的扩展名为`.gguf`,并检查LM Studio是否为最新版本。运行速度慢/GPU未调用:确认已安装最新的CUDA驱动,并重启LM Studio。