status
date
slug
summary
type
tags
category
AI 摘要
icon
password
本地部署的好处是避免服务器崩溃,同时可以按照无限制的抗审查版本👇
使用ollama运行deepseek-r1模型
Ollama是一个功能强大的本地大语言模型的运行框架,用户可以非常简单地运行使用各种LLM。最最主要的是它完全免费,本地可以离线运行;
1. 最简单的安装:

安装 Ollama
Ollama 是一款本地运行大模型的工具,用来部署和运行 DeepSeek,从 https://ollama.com/download 下载 Ollama。
安装 DeepSeek
参考 Ollama 官网(https://ollama.com/library/deepseek-r1)文档安装 DeepSeek 。
安装1.5b版本:
安装7b版本:
安装8b版本:
安装14b版本:
安装32b版本:
安装70b版本:
安装671b版本(满血版本):
如需卸载,使用“ollama rm”,比如卸载70b版本:
Cherry Studio
Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,可以用来搭建知识库。
Chatbox AI
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
使用ChatBox对话
模型部署完成后,我们可以使用命令行或者API与模型进行对话,但在交互上总是不太方便,我们可以使用ChatBox工具,通过交互界面与模型对话。
- ChatBox官方网地址:https://chatboxai.app/zh , 从官网上下载最新工具,安装完毕后,我们来配置本地模型。
如果chatbox和ollama运行在同一服务器上,ollama地址可以选择本地127.0.0.1地址,否则需要输入实际地址。
AnythingLLM
AnythingLLM 是一个开源的全栈 AI 聊天系统,允许用户构建自己的私人 ChatGPT。它支持本地和商用的大语言模型,能够将任何文档转化为大语言模型可理解的上下文,实现智能聊天和文档管理,适合快速搭建私有知识库和智能问答系统。
ROCm
ROCm 是 AMD 推出的一个开源 GPU 计算平台,旨在提供高性能的 GPU 计算解决方案,类似于 NVIDIA 的 CUDA 。如果是 AMD 显卡,则需要安装,要使用 ROCm 需先安装 HIP SDK 。HIP SDK(Heterogeneous-Compute Interface for Portability Software Development Kit)是 AMD 推出的一款软件开发工具包,旨在为专业和消费级 GPU 提供 CUDA 支持。HIP SDK 是 ROCm 生态系统的一部分,允许开发者在 AMD 或 NVIDIA GPU 上运行 CUDA 应用,而无需对代码进行大量修改。它通过将 CUDA 代码转换为简化的 C++ 代码,简化了跨平台移植的过程,支持多种编程语言和工具,主要用于加速科学计算、人工智能和机器学习等领域。
DeepSeek 部署硬件要求
模型版本 | CPU | 内存 | 显卡 | 存储 |
1.5b | 4核 | 8GB | GTX1650,可无显卡 | 10GB |
7b | 8核i7 | 16GB | RTX3070或4060 | 15GB |
8b | 8核 | 16GB | RTX4060 | 15GB |
14b | 12核 | 32G | RTX4090 | 20GB |
32b | 16核 | 64G | RTX3090或单卡A100 40G | 50GB |
70b | 32核 | 128G | 2块A100 80G或4块RTX4090 | 100GB |
671b | 64核 | 576G | 8块A100 | 500GB |
扫描右侧二维码,关注“行道修心”公共号领资料👉
本地部署 deepseek 无限制版本! 也就是DeepSeek R1的越狱版!deepseek-r1-abliterated :无内容审查,无限制,无思想钢印,无道德….?
越狱版的DeepSeek R1现已托管在Hugging face上,支持8B、14B、32B 【链接直达】
可能有人会觉得越狱版没有官方版聪明,这是一个比较大的误解,官方版可是671B的,普通人是跑不起来的,大多数人能本地运行的都是7b、8b、14b、32b这几大类型的模型,是被蒸馏压缩过的,无法直接和671B相比,但是自己本地使用已足够。
在CMD终端下通过命令下载DeepSeek R1越狱版
7b
8b
14b
32b
70b
彩蛋:Deepsex版本
‣
安装命令:
和我一起提升决策力,毁三观、树新生。
- 作者:雲風
- 链接:https://www.kang.ink/book/deepseek_local
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。