本地部署Deepseek R1无限制越狱版模型

status

date

slug

summary

type

使用ollama运行deepseek-r1模型

Ollama是一个功能强大的本地大语言模型的运行框架，用户可以非常简单地运行使用各种LLM。最最主要的是它完全免费，本地可以离线运行；

1. 最简单的安装：

安装 Ollama

Ollama 是一款本地运行大模型的工具，用来部署和运行 DeepSeek，从 https://ollama.com/download 下载 Ollama。

安装 DeepSeek

参考 Ollama 官网（https://ollama.com/library/deepseek-r1）文档安装 DeepSeek 。

安装1.5b版本：

安装7b版本：

安装8b版本：

安装14b版本：

安装32b版本：

安装70b版本：

安装671b版本（满血版本）：

如需卸载，使用“ollama rm”，比如卸载70b版本：

Cherry Studio

Cherry Studio 是一款支持多个大语言模型（LLM）服务商的桌面客户端，可以用来搭建知识库。

Chatbox AI

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

使用ChatBox对话

模型部署完成后，我们可以使用命令行或者API与模型进行对话，但在交互上总是不太方便，我们可以使用ChatBox工具，通过交互界面与模型对话。

ChatBox官方网地址：https://chatboxai.app/zh ，从官网上下载最新工具，安装完毕后，我们来配置本地模型。

如果chatbox和ollama运行在同一服务器上，ollama地址可以选择本地127.0.0.1地址，否则需要输入实际地址。

AnythingLLM

AnythingLLM 是一个开源的全栈 AI 聊天系统，允许用户构建自己的私人 ChatGPT。它支持本地和商用的大语言模型，能够将任何文档转化为大语言模型可理解的上下文，实现智能聊天和文档管理，适合快速搭建私有知识库和智能问答系统。

ROCm

ROCm 是 AMD 推出的一个开源 GPU 计算平台，旨在提供高性能的 GPU 计算解决方案，类似于 NVIDIA 的 CUDA 。如果是 AMD 显卡，则需要安装，要使用 ROCm 需先安装 HIP SDK 。HIP SDK（Heterogeneous-Compute Interface for Portability Software Development Kit）是 AMD 推出的一款软件开发工具包，旨在为专业和消费级 GPU 提供 CUDA 支持。HIP SDK 是 ROCm 生态系统的一部分，允许开发者在 AMD 或 NVIDIA GPU 上运行 CUDA 应用，而无需对代码进行大量修改。它通过将 CUDA 代码转换为简化的 C++ 代码，简化了跨平台移植的过程，支持多种编程语言和工具，主要用于加速科学计算、人工智能和机器学习等领域。

DeepSeek 部署硬件要求

模型版本	CPU	内存	显卡	存储
1.5b	4核	8GB	GTX1650，可无显卡	10GB
7b	8核i7	16GB	RTX3070或4060	15GB
8b	8核	16GB	RTX4060	15GB
14b	12核	32G	RTX4090	20GB
32b	16核	64G	RTX3090或单卡A100 40G	50GB
70b	32核	128G	2块A100 80G或4块RTX4090	100GB
671b	64核	576G	8块A100	500GB

扫描右侧二维码，关注“行道修心”公共号领资料👉

本地部署 deepseek 无限制版本！也就是DeepSeek R1的越狱版！deepseek-r1-abliterated ：无内容审查，无限制，无思想钢印，无道德….？

越狱版的DeepSeek R1现已托管在Hugging face上，支持8B、14B、32B 【链接直达】

可能有人会觉得越狱版没有官方版聪明，这是一个比较大的误解，官方版可是671B的，普通人是跑不起来的，大多数人能本地运行的都是7b、8b、14b、32b这几大类型的模型，是被蒸馏压缩过的，无法直接和671B相比，但是自己本地使用已足够。

在CMD终端下通过命令下载DeepSeek R1越狱版

14b

32b

70b

彩蛋：Deepsex版本

‣

安装命令：

ollama run hf.co/danqingximeng/Tifa-Deepsex-14b-CoT-Crazy-GGUF:Q4_0

💡

和我一起提升决策力，毁三观、树新生。