还在为隐私泄露担忧?还在受限于网络环境?想拥有一个完全属于自己的 AI 助手? 本文将手把手教你如何在 Windows 系统下零基础部署 DeepSeek - R1 8b 模型,并搭建本地知识库,让你拥有一个安全、离线、强大的 AI 伙伴!
将 DeepSeek 模型部署在本地,并搭建本地知识库,相比于使用在线 AI 服务,具有以下显著优势:
开始之前,请确保你的 Windows 系统满足以下最低配置:
温馨提示:内存越大,模型运行越流畅。建议根据自身需求选择合适的硬件配置。
Ollama 是一个开源的大语言模型运行框架,它可以方便地在本地运行各种大模型,包括 DeepSeek - R1 8b。安装 Ollama 非常简单:
访问 Ollama 官网,点击 "Download for Windows" 下载安装包。
OllamaSetup.exe
,运行安装程序。打开命令提示符 (CMD) 或 PowerShell,输入以下命令:
ollama --version
如果成功显示 Ollama 的版本号,则说明 Ollama 安装成功。
Ollama 安装完成后,就可以轻松部署 DeepSeek - R1 8b 模型了。只需一条命令:
ollama pull deepseek-ai/deepseek-coder:6.7b-base
在命令提示符 (CMD) 或 PowerShell 中运行该命令,Ollama 会自动下载并安装 DeepSeek - R1 8b 模型。下载过程可能需要一段时间,取决于你的网络速度。
温馨提示: deepseek-ai/deepseek-coder:6.7b-base
是模型的名称和标签,可以在 Ollama 官网或 Hugging Face 找到更多模型。
shaw/dmeta-embedding-zh
模型是一个专门针对中文文本的嵌入模型,可以将中文文本转换为向量表示,用于语义搜索和知识库检索。它基于 transformer 架构,通过大量的中文语料训练而成,能够准确捕捉中文文本的语义信息。
shaw/dmeta-embedding-zh
模型原理简述该模型的核心在于将每个中文词语或句子映射到一个高维向量空间中,使得语义相似的词语或句子在向量空间中的距离更近。当用户输入搜索query时,该模型会将query转换成向量,然后在知识库中找到与query向量距离最近的文档向量,从而实现语义搜索。
shaw/dmeta-embedding-zh
模型由于 shaw/dmeta-embedding-zh
模型通常不会直接以 Ollama 模型的形式存在,你需要手动下载模型文件。可以从 Hugging Face 找到该模型:shaw/dmeta-embedding-zh。
你需要下载以下几个关键文件:
config.json
: 模型配置文件pytorch_model.bin
: 模型权重文件sentence_transformers.json
: SentenceTransformer配置文件vocab.txt
, tokenizer_config.json
, special_tokens_map.json
: tokenizer 相关文件将下载好的文件保存在一个目录下,例如 C:\models\dmeta-embedding-zh
。确保所有的文件都在该目录下。
使用 shaw/dmeta-embedding-zh
模型需要安装 sentence-transformers
Python 库。打开命令提示符 (CMD) 或 PowerShell,输入以下命令:
pip install sentence-transformers
确保你的 Python 环境已经配置好,并且 pip
命令可用。
Cherry Studio 是一款易于使用的本地知识库搭建工具,它可以帮助你快速搭建基于 DeepSeek 模型的本地知识库。它支持多种文档格式,并提供了友好的用户界面。
访问 Cherry Studio GitHub 仓库,下载最新版本的安装包 (Windows 版本)。
双击桌面上的 Cherry Studio 图标,启动应用程序。
C:\models\dmeta-embedding-zh
(你保存 shaw/dmeta-embedding-zh
模型的目录)。Cherry Studio 会自动将文档分割成小段落,并使用 shaw/dmeta-embedding-zh
模型计算每个段落的向量表示,然后存储在知识库中。
恭喜你!你已经成功在 Windows 系统下部署了 DeepSeek - R1 8b 模型,并搭建了本地知识库。现在,你可以尽情享受离线、安全、个性化的 AI 助手带来的便利。
希望本文对你有所帮助。如果你在部署过程中遇到任何问题,欢迎在评论区留言,我会尽力解答。