ollama官网:https://ollama.com/
一、Ollama安装教程(以Windows系统为例)
1. 准备工作
• 硬件要求:需配备NVIDIA显卡(显存≥8GB),建议预留20GB磁盘空间。
• 网络环境:确保可访问Ollama官网。
2. 安装步骤
步骤1:下载安装包
访问 Ollama官网,点击「Download」→选择Windows版本。
步骤2:安装程序
双击安装包,保持默认选项→点击「Install」,直至显示「Installation complete」即安装成功。
步骤3:验证安装
• 按 Win+R
打开运行窗口,输入 cmd
进入命令行。
• 输入以下命令验证版本:
查看ollama命令是否安装成功
$ ollama --version
ollama version is 0.3.6
显示类似 ollama version 0.3.6
即成功。
步骤4(可选):修改默认模型存储路径
若需避免C盘空间占用,可在D盘创建文件夹并配置环境变量:
-
创建文件夹:
D:\OllamaAI
。 -
添加系统变量:
• 变量名:
OLLAMA_MODELS
• 变量值:
D:\OllamaAI
。
二、DeepSeek模型部署与使用
1. 模型选择与下载
在官网 https://ollama.com/search 下,可以搜索自己需要的大模型。
此次以DeepSeek为例:https://ollama.com/library/deepseek-r1
• 版本说明:
• 蒸馏版(推荐):如1.5B、7B参数,适合普通显卡(如2G显存可运行1.5B)。
• 满血版:671B参数需专业服务器(如双H100显卡+1T内存)。
• 下载命令:
通过ollama run
命令下载DeepSeek并运行(以1.5b为例):
$ ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏ 148 B
pulling a85fe2a2e58e... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
下载进度条显示完成后提示「success」即成功。
2. 模型验证与对话
• 下载完成后,直接在命令行输入问题测试:
>>> 百度公司是做什么的?
模型会生成详细解答。
三、可视化交互工具推荐
上面命令行交互不是很方便,我们可以选择其他可视化交互工具,以下推荐两种
方案1:Open WebUI(基于Docker)
- 安装Docker:从官网下载并完成配置。
- 启动服务:命令行输入:
docker run -d -p 3000:8080 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 访问控制台:浏览器打开
http://localhost:3000
,注册账号后选择「DeepSeek-R1」模型即可对话。
方案2:AnythingLLM(本地知识库整合)
- 下载AnythingLLM安装包,按提示安装。
- 配置LLM提供商为Ollama,选择已下载的DeepSeek模型。
- 上传文档(如PDF/TXT)训练AI,实现个性化问答。
四、常见问题
- 下载失败:重新输入命令
ollama run deepseek-r1:1.5b
重试。 - 显存不足:选择更低参数模型(如1.5B)或关闭其他占用显存的程序。
- 端口冲突:修改Docker命令中的端口号(如将3000改为其他值)。