ollama官网:https://ollama.com/

一、Ollama安装教程(以Windows系统为例)

1. 准备工作

硬件要求:需配备NVIDIA显卡(显存≥8GB),建议预留20GB磁盘空间。

网络环境:确保可访问Ollama官网。

2. 安装步骤

步骤1:下载安装包

访问 Ollama官网,点击「Download」→选择Windows版本。

image-20250328225426981

image-20250328225426981

步骤2:安装程序

双击安装包,保持默认选项→点击「Install」,直至显示「Installation complete」即安装成功。

image-20250328225426981

步骤3:验证安装

• 按 Win+R 打开运行窗口,输入 cmd 进入命令行。

• 输入以下命令验证版本:

查看ollama命令是否安装成功

$ ollama --version
ollama version is 0.3.6

显示类似 ollama version 0.3.6 即成功。

步骤4(可选):修改默认模型存储路径

若需避免C盘空间占用,可在D盘创建文件夹并配置环境变量:

  1. 创建文件夹:D:\OllamaAI

  2. 添加系统变量:

    • 变量名:OLLAMA_MODELS

    • 变量值:D:\OllamaAI

image-20250328225426981

二、DeepSeek模型部署与使用

1. 模型选择与下载

在官网 https://ollama.com/search 下,可以搜索自己需要的大模型。

此次以DeepSeek为例:https://ollama.com/library/deepseek-r1

deepseek

版本说明

蒸馏版(推荐):如1.5B、7B参数,适合普通显卡(如2G显存可运行1.5B)。

满血版:671B参数需专业服务器(如双H100显卡+1T内存)。

下载命令: 通过ollama run命令下载DeepSeek并运行(以1.5b为例):

$ ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
pulling a85fe2a2e58e... 100% ▕████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)

下载进度条显示完成后提示「success」即成功。

2. 模型验证与对话

• 下载完成后,直接在命令行输入问题测试:

>>> 百度公司是做什么的?

模型会生成详细解答。

image-20250328232305588

三、可视化交互工具推荐

上面命令行交互不是很方便,我们可以选择其他可视化交互工具,以下推荐两种

方案1:Open WebUI(基于Docker)

  1. 安装Docker:从官网下载并完成配置。
  2. 启动服务:命令行输入:
    docker run -d -p 3000:8080 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    
  3. 访问控制台:浏览器打开 http://localhost:3000,注册账号后选择「DeepSeek-R1」模型即可对话。

方案2:AnythingLLM(本地知识库整合)

  1. 下载AnythingLLM安装包,按提示安装。
  2. 配置LLM提供商为Ollama,选择已下载的DeepSeek模型。
  3. 上传文档(如PDF/TXT)训练AI,实现个性化问答。

四、常见问题

  1. 下载失败:重新输入命令 ollama run deepseek-r1:1.5b 重试。
  2. 显存不足:选择更低参数模型(如1.5B)或关闭其他占用显存的程序。
  3. 端口冲突:修改Docker命令中的端口号(如将3000改为其他值)。