Ollama on Windows：本地运行大语言模型的利器

Ollama 的出现为 AI 爱好者带来了新的可能性。越来越多的工具和平台，如 OpenAI Translator、NextChat 和 LoboChat 等，都已经支持调用 Ollama 在本地运行的大语言模型 (LLM)。这不仅为 AI 新手提供了一种便捷的「入门玩法」，也为经验丰富的开发者开辟了新的探索途径。

Ollama on Windows（预览版）的推出，彻底改变了在 Windows 设备上进行 AI 开发的格局。无论你是 AI 领域的探索者，还是刚刚踏入该领域的「试水玩家」，Ollama 都为你指明了一条清晰而富有潜力的道路。

什么是 Ollama？

Ollama 是一个开创性的人工智能 (AI) 和机器学习 (ML) 工具平台，它彻底简化了 AI 模型的开发和使用流程。

在 AI 技术社区中，模型的硬件需求和环境配置一直是令人头疼的问题。Ollama 应运而生，正是为了解决这些关键痛点：

• 它提供了一套直观高效的工具，无论你是 AI 专家还是初涉此道的新手，都能轻松上手。
• Ollama 让先进的 AI 模型和计算资源变得触手可及，不再是少数人的「专利」。
• 对 AI 和 ML 社区来说，Ollama 的出现具有里程碑意义，它加速了 AI 技术的普及，让更多人能够实践自己的 AI 创意。

Ollama 的独特优势

Ollama 能够从众多 AI 工具中脱颖而出，主要得益于以下几个关键特性：

• 智能硬件加速：Ollama 能自动识别并充分利用 Windows 系统中的最优硬件资源。无论是 NVIDIA GPU、AMD GPU，还是支持 AVX、AVX2 指令集的 CPU，Ollama 都能实现针对性优化，大幅提升 AI 模型的运行效率。这意味着，你可以把更多精力放在项目本身，而不是纠结于复杂的硬件配置。
• 零虚拟化要求：告别繁琐的虚拟机搭建和复杂的环境配置。Ollama 让你能够直接开始 AI 项目开发，整个流程变得简单快捷。这种便捷性极大地降低了 AI 技术的入门门槛。
• 丰富的开源模型库：Ollama 托管了一个全面的开源 AI 模型库，包括先进的图像识别模型 LLaVA、Google 最新的 Gemma 3 模型 和微软的 Phi-4 模型家族等。这个「AI 武器库」让你可以轻松尝试各种开源模型，无论是文字交流、图像处理还是其他 AI 任务，总能找到合适的工具。
• 便捷的常驻 API：Ollama 的常驻 API 会在后台默默运行，随时准备将 AI 功能无缝整合到你的项目中。这意味着，强大的 AI 能力可以自然而然地融入你的开发流程，无需复杂的额外设置。

通过这些精心设计的功能，Ollama 不仅解决了 AI 开发中的常见痛点，还大大降低了 AI 技术的应用门槛，为 AI 的广泛应用铺平了道路。

第 1 步：在 Windows 上安装 Ollama

欢迎来到 AI 和机器学习的新纪元！接下来，让我们一步步引导你完成 Ollama 的安装过程。

1打开浏览器，访问 Ollama on Windows 页面，点击下载按钮，获取OllamaSetup.exe安装程序。

2双击安装文件，点击「Install」开始安装。

3安装完成后，右键点击系统托盘中的 Ollama 图标，选择「Quit Ollama」退出后台运行。

4（可选）Ollama 默认会随 Windows 自动启动，你可以在「文件资源管理器」的地址栏中访问以下路径，删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。

%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

第 2 步：配置 Ollama on Windows

为了充分发挥 Ollama 的潜力，我们需要对「环境变量」进行一些自定义配置：

1使用Windows + R快捷键打开「运行」对话框，输入以下命令，然后按Ctrl + Shift + Enter以管理员权限打开「环境变量」配置窗口。

C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables

2在「用户变量」中，根据需要添加以下环境变量。

2.1 更改模型存放路径

Ollama 的默认模型存储路径如下：

C:\Users\%username%\.ollama\\models

无论你的 C 盘空间大小，需要安装多少模型，都建议换一个存放路径，例如：

• 变量名：OLLAMA_MODELS
• 变量值：D:\ollama\models（示例路径，请根据实际情况调整）

2.2 更改 Ollama API 访问地址和侦听端口

Ollama API 的默认访问地址和侦听端口是http://localhost:11434，只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务，请修改 API 的侦听地址和端口：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000 端口。

2.3 允许浏览器跨域请求

Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在 LoboChat 等前端面板中调用 Ollama API，建议放开跨域限制：

• 变量名：OLLAMA_ORIGINS
• 变量值：*

2.4 重启 Ollama 并测试 API 访问

1在「开始」菜单中找到并重新启动 Ollama。

2右键点击系统托盘中的 Ollama 图标，选择「View log」打开命令行窗口。

3分别执行以下命令，查看新配置的环境变量是否生效：

echo %OLLAMA_MODELS%
echo %OLLAMA_HOST%
echo %OLLAMA_ORIGINS%

4找一台同一局域网内的电脑，在浏览器中访问 Ollama API 地址和端口，验证访问是否正常。

第 3 步：使用 Ollama on Windows

3.1 获取并运行 AI 模型

现在，我们开始从 Ollama 模型库中拉取开源 AI 模型，操作步骤如下：

1右键点击系统托盘中的 Ollama 图标，选择「View log」打开命令行窗口。

2执行以下命令来加载并运行模型：

ollama run <模型名称>

执行命令后，Ollama 会自动从模型库中下载并加载你所选的模型，所需时间取决于你的网速和模型大小。

在 Ollama 模型库中，比较常用的 AI 模型有：

3.2 在命令行中使用模型

模型加载完毕后，我们就可以开始与 AI 进行对话了。Ollama 支持各种开源模型来完成不同类型的任务。让我们来看看如何使用这些模型：

• 文本模型：文本模型是最常见的 AI 模型类型，可以用于对话、问答、文本生成等任务。例如，使用阿里的 Qwen2 模型：

ollama run qwen2:7b

• 图像模型：图像模型可以分析和理解图片内容，非常适合图像识别、物体检测等任务。例如，使用 LLaVA 模型对图片进行分析，并根据你的问题给出相应的结果。

ollama run llava:7b

3.3 连接到 Ollama API

如前所述，Ollama 不仅可以在命令行中使用，还提供了强大的 API 接口，它兼容 OpenAI 的 Chat Completions API，让你能够在各种应用和程序中调用 AI 模型。

• 你可以在 OpenAI Translator、NextChat 和 LoboChat 等应用中直接调用 Ollama API。
• 如果你是开发者，可以在自己的应用中通过 HTTP 请求调用 Ollama API。

以下是使用cURL命令调用 Phi-3-medium 模型（OpenAI 兼容 API 端点）的示例：

curl http://192.168.100.6:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "phi3:medium-128k",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "天空为什么是蓝色的？"
            }
        ]
    }'

Ollama 常用命令

Ollama on Windows 最佳实践

要充分发挥 Ollama 在 Windows 上的潜力，需要注意以下最佳实践和技巧。这些建议将帮助你优化性能并解决常见问题：

优化 Ollama 性能

• 检查硬件配置：确保设备满足 Ollama 推荐的硬件要求，尤其是运行较大型模型时。如果你有 NVIDIA 或 AMD GPU，还可以享受 Ollama 提供的自动硬件加速，大幅提升计算速度。
• 更新驱动程序：保持显卡驱动程序是最新版本，确保与 Ollama 的兼容性和最佳性能。
• 释放系统资源：在运行较大型模型或执行复杂任务前，关闭不必要的程序，释放系统资源。
• 选择合适模型：根据任务需求选择适当的模型。大参数模型虽然可能更准确，但对算力的要求也更高。对于简单任务，使用小参数模型更有效率。

Ollama 常见问题解答

在本指南中，我们学习了如何在 Windows 上安装、配置和使用 Ollama，还包括了执行基础命令、使用 Ollama 模型库，以及通过 API 调用 Ollama。建议你深入研究 Ollama，并尝试各种不同的模型。Ollama 的潜力无限，借助它，你可以实现更多有意思的可能！