局域网内配置ollama远程服务

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

1、在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。

①通过任务栏退出正在运行的 Ollama 应用。
②打开 设置(Windows 11) 或 控制面板(Windows 10),搜索“环境变量”。
③编辑你的用户环境变量:

新建或编辑 OLLAMA_HOST,值设为 0.0.0.0
新建或编辑 OLLAMA_ORIGINS,值设为 *

④保存设置并重新启动 Ollama 应用,使配置生效。
⑤如果你习惯命令行,也可以使用命令行方式(可选)

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

2、在 MacOS 上配置
①打开命令行终端,输入以下命令:

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

②重启 Ollama 应用,使配置生效。

3、在 Linux 上配置
在 Linux 上,如果 Ollama 作为 systemd 服务运行,需要通过 systemctl 设置环境变量:
①编辑 systemd 服务配置

systemctl edit ollama.service

②在 [Service] 部分添加以下内容,保存并退出

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

③重新加载 systemd 并重启 Ollama:

systemctl daemon-reload
systemctl restart ollama

Ollama 服务 IP 地址
配置完成后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务,你可以在局域网内的其他设备上连接到 Ollama。

通常,Ollama 服务的 IP 地址类似于 192.168.X.X,你可以在你的客户端或者插件中设置 API Host 为:

http://192.168.X.X:11434

连接远程 Ollama
我们可以使用 Chatbox 软件或 Page Assist 浏览器插件来连接远程 Ollama。

【Chatbox】【Page Assist】
Ollama 支持多个 UI 界面(查看官方支持列表),这里我们使用 Chatbox 来连接远程 Ollama。

安装 Chatbox 后打开“设置”,“模型提供方”选择:ollama api,“API域名”填写远程服务的IP地址和端口,例如我的远程电脑的IP是 192.168.31.30,这里的值就是:http://192.168.31.30:11434 如果局域网没有配置错误,就能看到你远程运行的模型,选择其中一个。

我这里是为了给siri配一个AI助手,快捷指令分享:

https://www.icloud.com/shortcuts/804d55cf5d0b4a90aaaffeabfb7b3963


将ip地址改成你自己的,获取内容中的请求体 model改成你的模型,
查看模型列表:

ollama list

关闭远程访问
如果不想让 Ollama 继续对外提供服务,可以使用这些命令取消远程访问。

【Windows】【MacOS】

setx OLLAMA_HOST "" 
setx OLLAMA_ORIGINS "" 

注意事项
1、确保你的设备在同一 WiFi 网络下
2、可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境
3、为避免安全风险,请不要将 Ollama 服务暴露在公共网络中,家庭 WiFi 网络是一个相对安全的环境
4、如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)

版权声明:
作者:José
链接:https://www.josejang.com/ai/315.html
来源:José's ⎝⏠⏝⏠⎠ Blog
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>