LM Studio
本文介绍如何在 OmniAgent 中配置 LM Studio 本地模型服务。
LM Studio 是一款流行的桌面应用程序，支持在本地运行各种开源大模型（如 Llama, Mistral, Gemma 等）。它提供了一个极其简单的一键式本地 API 伺服器，完全兼容 OpenAI 接口协议。
官方网站：lmstudio.ai
启动本地服务器
- 打开 LM Studio 客户端。
- 在模型库中选择并下载您感兴趣的模型。
- 点击左侧导航栏中的 「Local Server」 图标（类似双箭头的图标）。
- 选择刚才载入的模型，并点击 「Start Server」。
默认情况下，本地服务器将监听在 http://localhost:1234。
在 OmniAgent 中配置
-
打开 OmniAgent 的 API Key 管理 页面。
-
点击 + 新增 API 密钥，在该页面的提供商下拉菜单中选择 LMStudio。
-
配置信息:
- 模型名称: 填入当前在 LM Studio 中加载的模型标识。
- API Key (密钥): LM Studio 默认不需要密钥，可输入任意占位符（如
lm-studio）。 - Base URL (地址): 填入
http://localhost:1234。
核心要点
- 硬件依赖：LM Studio 的推理速度取决于您本机的 GPU 或 CPU 性能。
- 并发处理：在 LM Studio 的服务器设置中，您可以调整
Context Length和其他参数以优化在 OmniAgent 中的表现。 - 地址兼容：请确保 Base URL 包含
/v1后缀。