模型提供方
open-multi-agent 在托管、云端与本地提供方之间保持智能体配置的形态一致。改 provider、model 和相应的凭据;团队定义的其余部分保持不变。
const agent = { name: 'my-agent', provider: 'anthropic', model: 'claude-sonnet-4-6', systemPrompt: 'You are a helpful assistant.',}内置提供方快捷方式
Section titled “内置提供方快捷方式”框架为下列每一个都内置了接好线的提供方名。设置 provider 和对应环境变量,适配器会处理好端点。
在底层,Anthropic、Gemini 和 Bedrock 使用各自专用的 API。其余内置快捷方式是对 OpenAI 兼容端点的预配置封装;与下方 OpenAI 兼容表格相同的线路格式,只是
baseURL已经替你填好。
| Provider | Config | Env var | Example model | Notes |
|---|---|---|---|---|
| Anthropic (Claude) | provider: 'anthropic' | ANTHROPIC_API_KEY | claude-sonnet-4-6 | 原生 Anthropic SDK。 |
| Gemini | provider: 'gemini' | GEMINI_API_KEY | gemini-2.5-pro | 原生 Google GenAI SDK。需要 npm install @google/genai。 |
| OpenAI (GPT) | provider: 'openai' | OPENAI_API_KEY | gpt-4o | |
| Azure OpenAI | provider: 'azure-openai' | AZURE_OPENAI_API_KEY, AZURE_OPENAI_ENDPOINT | gpt-4 | 可选 AZURE_OPENAI_API_VERSION、AZURE_OPENAI_DEPLOYMENT。 |
| GitHub Copilot | provider: 'copilot' | GITHUB_COPILOT_TOKEN(回退到 GITHUB_TOKEN) | gpt-4o | 在 OpenAI 协议之上的自定义 token 交换流程。 |
| Grok (xAI) | provider: 'grok' | XAI_API_KEY | grok-4 | OpenAI 兼容;端点为 api.x.ai/v1。 |
| DeepSeek | provider: 'deepseek' | DEEPSEEK_API_KEY | deepseek-v4-flash | OpenAI 兼容。deepseek-v4-flash(默认)或 deepseek-v4-pro(编程旗舰);两者都支持 1M 上下文与 384K 最大输出。旧版 deepseek-chat / deepseek-reasoner 将于 2026-07-24 下线。 |
| Doubao (Volcengine) | provider: 'doubao' | ARK_API_KEY | doubao-seed-1-8-251228 | OpenAI 兼容。字节跳动火山引擎 Ark 端点 https://ark.cn-beijing.volces.com/api/v3。见 providers/doubao。 |
| Hunyuan (Tencent MaaS / TokenHub) | provider: 'hunyuan' | HUNYUAN_API_KEY | hy3-preview | OpenAI 兼容。默认端点 https://tokenhub.tencentmaas.com/v1(腾讯当前平台;sk-... 密钥,Hunyuan 3 系列模型)。工具调用已在 hy3-preview 上验证。见 providers/hunyuan。 |
| Hunyuan (legacy Tencent Cloud) | provider: 'hunyuan' + HUNYUAN_BASE_URL | HUNYUAN_API_KEY | hunyuan-turbos-latest | 旧版端点 https://api.hunyuan.cloud.tencent.com/v1(console.cloud.tencent.com/hunyuan 密钥;独立的密钥命名空间)。腾讯已宣布该平台即将下线(2026-06-30 停售,2026-09-30 全面关停)。在此之前可设置 HUNYUAN_BASE_URL=https://api.hunyuan.cloud.tencent.com/v1 指向它。工具调用已在 hunyuan-turbos 和 hunyuan-functioncall 上验证。 |
| MiniMax (global) | provider: 'minimax' | MINIMAX_API_KEY | MiniMax-M3 | OpenAI 兼容。 |
| MiniMax (China) | provider: 'minimax' + MINIMAX_BASE_URL | MINIMAX_API_KEY | MiniMax-M3 | 设置 MINIMAX_BASE_URL=https://api.minimaxi.com/v1。 |
| MiMo | provider: 'mimo' | MIMO_API_KEY(+ 可选 MIMO_BASE_URL) | mimo-v2.5-pro | OpenAI 兼容。默认使用按量付费端点 https://api.xiaomimimo.com/v1;Token Plan 密钥(tp-...)需要订阅页面提供的集群 base URL,例如 https://token-plan-cn.xiaomimimo.com/v1。通过内置的 MiMo 适配器支持推理 / 工具调用循环。见 providers/mimo。 |
| Qiniu | provider: 'qiniu' | QINIU_API_KEY | deepseek-v3 | OpenAI 兼容。端点 https://api.qnaigc.com/v1;多个模型系列,见 Qiniu AI docs。 |
| AWS Bedrock | provider: 'bedrock' | 无(AWS SDK 凭据链) | anthropic.claude-3-5-haiku-20241022-v1:0 | 无 API 密钥。设置 AWS_REGION,或把 region 作为第 4 个参数传给 createAdapter。凭据来自环境变量、共享配置或 IAM 角色。较新的 Claude 模型可能需要跨区域推理配置前缀,如 us.。同时支持 Llama、Mistral 和 Cohere。见 providers/bedrock。需要 npm install @aws-sdk/client-bedrock-runtime。 |
OpenAI 兼容提供方
Section titled “OpenAI 兼容提供方”当一个服务端讲 OpenAI Chat Completions 时,不需要任何捆绑的快捷方式。使用 provider: 'openai' 并把 baseURL 指向该服务。
| Service | Config | Env var | Example model | Notes |
|---|---|---|---|---|
| Ollama (local) | provider: 'openai' + baseURL: 'http://localhost:11434/v1' | none | llama3.1 | |
| vLLM (local) | provider: 'openai' + baseURL | none | server-loaded | |
| LM Studio (local) | provider: 'openai' + baseURL | none | server-loaded | |
| llama.cpp server (local) | provider: 'openai' + baseURL | none | server-loaded | |
| OpenRouter | provider: 'openai' + baseURL: 'https://openrouter.ai/api/v1' + apiKey | OPENROUTER_API_KEY | openai/gpt-4o-mini | |
| Groq | provider: 'openai' + baseURL: 'https://api.groq.com/openai/v1' | GROQ_API_KEY | llama-3.3-70b-versatile | |
| Mistral | provider: 'openai' + baseURL: 'https://api.mistral.ai/v1' | MISTRAL_API_KEY | mistral-large-latest | 见 providers/mistral。 |
| MiMo | provider: 'openai' + baseURL: 'https://api.xiaomimimo.com/v1' | MIMO_API_KEY | mimo-v2.5-pro | 在使用工具调用的智能体循环时,优先选用内置的 mimo 提供方。Token Plan 用户应设置自己的 token-plan-*.xiaomimimo.com/v1 base URL。 |
| Zhipu GLM | provider: 'openai' + baseURL: 'https://open.bigmodel.cn/api/paas/v4' | ZHIPU_API_KEY | glm-4-plus | 见 providers/zhipu。 |
| Qwen (DashScope) | provider: 'openai' + baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1' | DASHSCOPE_API_KEY | qwen-plus | 见 providers/qwen。 |
| Moonshot AI (Kimi) | provider: 'openai' + baseURL: 'https://api.moonshot.ai/v1' | MOONSHOT_API_KEY | kimi-k2.5 | 见 providers/moonshot。 |
| LiteLLM (proxy) | provider: 'openai' + baseURL: 'http://localhost:4000/v1' + apiKey | LITELLM_API_KEY(若代理启用了鉴权) | 代理上的任意模型 | LiteLLM 把 100+ 提供方(OpenAI、Anthropic、Azure、Bedrock、Vertex 等)统一到一个 OpenAI 兼容端点之后。运行 litellm --config config.yaml 并把 baseURL 指向该代理。 |
其它服务只要实现了 OpenAI Chat Completions API,也能以同样方式接入,但这里未把它们列为已验证的提供方。对于密钥不是 OPENAI_API_KEY 的服务,通过 apiKey 显式传入;否则 openai 适配器会回退到 OPENAI_API_KEY。
本地模型工具调用
Section titled “本地模型工具调用”框架支持对由 Ollama、vLLM、LM Studio 或 llama.cpp 提供服务的本地模型进行工具调用。工具调用通过 OpenAI 兼容 API 原生处理。
已验证的本地模型包括 Gemma 4、Llama 3.1、Qwen 3、Mistral 和 Phi-4。Ollama 在 ollama.com/search?c=tools 发布其支持工具的模型。
如果某个本地模型把工具调用以文本形式返回,而非 tool_calls 线路格式,框架会自动从文本输出中提取它们。这对思考型模型或配置不当的本地服务端有帮助。
对慢速的本地推理,在 AgentConfig 上使用 timeoutMs:
const localAgent = { name: 'local', model: 'llama3.1', provider: 'openai', baseURL: 'http://localhost:11434/v1', apiKey: 'ollama', tools: ['bash', 'file_read'], timeoutMs: 120_000,}在消费级硬件上高度量化的 MoE 模型,在默认采样下可能陷入重复循环或臆造工具调用 schema。AgentConfig 暴露了 topK、minP、frequencyPenalty、presencePenalty、parallelToolCalls 和 extraBody,用于服务端专属的旋钮,如 vLLM 的 repetition_penalty。完整配置见 providers/local-quantized。
- 模型不调用工具?确认它出现在 Ollama 的 Tools category 里。
- 在用 Ollama?用
ollama update更新到最新版本。 - 代理干扰本地服务端?使用
no_proxy=localhost。