跳转到内容

模型提供方

open-multi-agent 在托管、云端与本地提供方之间保持智能体配置的形态一致。改 providermodel 和相应的凭据;团队定义的其余部分保持不变。

const agent = {
name: 'my-agent',
provider: 'anthropic',
model: 'claude-sonnet-4-6',
systemPrompt: 'You are a helpful assistant.',
}

框架为下列每一个都内置了接好线的提供方名。设置 provider 和对应环境变量,适配器会处理好端点。

在底层,Anthropic、Gemini 和 Bedrock 使用各自专用的 API。其余内置快捷方式是对 OpenAI 兼容端点的预配置封装;与下方 OpenAI 兼容表格相同的线路格式,只是 baseURL 已经替你填好。

ProviderConfigEnv varExample modelNotes
Anthropic (Claude)provider: 'anthropic'ANTHROPIC_API_KEYclaude-sonnet-4-6原生 Anthropic SDK。
Geminiprovider: 'gemini'GEMINI_API_KEYgemini-2.5-pro原生 Google GenAI SDK。需要 npm install @google/genai
OpenAI (GPT)provider: 'openai'OPENAI_API_KEYgpt-4o
Azure OpenAIprovider: 'azure-openai'AZURE_OPENAI_API_KEY, AZURE_OPENAI_ENDPOINTgpt-4可选 AZURE_OPENAI_API_VERSIONAZURE_OPENAI_DEPLOYMENT
GitHub Copilotprovider: 'copilot'GITHUB_COPILOT_TOKEN(回退到 GITHUB_TOKENgpt-4o在 OpenAI 协议之上的自定义 token 交换流程。
Grok (xAI)provider: 'grok'XAI_API_KEYgrok-4OpenAI 兼容;端点为 api.x.ai/v1
DeepSeekprovider: 'deepseek'DEEPSEEK_API_KEYdeepseek-v4-flashOpenAI 兼容。deepseek-v4-flash(默认)或 deepseek-v4-pro(编程旗舰);两者都支持 1M 上下文与 384K 最大输出。旧版 deepseek-chat / deepseek-reasoner 将于 2026-07-24 下线。
Doubao (Volcengine)provider: 'doubao'ARK_API_KEYdoubao-seed-1-8-251228OpenAI 兼容。字节跳动火山引擎 Ark 端点 https://ark.cn-beijing.volces.com/api/v3。见 providers/doubao
Hunyuan (Tencent MaaS / TokenHub)provider: 'hunyuan'HUNYUAN_API_KEYhy3-previewOpenAI 兼容。默认端点 https://tokenhub.tencentmaas.com/v1(腾讯当前平台;sk-... 密钥,Hunyuan 3 系列模型)。工具调用已在 hy3-preview 上验证。见 providers/hunyuan
Hunyuan (legacy Tencent Cloud)provider: 'hunyuan' + HUNYUAN_BASE_URLHUNYUAN_API_KEYhunyuan-turbos-latest旧版端点 https://api.hunyuan.cloud.tencent.com/v1(console.cloud.tencent.com/hunyuan 密钥;独立的密钥命名空间)。腾讯已宣布该平台即将下线(2026-06-30 停售,2026-09-30 全面关停)。在此之前可设置 HUNYUAN_BASE_URL=https://api.hunyuan.cloud.tencent.com/v1 指向它。工具调用已在 hunyuan-turboshunyuan-functioncall 上验证。
MiniMax (global)provider: 'minimax'MINIMAX_API_KEYMiniMax-M3OpenAI 兼容。
MiniMax (China)provider: 'minimax' + MINIMAX_BASE_URLMINIMAX_API_KEYMiniMax-M3设置 MINIMAX_BASE_URL=https://api.minimaxi.com/v1
MiMoprovider: 'mimo'MIMO_API_KEY(+ 可选 MIMO_BASE_URLmimo-v2.5-proOpenAI 兼容。默认使用按量付费端点 https://api.xiaomimimo.com/v1;Token Plan 密钥(tp-...)需要订阅页面提供的集群 base URL,例如 https://token-plan-cn.xiaomimimo.com/v1。通过内置的 MiMo 适配器支持推理 / 工具调用循环。见 providers/mimo
Qiniuprovider: 'qiniu'QINIU_API_KEYdeepseek-v3OpenAI 兼容。端点 https://api.qnaigc.com/v1;多个模型系列,见 Qiniu AI docs
AWS Bedrockprovider: 'bedrock'无(AWS SDK 凭据链)anthropic.claude-3-5-haiku-20241022-v1:0无 API 密钥。设置 AWS_REGION,或把 region 作为第 4 个参数传给 createAdapter。凭据来自环境变量、共享配置或 IAM 角色。较新的 Claude 模型可能需要跨区域推理配置前缀,如 us.。同时支持 Llama、Mistral 和 Cohere。见 providers/bedrock。需要 npm install @aws-sdk/client-bedrock-runtime

当一个服务端讲 OpenAI Chat Completions 时,不需要任何捆绑的快捷方式。使用 provider: 'openai' 并把 baseURL 指向该服务。

ServiceConfigEnv varExample modelNotes
Ollama (local)provider: 'openai' + baseURL: 'http://localhost:11434/v1'nonellama3.1
vLLM (local)provider: 'openai' + baseURLnoneserver-loaded
LM Studio (local)provider: 'openai' + baseURLnoneserver-loaded
llama.cpp server (local)provider: 'openai' + baseURLnoneserver-loaded
OpenRouterprovider: 'openai' + baseURL: 'https://openrouter.ai/api/v1' + apiKeyOPENROUTER_API_KEYopenai/gpt-4o-mini
Groqprovider: 'openai' + baseURL: 'https://api.groq.com/openai/v1'GROQ_API_KEYllama-3.3-70b-versatile
Mistralprovider: 'openai' + baseURL: 'https://api.mistral.ai/v1'MISTRAL_API_KEYmistral-large-latestproviders/mistral
MiMoprovider: 'openai' + baseURL: 'https://api.xiaomimimo.com/v1'MIMO_API_KEYmimo-v2.5-pro在使用工具调用的智能体循环时,优先选用内置的 mimo 提供方。Token Plan 用户应设置自己的 token-plan-*.xiaomimimo.com/v1 base URL。
Zhipu GLMprovider: 'openai' + baseURL: 'https://open.bigmodel.cn/api/paas/v4'ZHIPU_API_KEYglm-4-plusproviders/zhipu
Qwen (DashScope)provider: 'openai' + baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1'DASHSCOPE_API_KEYqwen-plusproviders/qwen
Moonshot AI (Kimi)provider: 'openai' + baseURL: 'https://api.moonshot.ai/v1'MOONSHOT_API_KEYkimi-k2.5providers/moonshot
LiteLLM (proxy)provider: 'openai' + baseURL: 'http://localhost:4000/v1' + apiKeyLITELLM_API_KEY(若代理启用了鉴权)代理上的任意模型LiteLLM 把 100+ 提供方(OpenAI、Anthropic、Azure、Bedrock、Vertex 等)统一到一个 OpenAI 兼容端点之后。运行 litellm --config config.yaml 并把 baseURL 指向该代理。

其它服务只要实现了 OpenAI Chat Completions API,也能以同样方式接入,但这里未把它们列为已验证的提供方。对于密钥不是 OPENAI_API_KEY 的服务,通过 apiKey 显式传入;否则 openai 适配器会回退到 OPENAI_API_KEY

框架支持对由 Ollama、vLLM、LM Studio 或 llama.cpp 提供服务的本地模型进行工具调用。工具调用通过 OpenAI 兼容 API 原生处理。

已验证的本地模型包括 Gemma 4、Llama 3.1、Qwen 3、Mistral 和 Phi-4。Ollama 在 ollama.com/search?c=tools 发布其支持工具的模型。

如果某个本地模型把工具调用以文本形式返回,而非 tool_calls 线路格式,框架会自动从文本输出中提取它们。这对思考型模型或配置不当的本地服务端有帮助。

对慢速的本地推理,在 AgentConfig 上使用 timeoutMs

const localAgent = {
name: 'local',
model: 'llama3.1',
provider: 'openai',
baseURL: 'http://localhost:11434/v1',
apiKey: 'ollama',
tools: ['bash', 'file_read'],
timeoutMs: 120_000,
}

在消费级硬件上高度量化的 MoE 模型,在默认采样下可能陷入重复循环或臆造工具调用 schema。AgentConfig 暴露了 topKminPfrequencyPenaltypresencePenaltyparallelToolCallsextraBody,用于服务端专属的旋钮,如 vLLM 的 repetition_penalty。完整配置见 providers/local-quantized

  • 模型不调用工具?确认它出现在 Ollama 的 Tools category 里。
  • 在用 Ollama?用 ollama update 更新到最新版本。
  • 代理干扰本地服务端?使用 no_proxy=localhost