LLM 选择策略指南

CrewAI 的 LLM 选择方法

与其给出规定性的模型推荐，我们更倡导一种思考框架，帮助你根据具体使用场景、约束和需求做出明智决定。LLM 生态变化很快，新的模型不断出现，现有模型也经常更新。最重要的是建立一种系统化的评估方法，而不依赖某个特定模型是否还在可用。

快速决策框架

分析你的任务

先深入理解你的任务真正需要什么。考虑认知复杂度、所需推理深度、期望输出格式，以及模型需要处理的上下文量。这一基础分析会指引后续所有决策。
映射模型能力

了解需求后，把它们映射到模型优势上。不同模型家族擅长不同类型的工作；有些优化了推理和分析，有些更擅长创造和内容生成，还有一些更注重速度和效率。
考虑约束条件

将现实中的运行约束纳入考量，包括预算限制、延迟要求、数据隐私需求以及基础设施能力。理论上最好的模型，未必是你场景里最实用的选择。
测试并迭代

先从可靠、理解充分的模型开始，再基于你具体用例中的实际表现进行优化。真实结果往往与理论基准不同，因此经验性测试非常重要。

核心选择框架

a. 先任务，后模型

LLM 选择最关键的一步，是弄清楚任务真正需要什么。很多团队会根据模型口碑或基准分数来选模型，而没有认真分析自身需求。这种做法要么会用昂贵复杂的模型去过度处理简单任务，要么会用能力不足的模型去支撑复杂工作。

推理复杂度

简单任务 代表了日常 AI 工作的大多数，包括基础指令跟随、直接的数据处理和简单格式化。这些任务通常输入输出清晰，歧义很少。认知负担较低，模型主要需要遵循明确指令，而不是进行复杂推理。
复杂任务 需要多步推理、战略思考，以及处理模糊或不完整信息的能力。它们可能涉及分析多个数据源、制定完整策略，或者解决需要拆解为更小组件的问题。模型需要在多个推理步骤之间保持上下文，并经常要做出未明说的推断。
创造性任务 需要不同类型的认知能力，重点在于生成新颖、吸引人且符合上下文的内容。这包括讲故事、营销文案创作和创意性问题解决。模型需要理解细微差别、语气和受众，同时产出不显机械、而且有感染力的内容。

输出要求

结构化数据 任务要求格式精确且一致。当处理 JSON、XML 或数据库格式时，模型必须可靠地产出可被程序处理的语法正确输出。这类任务通常有严格的校验要求，对格式错误容忍度很低，因此可靠性比创造力更重要。
创意内容 输出要求技术能力与创意表现之间取得平衡。模型需要理解受众、语气和品牌声音，同时产出能吸引读者并达成特定传播目标的内容。这类质量往往带有主观性，需要模型能根据不同上下文和用途调整写作风格。
技术内容 介于结构化数据和创意内容之间，既需要精确，也需要清晰。文档、代码生成和技术分析必须准确、完整，同时又要让目标受众容易理解。模型需要理解复杂技术概念，并有效地传达出来。

上下文需求

短上下文 场景是聚焦的、即时的任务，模型需要快速处理有限信息。这通常是事务型交互，速度和效率比深度理解更重要。模型不需要维持长对话历史或处理大文档。
长上下文 需求出现在处理大篇幅文档、长对话或复杂多部分任务时。模型需要在成千上万个 token 的跨度里保持一致性，并准确引用前文信息。此能力对于文档分析、全面研究和复杂对话系统至关重要。
超长上下文 场景则进一步逼近当前能力边界，涉及海量文档处理、大规模研究综合或复杂的多会话交互。这些用例需要专门为长上下文处理而设计的模型，而且通常要在上下文长度和处理速度之间做权衡。

b. 模型能力映射

理解模型能力，不能只看营销说法和基准分数，而要理解不同模型架构和训练方式的根本优势与局限。

推理模型

推理模型是一个专门类别，专门面向复杂的多步思考任务。它们在问题需要细致分析、战略规划或系统化拆解时表现出色。它们通常会使用 chain-of-thought 或 tree-of-thought 等技巧，一步步处理复杂问题。

推理模型的优势在于能在较长的推理链中保持逻辑一致性，并将复杂问题拆解成可管理的组件。它们对战略规划、复杂分析以及“推理质量比响应速度更重要”的场景尤其有价值。

不过，推理模型往往在速度和成本方面存在权衡。对于不需要这些高级推理能力的创造性任务或简单操作，它们也可能不太合适。当你的任务确实复杂，而且系统化、逐步分析能带来收益时，再考虑这些模型。

通用模型

通用模型在 LLM 选择上最均衡，能在广泛任务上提供稳定表现，而不会在某个特定领域过度专精。这类模型训练于多样化数据集，优化重点是通用性而不是某个垂直领域的峰值表现。

通用模型的主要优势在于不同工作类型下的可靠性和可预测性。它们能胜任大多数标准业务任务，从研究和分析到内容创作和数据处理都表现稳健。这使它们成为需要跨多样工作流保持一致表现的团队的理想起点。

虽然通用模型在某些领域可能不如专门模型达到峰值，但它们在运营上更简单，模型管理复杂度也更低。它们通常是新项目的最佳起点，让团队先理解自身需求，再考虑是否要进一步用更专门的模型优化。

快速高效模型

快速高效模型把速度、成本效益和资源效率放在首位，而不是追求复杂推理能力。它们针对高吞吐场景进行了优化，在这些场景里，快速响应和低运行成本比细腻理解或复杂推理更重要。

这类模型在常规操作、简单数据处理、函数调用以及高频任务中表现出色，因为这些场景的认知要求相对直接。对于需要短时间内处理大量请求，或者必须严格控制预算的应用，它们尤其有价值。

使用高效模型时，关键是确认其能力与任务需求一致。虽然它们能很好地处理许多常规操作，但在需要细腻理解、复杂推理或高级内容生成的任务上可能会吃力。它们最适合定义明确、重复性高，而且速度和成本比精致程度更重要的操作。

创意模型

创意模型专门针对内容生成、写作质量和创意思维任务进行了优化。它们通常擅长理解细微差别、语气和风格，同时生成自然、真实且符合上下文的内容。

创意模型的优势在于能为不同受众调整写作风格、保持稳定的声音和语气，并生成能有效吸引读者的内容。它们在讲故事、营销文案、品牌传播以及其他以创造力和吸引力为主要目标的内容上往往表现更好。

选择创意模型时，不能只看它能不能生成文本，还要看它对受众、上下文和目的的理解。最好的创意模型可以把输出调整到匹配特定品牌声音、针对不同受众群体，并在较长内容中保持一致性。

开源模型

开源模型在成本控制、定制能力、数据隐私和部署灵活性方面有独特优势。它们可以在本地或私有基础设施上运行，从而对数据处理和模型行为拥有完全控制权。

开源模型的主要好处包括：取消按 token 计费、可针对特定场景微调、完整的数据隐私，以及不依赖外部 API 提供方。对于数据隐私要求严格、预算受限或有定制需求的组织，它们尤其有价值。

不过，开源模型需要更多技术能力才能高效部署和维护。团队需要考虑基础设施成本、模型管理复杂度，以及持续更新和优化模型所需的投入。把这些技术开销算进去后，总拥有成本可能比云端方案更高。

策略性配置模式

a. 多模型方案

最成熟的 CrewAI 实现通常会策略性地使用多个模型，根据各个代理的具体角色和需求分配不同模型。这种方式让团队能够为每类工作使用最合适的模型，从而同时优化性能和成本。

规划型代理适合使用能处理复杂战略思考和多步分析的推理模型。这类代理常常充当操作的“大脑”，负责制定策略并协调其他代理的工作。内容型代理则更适合创意模型，因为它们擅长写作质量和受众吸引力。处理常规操作的代理可以使用强调速度和成本效益的高效模型。

示例：研究与分析 crew

from crewai import Agent, Task, Crew, LLM

# High-capability reasoning model for strategic planning
manager_llm = LLM(model="gemini-2.5-flash-preview-05-20", temperature=0.1)

# Creative model for content generation
content_llm = LLM(model="claude-3-5-sonnet-20241022", temperature=0.7)

# Efficient model for data processing
processing_llm = LLM(model="gpt-4o-mini", temperature=0)

research_manager = Agent(
    role="Research Strategy Manager",
    goal="Develop comprehensive research strategies and coordinate team efforts",
    backstory="Expert research strategist with deep analytical capabilities",
    llm=manager_llm,  # High-capability model for complex reasoning
    verbose=True
)

content_writer = Agent(
    role="Research Content Writer",
    goal="Transform research findings into compelling, well-structured reports",
    backstory="Skilled writer who excels at making complex topics accessible",
    llm=content_llm,  # Creative model for engaging content
    verbose=True
)

data_processor = Agent(
    role="Data Analysis Specialist",
    goal="Extract and organize key data points from research sources",
    backstory="Detail-oriented analyst focused on accuracy and efficiency",
    llm=processing_llm,  # Fast, cost-effective model for routine tasks
    verbose=True
)

crew = Crew(
    agents=[research_manager, content_writer, data_processor],
    tasks=[...],  # Your specific tasks
    manager_llm=manager_llm,  # Manager uses the reasoning model
    verbose=True
)

多模型实现成功的关键，是理解不同代理之间如何交互，并确保模型能力与代理职责一致。这需要周密规划，但能显著提升输出质量和运行效率。

b. 组件级选择

Manager LLM

Manager LLM 在分层 CrewAI 流程中扮演关键角色，是多个代理和任务的协调中心。这个模型需要擅长委派、任务优先级排序，以及在多个并发操作之间保持上下文。

有效的 manager LLM 需要强推理能力来做出好的委派决策，一致的性能来确保协调可预测，以及出色的上下文管理能力来同时跟踪多个代理的状态。它还需要理解不同代理的能力与局限，并在效率和质量之间优化任务分配。

对 manager LLM 来说，成本尤其重要，因为它会参与每一次操作。模型需要在频繁使用时既具备足够能力，又保持成本可控。这通常意味着要寻找那些在推理能力和价格之间平衡良好的模型，而不是最昂贵的顶级选项。

Function Calling LLM

Function calling LLM 处理所有代理的工具使用，因此对于严重依赖外部工具和 API 的 crew 来说至关重要。这些模型需要擅长理解工具能力、准确提取参数，以及有效处理工具响应。

对 function calling LLM 来说，最重要的是精确性和可靠性，而不是创造力或高级推理。模型必须能持续从自然语言请求中提取正确参数，并妥善处理工具响应。速度也很重要，因为工具调用通常会涉及多次往返，对整体性能有影响。

许多团队发现，专门优化过函数调用的模型，或者在工具支持方面很强的通用模型，往往比创意型或推理型模型更适合这个角色。关键在于确保模型能可靠地连接自然语言指令与结构化工具调用。

代理级覆盖

当某个代理的具体需求与整体 crew 要求有明显差异时，单个代理可以覆盖 crew 级别的 LLM 设置。这种能力允许在保持大多数代理操作简单的同时，实现更细致的优化。

当某个代理的角色需要与其他 crew 成员截然不同的能力时，就应该考虑代理级覆盖。例如，创意写作代理可能更适合内容生成优化模型，而数据分析代理可能在推理导向模型上表现更好。

代理级覆盖的挑战在于如何平衡优化收益与运行复杂度。每增加一个模型，部署、监控和成本管理的复杂度都会上升。团队应把覆盖重点放在那些性能提升足以抵消额外复杂度的代理上。

任务定义框架

a. 先清晰，再复杂

在决定 CrewAI 输出质量时，有效的任务定义往往比模型选择更重要。定义良好的任务能给出清晰方向和上下文，即使是能力一般的模型也能表现不错；而定义糟糕的任务则会让再强的模型也产出不满意的结果。

有效的任务描述

最好的任务描述会在提供足够细节和保持清晰之间取得平衡。它们应该明确界定具体目标，让成功是什么没有歧义，同时把方法或执行思路解释到足够细，确保代理知道如何推进。

有效的任务描述会包含相关上下文和约束，帮助代理理解更广泛的目的以及它需要在什么限制内工作。它们会把复杂工作拆成可聚焦的步骤，便于系统化执行，而不是抛出让人难以消化、维度太多的目标。

常见错误包括：目标过于模糊、缺少必要上下文、成功标准不清晰，或者把多个互不相关的任务混在一个描述里。目标是提供足够的信息让代理成功，同时保持单一、清晰的目标。

期望输出指南

期望输出指南是任务定义与代理之间的契约，明确说明交付物应是什么样，以及如何评估。它们应该描述所需的格式和结构，以及输出被视为完整时必须包含的关键元素。

最好的输出指南会提供质量指标的具体示例，并把完成标准定义得足够清晰，让代理和人工审核者都能判断任务是否成功完成。这可以减少歧义，并帮助多次任务执行保持一致结果。

要避免泛泛的输出描述、遗漏格式规范导致代理自行猜测、质量标准不清导致评估困难，或者不提供示例和模板让代理理解预期。

b. 任务排序策略

顺序依赖

当任务建立在前序输出之上、信息从一个任务流向下一个任务，或者质量取决于前置工作完成情况时，顺序依赖就很重要。这种方式能确保每个任务都能获得成功所需的信息和上下文。

有效实现顺序依赖，需要使用 context 参数把相关任务串起来，随着任务推进逐步增加复杂度，并确保每个任务产出的内容能成为后续任务的有效输入。目标是在依赖任务之间保持逻辑流转，同时避免不必要的阻塞。

当任务之间存在清晰逻辑进展，而且前一个任务的输出确实能提升后续任务的质量或可行性时，顺序依赖最有效。不过，如果管理不慎，它也会造成瓶颈，因此必须区分哪些依赖是真正必要的，哪些只是方便。

并行执行

当任务彼此独立、时间效率很重要，或者不同专业领域之间不需要协调时，并行执行就变得有价值。这种方式可以显著缩短整体执行时间，同时让专业代理同时发挥各自优势。

成功的并行执行需要识别真正可以独立运行的任务、有效分组相关但独立的工作流，以及在并行任务需要合并为最终交付物时提前规划结果整合。关键在于确保并行任务不会带来冲突或重复，从而降低整体质量。

当你有多个独立研究流、彼此不依赖的不同分析类型，或者可以同时推进的内容创作任务时，可以考虑并行执行。不过要注意资源分配，确保并行执行不会超出可用模型容量或预算。

优化代理配置以提升 LLM 表现

a. 基于角色选择 LLM

你的代理角色越具体，就越能决定哪些 LLM 能力对最佳表现最重要。这会带来一个战略机会：让精准的模型强项与代理职责相匹配。

通用角色与具体角色对 LLM 选择的影响：

定义角色时，要思考这个代理要处理的任务中，哪些领域知识、工作风格和决策框架最有价值。角色定义越具体、越有上下文，模型就越能有效地体现这个角色。

# ✅ Specific role - clear LLM requirements
specific_agent = Agent(
    role="SaaS Revenue Operations Analyst",  # Clear domain expertise needed
    goal="Analyze recurring revenue metrics and identify growth opportunities",
    backstory="Specialist in SaaS business models with deep understanding of ARR, churn, and expansion revenue",
    llm=LLM(model="gpt-4o")  # Reasoning model justified for complex analysis
)

角色到模型的映射策略：

“Research Analyst” → 推理模型（GPT-4o、Claude Sonnet），用于复杂分析
“Content Editor” → 创意模型（Claude、GPT-4o），用于写作质量
“Data Processor” → 高效模型（GPT-4o-mini、Gemini Flash），用于结构化任务
“API Coordinator” → 适合函数调用的模型（GPT-4o、Claude），用于工具使用

b. 将 backstory 作为模型上下文放大器

精心编写的 backstory 能把你的 LLM 从通用能力提升为专门化专家。这在成本优化上尤其关键 - 一个上下文充分的高效模型，可能比没有上下文的顶级模型表现更好。

上下文驱动的表现示例：

# Context amplifies model effectiveness
domain_expert = Agent(
    role="B2B SaaS Marketing Strategist",
    goal="Develop comprehensive go-to-market strategies for enterprise software",
    backstory="""
    You have 10+ years of experience scaling B2B SaaS companies from Series A to IPO.
    You understand the nuances of enterprise sales cycles, the importance of product-market
    fit in different verticals, and how to balance growth metrics with unit economics.
    You've worked with companies like Salesforce, HubSpot, and emerging unicorns, giving
    you perspective on both established and disruptive go-to-market strategies.
    """,
    llm=LLM(model="claude-3-5-sonnet", temperature=0.3)  # Balanced creativity with domain knowledge
)

# This context enables Claude to perform like a domain expert
# Without it, even it would produce generic marketing advice

能增强 LLM 表现的 backstory 要素：

领域经验：“10+ years in enterprise SaaS sales”
具体专长：“Specializes in technical due diligence for Series B+ rounds”
工作风格：“Prefers data-driven decisions with clear documentation”
质量标准：“Insists on citing sources and showing analytical work”

c. 整体性的代理-LMM 优化

最有效的代理配置，会让角色明确性、backstory 深度和 LLM 选择形成协同效应。每个元素都会强化其他元素，从而最大化模型表现。

优化框架：

# Example: Technical Documentation Agent
tech_writer = Agent(
    role="API Documentation Specialist",  # Specific role for clear LLM requirements
    goal="Create comprehensive, developer-friendly API documentation",
    backstory="""
    You're a technical writer with 8+ years documenting REST APIs, GraphQL endpoints,
    and SDK integration guides. You've worked with developer tools companies and
    understand what developers need: clear examples, comprehensive error handling,
    and practical use cases. You prioritize accuracy and usability over marketing fluff.
    """,
    llm=LLM(
        model="claude-3-5-sonnet",  # Excellent for technical writing
        temperature=0.1  # Low temperature for accuracy
    ),
    tools=[code_analyzer_tool, api_scanner_tool],
    verbose=True
)

对齐检查清单：

✅ 角色明确性：清晰的领域与职责
✅ LLM 匹配：模型优势与角色要求一致
✅ Backstory 深度：提供 LLM 可利用的领域上下文
✅ 工具集成：工具支持代理的专门功能
✅ 参数调优：温度等设置针对角色需求进行优化

关键在于创建这样的代理：每个配置选择都在强化你的 LLM 选择策略，从而在优化成本的同时最大化表现。

实用实施清单

与其重复策略框架，不如把它转化为一个在 CrewAI 中实施 LLM 选择决策的实用清单：

审计当前设置

检查内容：
- 所有代理默认都在使用同一个 LLM 吗？
- 哪些代理处理最复杂的推理任务？
- 哪些代理主要负责数据处理或格式化？
- 有没有高度依赖工具的代理？
行动：记录当前的代理角色，并识别优化机会。

实施 crew 级策略

设定基线：

# Start with a reliable default for the crew
default_crew_llm = LLM(model="gpt-4o-mini")  # Cost-effective baseline

crew = Crew(
    agents=[...],
    tasks=[...],
    memory=True
)

行动：在优化单个代理之前，先建立 crew 的默认 LLM。

优化高影响代理

识别并升级关键代理：

# Manager or coordination agents
manager_agent = Agent(
    role="Project Manager",
    llm=LLM(model="gemini-2.5-flash-preview-05-20"),  # Premium for coordination
    # ... rest of config
)

# Creative or customer-facing agents
content_agent = Agent(
    role="Content Creator",
    llm=LLM(model="claude-3-5-sonnet"),  # Best for writing
    # ... rest of config
)

行动：升级那 20% 处理了 80% 复杂性的代理。

使用企业级测试验证

将代理部署到生产环境后：
- 使用 CrewAI AMP 平台对模型选择做 A/B 测试
- 使用真实输入进行多次迭代，衡量一致性和性能
- 比较优化方案中的成本与表现
- 将结果分享给团队，便于协同决策
行动：用测试平台把猜测替换成数据驱动的验证。

何时使用不同类型的模型

推理模型

当任务需要真正的多步逻辑思考、战略规划，或者受益于系统化分析的高层决策时，推理模型就变得至关重要。这类模型擅长把问题拆解成组件，并系统地分析，而不是依靠模式匹配或简单指令跟随。

可以在业务战略制定、需要从多个来源提炼洞见的复杂数据分析、多步问题解决以及需要考虑多个变量及其交互的战略规划任务中使用推理模型。

不过，推理模型通常成本更高、响应更慢，因此最好把它们留给真正能带来价值的任务，而不是用于不需要复杂推理的简单操作。

创意模型

当内容生成是主要输出，而且内容的质量、风格和吸引力会直接影响成败时，创意模型就很有价值。这类模型擅长在写作质量和风格很重要、需要创意构思或头脑风暴，或者品牌声音与语气很关键的场景中工作。

可以用于博客和文章写作、需要吸引和说服人的营销文案、创意叙事和故事开发，以及对声音和语气要求很高的品牌传播。这些模型通常比通用替代方案更能理解细微差别和上下文。

对于技术性或分析型任务，创意模型可能不如其他模型合适，因为在这些任务中，精确性和事实准确性比吸引力与风格更重要。它们最适合在输出的创造性和沟通性是主要成功因素时使用。

高效模型

高效模型非常适合高频、常规操作，因为这类场景优先考虑速度和成本优化。它们在任务参数清晰明确、且不需要复杂推理或创意能力时表现最佳。

可以考虑在数据处理与转换、简单格式化与组织、函数调用和工具使用（此时精确性比精致性更重要）、以及成本 / 次数很关键的高吞吐操作中使用高效模型。

关键是要确保它们的能力与你的任务需求一致。它们可以有效处理许多常规操作，但在需要细腻理解、复杂推理或高级内容生成的任务上可能会吃力。

开源模型

当预算限制显著、存在数据隐私要求、需要定制，或者出于运维或合规原因必须本地部署时，开源模型会更有吸引力。

可以在数据隐私至关重要的企业内部工具、不能使用外部 API 的隐私敏感型应用、按 token 计费过高的成本优化部署，以及需要自定义模型修改或微调的场景中考虑开源模型。

不过，开源模型需要更多技术能力才能高效部署和维护。在评估开源方案时，要把基础设施、技术开销和持续维护等总拥有成本都考虑进去。

常见 CrewAI 模型选择陷阱

“一个模型通吃”陷阱

问题：在 crew 中所有代理都使用同一个 LLM，不考虑各自具体角色和职责。这通常是默认做法，但很少是最优解。

真实示例：让 GPT-4o 同时负责战略规划 manager 和数据提取代理。manager 需要值得这笔溢价的推理能力，但数据提取器用 GPT-4o-mini 也能做得一样好，而且价格只是其一小部分。

CrewAI 解决方案：利用代理级 LLM 配置，让模型能力与代理角色匹配：

# Strategic agent gets premium model
manager = Agent(role="Strategy Manager", llm=LLM(model="gpt-4o"))

# Processing agent gets efficient model
processor = Agent(role="Data Processor", llm=LLM(model="gpt-4o-mini"))

忽视 crew 级 vs 代理级 LLM 层次

问题：没有理解 CrewAI 的 LLM 层次结构 - crew LLM、manager LLM 和 agent LLM 设置可能相互冲突，或者协调不佳。

真实示例：把 crew 设置为使用 Claude，但代理又配置成 GPT 模型，导致行为不一致，并引入不必要的模型切换开销。

CrewAI 解决方案：策略性规划你的 LLM 层次结构：

crew = Crew(
    agents=[agent1, agent2],
    tasks=[task1, task2],
    manager_llm=LLM(model="gpt-4o"),  # For crew coordination
    process=Process.hierarchical  # When using manager_llm
)

# Agents inherit crew LLM unless specifically overridden
agent1 = Agent(llm=LLM(model="claude-3-5-sonnet"))  # Override for specific needs

Function Calling 模型不匹配

问题：只按通用能力选模型，却忽视了工具密集型 CrewAI 工作流中的函数调用表现。

真实示例：给主要需要调用 API、搜索工具或处理结构化数据的代理选了一个偏创意的模型。代理会在工具参数提取和可靠函数调用上遇到困难。

CrewAI 解决方案：对工具密集型代理优先考虑函数调用能力：

# For agents that use many tools
tool_agent = Agent(
    role="API Integration Specialist",
    tools=[search_tool, api_tool, data_tool],
    llm=LLM(model="gpt-4o"),  # Excellent function calling
    # OR
    llm=LLM(model="claude-3-5-sonnet")  # Also strong with tools
)

未测试就过早优化

问题：基于理论表现做复杂的模型选择决策，却没有用真实的 CrewAI 工作流和任务验证。

真实示例：基于任务类型实现复杂的模型切换逻辑，却没有测试性能提升是否足以抵消运行复杂度。

CrewAI 解决方案：先保持简单，再根据真实性能数据优化：

# Start with this
crew = Crew(agents=[...], tasks=[...], llm=LLM(model="gpt-4o-mini"))

# Test performance, then optimize specific agents as needed
# Use Enterprise platform testing to validate improvements

忽视上下文和记忆限制

问题：没有考虑模型上下文窗口如何与 CrewAI 的记忆和代理间上下文共享机制交互。

真实示例：给需要跨多个任务迭代保持对话历史的代理，或者在代理之间需要大量通信的 crew 中，使用了短上下文模型。

CrewAI 解决方案：让上下文能力与 crew 的通信模式相匹配。

测试与迭代策略

从简单开始

先使用可靠、通用、且已被广泛理解和支持的模型。这会为理解你的特定需求和性能预期打下稳定基础，然后再去优化专门需求。
衡量真正重要的东西

制定与具体用例和业务需求相符的指标，而不是只依赖通用基准。把重点放在直接影响成功的结果上，而不是理论性能指标。
基于结果迭代

根据你具体上下文中观察到的表现来做模型变更，而不是依据理论考虑或泛化建议。真实世界的表现往往与基准结果或口碑差异很大。
考虑总成本

评估完整的拥有成本，包括模型费用、开发时间、维护开销和运行复杂度。按 token 计最便宜的模型，放在整体成本里未必最划算。

企业级模型验证

对于认真优化 LLM 选择的团队，CrewAI AMP 平台提供了远超基础 CLI 测试的高级测试能力。该平台支持全面的模型评估，帮助你基于数据做出 LLM 策略决策。

高级测试功能：

多模型对比：在相同任务和输入上同时测试多个 LLM。并行比较 GPT-4o、Claude、Llama、Groq、Cerebras 以及其他领先模型的表现，找到最适合你用例的模型。
统计严谨性：使用一致的输入配置多次迭代，衡量可靠性和性能波动。这能帮助识别那些不但表现好，而且跨运行也稳定的模型。
真实世界验证：使用你真实的 crew 输入和场景，而不是合成基准。平台支持使用你的行业上下文、公司信息和真实用例进行测试，从而得到更准确的评估。
全面分析：访问所有测试模型的详细性能指标、执行时间和成本分析。这让你可以基于数据做决策，而不是依赖模型口碑或理论能力。
团队协作：在团队内共享测试结果和模型性能数据，支持协同决策，并在各项目中保持一致的模型选择策略。

前往 app.crewai.com 开始使用！

核心原则总结

任务驱动选择

根据任务真正需要什么来选择模型，而不是理论能力或一般口碑。

能力匹配

让模型强项与代理角色和职责相匹配，以获得最佳表现。

策略一致性

在相关组件和工作流之间保持一致的模型选择策略。

实用测试

通过真实使用来验证选择，而不是只看基准。

迭代改进

从简单开始，并根据实际表现和需求进行优化。

运行平衡

在性能需求与成本、复杂度约束之间取得平衡。

当前模型格局（2025 年 6 月）

各类别领先模型

下表展示了当前各类别中表现领先的代表性模型，并给出它们在 CrewAI 代理中的适用性建议：

推理与规划

最适合 Manager LLM 和复杂分析

模型	智能分数	成本（$/百万 token）	速度	在 CrewAI 中的最佳用途
o3	70	$17.50	Fast	用于复杂多代理协调的 Manager LLM
Gemini 2.5 Pro	69	$3.44	Fast	战略规划代理、研究协调
DeepSeek R1	68	$0.96	Moderate	面向预算敏感团队的高性价比推理
Claude 4 Sonnet	53	$6.00	Fast	需要细腻理解的分析代理
Qwen3 235B (Reasoning)	62	$2.63	Moderate	推理任务的开源替代方案

这些模型擅长多步推理，非常适合需要制定策略、协调其他代理或分析复杂信息的代理。

编码与技术

最适合开发和工具密集型工作流

模型	编码表现	工具使用得分	成本（$/百万 token）	在 CrewAI 中的最佳用途
Claude 4 Sonnet	Excellent	72.7%	$6.00	主要编码代理、技术文档
Claude 4 Opus	Excellent	72.5%	$30.00	复杂软件架构、代码审查
DeepSeek V3	Very Good	High	$0.48	常规开发中的高性价比编码
Qwen2.5 Coder 32B	Very Good	Medium	$0.15	预算友好的编码代理
Llama 3.1 405B	Good	81.1%	$3.50	面向工具密集型工作流的 function calling LLM

这些模型针对代码生成、调试和技术问题解决进行了优化，非常适合以开发为中心的 crew。

速度与效率

最适合高吞吐和实时应用

模型	速度（token/s）	延迟（TTFT）	成本（$/百万 token）	在 CrewAI 中的最佳用途
Llama 4 Scout	2,600	0.33s	$0.27	大批量处理代理
Gemini 2.5 Flash	376	0.30s	$0.26	实时响应代理
DeepSeek R1 Distill	383	Variable	$0.04	成本优化的高速处理
Llama 3.3 70B	2,500	0.52s	$0.60	速度与能力平衡
Nova Micro	High	0.30s	$0.04	简单、快速的任务执行

这些模型优先考虑速度和效率，非常适合处理常规操作或需要快速响应的代理。提示：将这些模型与 Groq 这类快速推理提供方结合，尤其是像 Llama 这样的开源模型，往往能获得更好的性能。

均衡表现

适合通用 crew 的全能型模型

模型	综合分数	多功能性	成本（$/百万 token）	在 CrewAI 中的最佳用途
GPT-4.1	53	Excellent	$3.50	通用 crew LLM
Claude 3.7 Sonnet	48	Very Good	$6.00	均衡的推理与创造力
Gemini 2.0 Flash	48	Good	$0.17	高性价比通用用途
Llama 4 Maverick	51	Good	$0.37	开源通用模型
Qwen3 32B	44	Good	$1.23	预算友好的多用途模型

这些模型在多个维度上都表现不错，适合具有多样任务需求的 crew。

当前模型的选择框架

高性能 Crew

当性能优先时：对 manager LLM 和关键代理使用像 o3、Gemini 2.5 Pro 或 Claude 4 Sonnet 这样的顶级模型。这些模型擅长复杂推理和协调，但成本更高。

策略：采用多模型方案，让高端模型负责战略思考，让高效模型负责常规操作。

成本敏感 Crew

当预算是主要约束时：重点考虑 DeepSeek R1、Llama 4 Scout 或 Gemini 2.0 Flash。它们能以显著更低的成本提供很强的表现。

策略：大多数代理使用高性价比模型，只把高端模型留给最关键的决策角色。

专门化工作流

针对特定领域专长：选择针对你的主要用例优化的模型。编码用 Claude 4 系列，研究用 Gemini 2.5 Pro，函数调用用 Llama 405B。

策略：根据 crew 的主要功能选择模型，确保核心能力与模型强项一致。

企业与隐私

用于数据敏感操作：考虑像 Llama 4 系列、DeepSeek V3 或 Qwen3 这样的开源模型，它们可以在本地部署，同时保持有竞争力的表现。

策略：在私有基础设施上部署开源模型，接受一定性能权衡以换取数据控制。

模型选择的关键考量

性能趋势：当前格局显示，推理导向模型（o3、Gemini 2.5 Pro）与均衡模型（Claude 4、GPT-4.1）之间竞争激烈。DeepSeek R1 等专门模型提供了极佳的成本 / 性能比。
速度 vs. 智能的权衡：像 Llama 4 Scout 这样的模型优先速度（2,600 token/s），同时保持合理智能；而像 o3 这样的模型则以速度和价格为代价，最大化推理能力。
开源可行性：开源模型与专有模型之间的差距仍在缩小，像 Llama 4 Maverick 和 DeepSeek V3 这样的模型在有吸引力的价格点上提供了有竞争力的表现。快速推理提供方在开源模型上尤其出色，通常能给出比专有替代方案更好的速度 / 成本比。

实施策略

从已验证模型开始

先使用像 GPT-4.1、Claude 3.7 Sonnet 或 Gemini 2.0 Flash 这样被广泛验证、在多个维度上表现不错的模型。
识别专门需求

判断你的 crew 是否有能从专门模型中受益的特定需求（编码、推理、速度），例如用 Claude 4 Sonnet 进行开发或用 o3 进行复杂分析。对速度要求极高的应用，可以把 Groq 这类快速推理提供方与模型选择一起考虑。
实施多模型策略

根据代理角色使用不同模型。manager 和复杂任务使用高能力模型，常规操作使用高效模型。
监控并优化

追踪与你的用例相关的性能指标，并准备在新模型发布或价格变化时调整模型选择。