TrueFoundry 集成

TrueFoundry 提供企业级 AI Gateway，可与 CrewAI 等 agentic 框架集成，为你的 AI 应用提供治理和可观测性。TrueFoundry AI Gateway 作为 LLM 访问的统一接口，提供：

• 统一 API 访问：通过一个 API 连接 250+ LLM（OpenAI、Claude、Gemini、Groq、Mistral）
• 低延迟：内部延迟低于 3ms，并具备智能路由和负载均衡
• 企业级安全：SOC 2、HIPAA、GDPR 合规，支持 RBAC 和审计日志
• 配额与成本管理：基于 token 的配额、速率限制和全面使用情况跟踪
• 可观测性：完整的请求/响应日志、指标和追踪，支持自定义保留策略

TrueFoundry 如何与 CrewAI 集成

安装与设置

1. 安装 CrewAI

   pip install crewai

2. 获取 TrueFoundry Access Token
   1. 注册 TrueFoundry 账户
   2. 按照 Quick start 中的步骤操作
3. 使用 TrueFoundry 配置 CrewAI

   

   from crewai import LLM
   
   # Create an LLM instance with TrueFoundry AI Gateway
   truefoundry_llm = LLM(
       model="openai-main/gpt-4o",  # Similarly, you can call any model from any provider
       base_url="your_truefoundry_gateway_base_url",
       api_key="your_truefoundry_api_key"
   )
   
   # Use in your CrewAI agents
   from crewai import Agent
   
   @agent
   def researcher(self) -> Agent:
       return Agent(
           config=self.agents_config['researcher'],
           llm=truefoundry_llm,
           verbose=True
       )

完整 CrewAI 示例

from crewai import Agent, Task, Crew, LLM

# Configure LLM with TrueFoundry
llm = LLM(
    model="openai-main/gpt-4o",
    base_url="your_truefoundry_gateway_base_url",
    api_key="your_truefoundry_api_key"
)

# Create agents
researcher = Agent(
    role='Research Analyst',
    goal='Conduct detailed market research',
    backstory='Expert market analyst with attention to detail',
    llm=llm,
    verbose=True
)

writer = Agent(
    role='Content Writer',
    goal='Create comprehensive reports',
    backstory='Experienced technical writer',
    llm=llm,
    verbose=True
)

# Create tasks
research_task = Task(
    description='Research AI market trends for 2024',
    agent=researcher,
    expected_output='Comprehensive research summary'
)

writing_task = Task(
    description='Create a market research report',
    agent=writer,
    expected_output='Well-structured report with insights',
    context=[research_task]
)

# Create and execute crew
crew = Crew(
    agents=[researcher, writer],
    tasks=[research_task, writing_task],
    verbose=True
)

result = crew.kickoff()

可观测性与治理

通过 TrueFoundry 的指标页监控你的 CrewAI 代理：

借助 TrueFoundry 的 AI gateway，你可以监控和分析：

• 性能指标：跟踪关键延迟指标，例如 Request Latency、Time to First Token（TTFS）和 Inter-Token Latency（ITL），并查看 P99、P90 和 P50 分位数
• 成本与 token 使用：通过输入/输出 token 的详细拆分以及每个模型对应的费用，清晰了解应用成本
• 使用模式：通过用户活动、模型分布和团队使用情况的详细分析，理解应用的使用方式
• 速率限制与负载均衡：可为模型设置速率限制、负载均衡和回退

追踪

要更深入了解追踪，请参阅 getting-started-tracing。对于追踪，你可以添加 Traceloop SDK： 对于追踪，你可以添加 Traceloop SDK：

pip install traceloop-sdk

from traceloop.sdk import Traceloop

# Initialize enhanced tracing
Traceloop.init(
    api_endpoint="https://your-truefoundry-endpoint/api/tracing",
    headers={
        "Authorization": f"Bearer {your_truefoundry_pat_token}",
        "TFY-Tracing-Project": "your_project_name",
    },
)

这会为你的整个 CrewAI 工作流提供额外的追踪关联能力。