Pular para o conteúdo principal
A TrueFoundry fornece um AI Gateway pronto para uso empresarial, que pode ser usado para governança e observabilidade em frameworks agentivos como o CrewAI. O AI Gateway da TrueFoundry funciona como uma interface unificada para acesso a LLMs, oferecendo:
  • Acesso unificado à API: Conecte-se a 250+ LLMs (OpenAI, Claude, Gemini, Groq, Mistral) por meio de uma única API
  • Baixa latência: Latência interna abaixo de 3 ms com roteamento inteligente e balanceamento de carga
  • Segurança corporativa: Conformidade com SOC 2, HIPAA e GDPR, com RBAC e auditoria de logs
  • Gestão de cotas e custos: Cotas baseadas em tokens, rate limiting e rastreamento abrangente de uso
  • Observabilidade: Registro completo de requisições/respostas, métricas e traces com retenção personalizável

Como a TrueFoundry se integra ao CrewAI

Instalação e configuração

1

Instalar o CrewAI

2

Obter o token de acesso da TrueFoundry

  1. Crie uma conta na TrueFoundry
  2. Siga os passos do Início rápido
3

Configurar o CrewAI com a TrueFoundry

Configuração de código da TrueFoundry

Exemplo completo do CrewAI

Observabilidade e governança

Monitore seus agentes do CrewAI pela aba de métricas da TrueFoundry: Métricas da TrueFoundry Com o AI Gateway da TrueFoundry, você pode monitorar e analisar:
  • Métricas de desempenho: Acompanhe métricas-chave de latência como Latência da Requisição, Tempo até o Primeiro Token (TTFS) e Latência entre Tokens (ITL), com percentis P99, P90 e P50
  • Custos e uso de tokens: Tenha visibilidade dos custos da sua aplicação com detalhamento de tokens de entrada/saída e das despesas associadas a cada modelo
  • Padrões de uso: Entenda como sua aplicação está sendo utilizada com análises detalhadas sobre atividade de usuários, distribuição de modelos e uso por equipe
  • Limite de taxa e balanceamento de carga: Você pode configurar rate limiting, balanceamento de carga e fallback para seus modelos

Rastreamento

Para uma compreensão mais detalhada sobre rastreamento, consulte getting-started-tracing. Para rastreamento, você pode adicionar o SDK do Traceloop:
Isso oferece correlação adicional de rastreamentos em todo o seu fluxo de trabalho com o CrewAI. Rastreamento do CrewAI na TrueFoundry