Roteamento de prompts inteligente do Amazon Bedrock

Pode ser um desafio para os desenvolvedores entender quais consultas exigem modelos mais avançados ou podem funcionar com consultas menores, mais rápidas e mais baratas. Com o uso de técnicas avançadas de correspondência de prompts e compreensão do modelo, o Roteamento de Prompts Inteligente prevê o desempenho de cada modelo para cada solicitação e encaminha dinamicamente cada solicitação para o modelo que, segundo ele, tem maior probabilidade de fornecer a resposta desejada com o menor custo. Você pode escolher entre dois roteadores de aviso na versão prévia que roteiam solicitações entre o Claude Sonnet 3.5 e o Claude Haiku, ou entre o Llama 3.1 7B e o Llama 3.1 80B.

Para alcançar o desempenho e o custo desejados para seus aplicativos, muitas vezes é necessário desenvolver fluxos de trabalho de orquestração complexos, encaminhando cada solicitação para o modelo mais adequado para essa solicitação com base em sua experiência para obter o desempenho desejado em termos de precisão. Com o Roteamento de Prompts Inteligente, é possível economizar meses de esforço testando diferentes modelos e criando fluxos de trabalho de orquestração complexos.

Cada solicitação é totalmente rastreável, permitindo que você identifique qual modelo lida com cada solicitação e permitindo que você entenda e depure facilmente quaisquer problemas.