Anthropic AI presenta la API de lotes de mensajes: una forma potente y rentable de procesar grandes volúmenes de consultas de forma asincrónica

Anthropic AI lanzó recientemente una nueva API Message Batches, que es una solución útil para los desarrolladores que manejan grandes conjuntos de datos. Permite el envío de hasta 10.000 consultas a la vez, ofreciendo un procesamiento asincrónico eficiente. La API está diseñada para tareas en las que la velocidad no es crucial, pero sí es importante manejar operaciones masivas de manera efectiva. Es especialmente útil para consultas no urgentes, ya que los resultados se procesan en 24 horas y una reducción de costos del 50 % en comparación con las llamadas API tradicionales.

¿Qué es la API de lotes de mensajes?

La API Message Batches de Anthropic es un servicio que permite a los desarrolladores procesar grandes cantidades de datos de forma asíncrona. Esto significa que las tareas se ponen en cola y se procesan de forma masiva.

• Envíe hasta 10.000 consultas por lote.
• Procesado dentro de las 24 horas.
• Cuesta un 50% menos que las llamadas API estándar.

La API la hace adecuada para operaciones a gran escala donde no son necesarias respuestas en tiempo real. Una vez que se crea un lote de mensajes, comienza a procesarse inmediatamente. Los desarrolladores pueden usarlo para procesar múltiples solicitudes de API de mensajes a la vez.

Principales características y beneficios

A continuación se muestra un desglose de las características clave que hacen que la API Anthropic Message Batches se destaque:

• Alto rendimiento: envíe y procese una gran cantidad de solicitudes sin alcanzar los límites de velocidad.
• Rentable: Obtenga un 50% de descuento en los costos de API para operaciones masivas.
• Escalabilidad: Maneje tareas de datos a gran escala, desde la moderación de contenido hasta el análisis de datos, sin preocuparse por las limitaciones de la infraestructura.
• Procesamiento por lotes: envíe hasta 10 000 solicitudes por lote y los resultados generalmente estarán listos en 24 horas.

Limitaciones de lotes

Si bien la API Message Batches de Anthropic ofrece una escalabilidad impresionante, tiene algunas limitaciones:

• Tamaño máximo de lote: 10.000 solicitudes o 32 MB.
• Tiempo de procesamiento: Hasta 24 horas.
• Los lotes caducan después de 29 días.
• Los límites de velocidad se aplican a las solicitudes de API, no a la cantidad de solicitudes en un lote.

Modelos compatibles

La API Message Batches actualmente funciona con varios modelos de Claude:

• Soneto de Claude 3.5
• Claude 3 Haiku
• Claude 3 Opus

Según Anthropic, los clientes de Amazon Bedrock ya pueden acceder a la inferencia por lotes y el soporte Vertex AI de Google Cloud está por llegar. Los desarrolladores pueden agrupar solicitudes de visión, mensajes del sistema, conversaciones de varios turnos y más. Cada solicitud dentro de un lote se maneja de forma independiente, lo que permite flexibilidad a la hora de combinar diferentes tipos de operaciones.

¿Cómo funciona la API de lotes de mensajes?

Al utilizar la API de Anthropic, los desarrolladores pueden enviar grandes lotes de solicitudes para procesarlas de forma asincrónica. Esto es ideal para tareas como analizar conjuntos de datos masivos o realizar moderación de contenido.

• Se ha creado un lote con las solicitudes que proporcionó.
• Cada solicitud se procesa de forma independiente, pero los resultados solo están disponibles después de completar todas las tareas.
• El proceso es adecuado para tareas que no necesitan resultados inmediatos.

Aquí está el código Python que muestra cómo interactuar con la API Message Batches de Anthropic y enviar solicitudes por lotes a uno de sus modelos de IA, Claude 3.5.

import anthropic

client = anthropic.Anthropic()

client.beta.messages.batches.create(
    requests=(
        {
            "custom_id": "my-first-request",
            "params": {
                "model": "claude-3-5-sonnet-20240620",
                "max_tokens": 1024,
                "messages": (
                    {"role": "user", "content": "Hello, world"}
                )
            }
        },
        {
            "custom_id": "my-second-request",
            "params": {
                "model": "claude-3-5-sonnet-20240620",
                "max_tokens": 1024,
                "messages": (
                    {"role": "user", "content": "Hi again, friend"}
                )
            }
        },
    )
)

Para cURL y JavaScript, puede consultar la referencia de API de Anthropic aquí.

Conclusión

La API Message Batches de Anthropic cambia las reglas del juego para los desarrolladores que manejan operaciones de datos a gran escala. Proporciona una forma eficiente y rentable de procesar solicitudes masivas. Elimina el estrés de gestionar tareas de big data. Puede analizar grandes conjuntos de datos o contenido moderado. Esta API de Anthropic simplifica las operaciones masivas, brindándole la flexibilidad y la escala que necesita.

Mira el Detalles. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 50.000 ml

(Próximo evento: 17 de octubre de 202) RetrieveX: la conferencia de recuperación de datos GenAI (promovida)

Nishant, director de crecimiento de productos de Marktechpost, está interesado en aprender sobre la inteligencia artificial (IA), lo que puede hacer y su desarrollo. Su pasión por probar algo nuevo y darle un toque creativo le ayuda a interconectar el marketing con la tecnología. Está ayudando a la empresa a liderar el crecimiento y el reconocimiento del mercado.