ElevenLabs ahora ofrece la posibilidad de crear agentes de IA conversacionales
ElevenLabs, una startup que ofrece clonación de voz mediante IA y una API de conversión de texto a voz, lanzó el lunes la capacidad de crear robots de IA conversacionales.
La compañía anunció que los usuarios ahora pueden crear agentes conversacionales completos en la plataforma de desarrollo de ElevenLabs, con variables personalizables como el tono de voz y la duración de la respuesta.
ElevenLabs ha trabajado principalmente en proporcionar diferentes voces y herramientas de inteligencia artificial para servicios de conversión de texto a voz. El jefe de crecimiento de la compañía, Sam Sklar, dijo a TechCrunch que muchos de sus clientes ya estaban utilizando esta capacidad para crear agentes de IA conversacionales. Sin embargo, las partes más difíciles fueron integrar la base de conocimientos y gestionar las interrupciones de los clientes. Es por eso que la empresa decidió crear un canal completo para robots conversacionales.
Los usuarios pueden iniciar sesión en su cuenta de ElevenLabs y comenzar a crear un agente de conversación seleccionando una plantilla o creando un nuevo proyecto. Pueden elegir el idioma principal del agente, el primer mensaje y el mensaje del sistema para determinar la personalidad del agente. Los desarrolladores también deben seleccionar un modelo de lenguaje grande (Gemini, GPT o Claude), la temperatura de las respuestas (para determinar qué tan creativa debe ser la respuesta) y el límite de uso de tokens.
También pueden ajustar otros aspectos como la voz, la latencia, la estabilidad, los criterios de autenticación y la duración máxima de la conversación con el agente de IA.
Los usuarios pueden agregar su propia base de conocimientos, como un archivo, una URL o un bloque de texto, para potenciar el robot conversacional. Además, también pueden integrar su propio LLM personalizado con el bot. El SDK de ElevenLabs es compatible con Python, Javascript, React y Swift. La empresa también ofrece una API WebSocket para una mayor personalización.
Las empresas también pueden definir criterios para recopilar ciertos elementos de datos (por ejemplo, nombre y correo electrónico de los clientes que hablan con el agente) junto con criterios de evaluación en lenguaje natural para definir el éxito o el fracaso de la llamada.
ElevenLabs está aprovechando su canal existente para la parte de conversión de texto a voz. La empresa tiene que desarrollar capacidades de conversión de voz a texto para el nuevo producto de IA conversacional. La compañía no ofrece su API de voz a texto como un producto independiente por ahora, pero podría hacerlo en el futuro, lo que la convertiría en un competidor de las API de voz a texto de Google, Microsoft y Amazon, así como de las API especializadas. API, como Whisper, AssemblyAI, Deepgram, Speechmatics y Gladia de OpenAI.
La empresa, que pretende recaudar nuevos fondos con una valoración superior a los 3.000 millones de dólares, también compite con otras nuevas empresas de inteligencia artificial de voz, como Vapi y Retell; también están creando agentes conversacionales. Más notablemente, la compañía también rivalizará con la API conversacional en tiempo real de OpenAI. Sin embargo, ElevenLabs cree que sus personalizaciones y su capacidad para cambiar de modelo le darán una ventaja sobre OpenAI.