Distributional recauda 19 millones de dólares para automatizar las pruebas de aplicaciones y modelos de IA

Distributional, una plataforma de pruebas de IA fundada por el ex director general de software de IA de Intel, Scott Clark, ha cerrado una ronda de financiación Serie A de 19 millones de dólares liderada por Two Sigma Ventures.

Clark dice que Distributional se inspiró en los problemas de prueba de IA que encontró mientras aplicaba la IA en Intel y, antes de eso, en su trabajo en Yelp como líder de software en la división de orientación publicitaria de la empresa.

“A medida que el valor de las aplicaciones de IA sigue creciendo, también lo hacen los riesgos operativos”, dijo a TechCrunch. “Los equipos de productos de IA utilizan nuestra plataforma para detectar, comprender y abordar de forma proactiva y continua los riesgos de la IA antes de que introduzca riesgos en la producción”.

Clark llegó a Intel mediante una adquisición.

En 2020, Intel adquirió SigOpt, una plataforma de gestión y experimentación de modelos que Clark cofundó. Clark permaneció y en 2022 fue nombrado vicepresidente y director general del grupo de software de supercomputación e inteligencia artificial de Intel.

En Intel, Clark dice que él y su equipo se vieron frecuentemente paralizados por problemas de monitorización y observabilidad de la IA.

La IA no es determinista, señaló Clark, lo que significa que genera diferentes resultados a partir del mismo dato. Si a eso le sumamos el hecho de que los modelos de IA tienen muchas dependencias (como la infraestructura de software y los datos de entrenamiento), identificar errores en un sistema de IA puede parecer como buscar una aguja en un pajar.

Según una encuesta de Rand Corporation de 2024, más del 80% de los proyectos de IA fracasan. La IA generativa está demostrando ser un desafío particular para las empresas, y un estudio de Gartner predice que un tercio de las implementaciones se abandonarán para 2026.

“Requiere escribir pruebas estadísticas sobre distribuciones de muchas propiedades de datos”, dijo Clark. “La IA debe probarse de forma continua y adaptativa a lo largo del ciclo de vida para detectar cambios de comportamiento”.

Clark creó Distributional para intentar abstraer un poco este trabajo de auditoría de IA, basándose en técnicas que él y el equipo de SigOpt desarrollaron mientras trabajaban con clientes empresariales. Distributional puede crear automáticamente pruebas estadísticas para modelos y aplicaciones de IA según las especificaciones de un desarrollador y organizar los resultados de estas pruebas en un panel.

Desde ese panel, los usuarios de Distribución pueden trabajar juntos en “repositorios” de pruebas, clasificar las pruebas fallidas y recalibrar las pruebas cuando sea necesario. Todo el entorno se puede implementar localmente (aunque Distributional también ofrece un plan administrado) e integrarse con herramientas populares de alertas y bases de datos.

“Brindamos visibilidad en toda la organización sobre qué, cuándo y cómo se probaron las aplicaciones de IA y cómo eso ha cambiado con el tiempo”, dijo Clark, “y proporcionamos un proceso repetible para las pruebas de IA para aplicaciones similares mediante el uso de plantillas y configuraciones compartibles”. filtros y etiquetas”.

De hecho, la IA es una bestia difícil de manejar. Incluso los principales laboratorios de IA tienen una gestión de riesgos deficiente. Una plataforma como la de Distributional podría aliviar la carga de las pruebas y quizás incluso ayudar a las empresas a lograr el retorno de la inversión.

Al menos, ese es el discurso de Clark.

“Ya sea inestabilidad, inexactitud o docenas de otros desafíos potenciales, puede ser difícil identificar el riesgo de la IA”, dijo. “Si los equipos no logran realizar correctamente las pruebas de IA, corren el riesgo de que las aplicaciones de IA nunca lleguen a producción. O, si se ponen en producción, corren el riesgo de que estas aplicaciones se comporten de manera inesperada y potencialmente dañina sin visibilidad de estos problemas”.

Distributional no es el primero en comercializar tecnología para probar y analizar la confiabilidad de una IA. Kolena, Prolific, Giskard y Patronus se encuentran entre las muchas soluciones de experimentación de IA que existen. Gigantes tecnológicos como Google Cloud, AWS y Azure también ofrecen herramientas de evaluación de modelos.

Entonces, ¿por qué un cliente elegiría Distributional?

Bueno, Clark afirma que Distributional, que está a punto de comercializar su conjunto de productos, ofrece una experiencia más “de guante blanco” que muchos. Distributional se encarga de la instalación, implementación e integración para los clientes y proporciona solución de problemas de pruebas de IA (de pago).

“Las herramientas de monitoreo a menudo se centran en métricas de nivel superior y casos específicos de valores atípicos, lo que da una sensación limitada de coherencia, pero sin información sobre el comportamiento más amplio de las aplicaciones”, dijo Clark. “El objetivo de las pruebas de Distributional es permitir a los equipos llegar a una definición del comportamiento deseado para cualquier aplicación de IA, confirmar que todavía se comporta como se espera en producción y durante el desarrollo, detectar cuándo cambia este comportamiento y determinar qué necesita evolucionar o arreglarse para alcanzar un estado estable una vez más”.

Con dinero nuevo de su Serie A, Distributional planea expandir su equipo técnico, con un enfoque en los aspectos de ingeniería de investigación de UI e IA. Clark dijo que espera que la fuerza laboral de la compañía crezca a 35 personas para fin de año, mientras Distributional se embarca en su primera ola de implementaciones empresariales.

“Hemos conseguido una financiación significativa en tan solo un año desde nuestra fundación e, incluso con nuestro equipo en crecimiento, estamos en condiciones de capitalizar en los próximos años esta enorme oportunidad”, añadió Clark.

Andreessen Horowitz, Operator Collective, Oregon Venture Fund, Essence VC y Alumni Ventures también participaron en la Serie A de Distributional. Hasta la fecha, la startup con sede en San Francisco ha recaudado 30 millones de dólares.