Letta, una de las empresas emergentes de inteligencia artificial más esperadas de UC Berkeley, acaba de salir del anonimato

Una startup llamada Letta acaba de salir de la clandestinidad con una tecnología que ayuda a los modelos de IA a recordar a los usuarios y las conversaciones. Creada en la famosa fábrica de startups Labs de la Universidad de California en Berkeley, también anunció una inversión inicial de 10 millones de dólares liderada por Astasia Myers de Felicis, con una valoración posterior a la inversión de 70 millones de dólares.

Letta también cuenta con el respaldo de un quién es quién de inversores ángeles en IA, como Jeff Dean de Google, Clem Delangue de Hugging Face, Cristóbal Valenzuela de Runway y Robert Nishihara de Anyscale, entre otros.

Fundada por los estudiantes de doctorado de Berkeley Sarah Wooders y Charles Packer, esta es una startup de inteligencia artificial muy esperada, ya que es una filial del Laboratorio de Computación del Cielo de Berkeley y la entidad comercial del popular proyecto de código abierto MemGPT.

El Sky Computing Lab de Berkeley, dirigido por el aclamado profesor y cofundador de Databricks Ion Stoica, es el descendiente de RISELab y AMPLab, que dieron origen a empresas como Anyscale, Databricks y SiFive. El Sky Lab, en particular, dio origen a numerosos proyectos populares de modelos de lenguajes grandes (LLM) de código abierto, como Gorilla LLM, vLLM y el lenguaje estructurado LLM SGLang.

“En un plazo de un año, salieron del laboratorio un montón de proyectos. Solo había gente sentada a nuestro lado”, describió Wooders. “Fue una época increíble”.

MemGPT es uno de esos proyectos y es un producto tan popular que se volvió viral incluso antes de su lanzamiento.

“Alguien nos adelantó”, dijo Packer a TechCrunch. Los fundadores habían publicado un informe técnico el jueves 12 de octubre de 2023 y planeaban publicar un informe más detallado y el código en GitHub el lunes siguiente. Una persona al azar encontró el informe, lo publicó en Hacker News el domingo y “se volvió viral en Hacker News antes de que tuviéramos la oportunidad de publicar el código correctamente, publicar el informe o, por ejemplo, hacer un hilo de tweets o algo así”, dijo.

El motivo del entusiasmo fue que MemGPT mitiga un problema pernicioso para los LLM: en su forma nativa, los modelos como ChatGPT no tienen estado, lo que significa que no almacenan datos históricos en la memoria a largo plazo. Esto es problemático para las aplicaciones de IA que dependen de conocer y aprender de un usuario a lo largo del tiempo, desde los bots de atención al cliente hasta las aplicaciones de seguimiento de síntomas de atención médica. MemGPT administra los datos y la memoria para que los agentes de IA y los chatbots puedan recordar usuarios y conversaciones anteriores.

Packer contó que la publicación del artículo se mantuvo en la cima de Hacker News, el popular sitio para programadores administrado por Y Combinator, durante 48 horas. Así que pasó el fin de semana y los días siguientes respondiendo preguntas en el sitio mientras intentaba preparar el código para su lanzamiento. Una vez que el proyecto estuvo disponible en GitHub, un enlace al mismo se volvió viral en Hacker News, nuevamente. Las entrevistas y tutoriales de YouTube, las publicaciones en Medium, las 11 000 estrellas y las 1200 bifurcaciones en GitHub sucedieron rápidamente.

Myers de VC Felicis descubrió a Wooders y Packer también al leer sobre MemGPT e inmediatamente reconoció las posibilidades comerciales de la tecnología.

“Vi el artículo cuando se publicó”, le dijo a TechCrunch, y rápidamente se puso en contacto con los fundadores. “Teníamos un tema de inversión en torno a la infraestructura de los agentes de IA y apreciamos que un componente realmente importante de eso era la gestión de datos y memoria para hacer que estos bots de chat conversacionales y los agentes de IA fueran efectivos”.

Los fundadores todavía caminaban virtualmente por Sand Hill Road haciendo llamadas de Zoom con VC antes de elegir al que los amó primero.

Mientras tanto, Stoica se encargó de presentar a Dean, Nishihara y otros grandes inversores ángeles de Silicon Valley. “Muchos de los profesores de Berkeley, simplemente por estar allí, tienen muy buenos contactos”, recordó Packer sobre lo fácil que fue el proceso de inversión ángel. “Tienen la vista puesta en proyectos de este laboratorio que se van a comercializar”.

La competencia y la amenaza de OpenAI o1

Si bien MemGPT ya está disponible y en uso, la variante comercial de Letta, Letta Cloud, aún no está disponible. A partir del lunes, Letta está aceptando solicitudes de usuarios beta. Ofrecerá un servicio de agente alojado que permite a los desarrolladores implementar y ejecutar agentes con estado en la nube, accesibles a través de API REST, una interfaz de programación que puede mantener el estado. Letta Cloud almacenará los datos a largo plazo necesarios para hacerlo. Letta también ofrecerá herramientas para desarrolladores para crear agentes de IA.

Wooders prevé que MemGPT tendrá una amplia gama de usos. “Creo que el principal caso de uso que vemos es básicamente el de los chatbots altamente personalizados y muy atractivos”, afirma. Pero también hay usos de vanguardia como “un chatbot para pacientes con cáncer”, donde los pacientes cargan su historial y luego comparten síntomas actuales para que el bot pueda aprender y ofrecer orientación a lo largo del tiempo.

Cabe señalar que MemGPT no es el único que trabaja en este campo. LangChain es probablemente su competidor más conocido y ya ofrece opciones comerciales. Los principales creadores de modelos también ofrecen herramientas para la creación de agentes de IA, como la API de asistentes de OpenAI.

Y el nuevo modelo o1 de OpenAI puede hacer que la necesidad de fijar el estado sea un punto discutible para sus usuarios. Como es un modelo de varios pasos, fundamentalmente debe mantener el estado hasta cierto punto para poder “pensar” y verificar los hechos antes de responder.

Pero Wooders, Packer y Myers ven algunas diferencias clave entre lo que ofrece Letta y lo que hace OpenAI, un gigante del mercado de 400 kilos. Letta afirma que funcionará con cualquier modelo de IA y espera que sus usuarios utilicen muchos de ellos: OpenAI, Anthropic, Minstrel y sus propios modelos. La tecnología de OpenAI actualmente solo funciona consigo misma.

Más importante aún, Letta está usando MemGPT de código abierto y se está sumando firmemente al debate entre FOSS vs. caja negra LLM de código abierto, afirmando que el código abierto es una mejor opción para los programadores de aplicaciones de IA.

“Nos estamos posicionando como la alternativa abierta a OpenAI”, dice Packer. “Creo que es realmente muy, muy difícil crear aplicaciones de IA muy buenas, especialmente cuando te preocupas por cosas como las alucinaciones, si no puedes ver lo que está sucediendo debajo del capó”.