Cómo Kapa utiliza los LLM para ayudar a las empresas a responder las preguntas técnicas de los usuarios de manera confiable

La IA generativa y los grandes modelos de lenguaje (LLM) han estado de moda en los últimos años, revolucionando la búsqueda tradicional en línea a través de ChatGPT y mejorando al mismo tiempo la atención al cliente, la generación de contenido, la traducción y más. Ahora, una startup incipiente está utilizando LLM para crear asistentes de inteligencia artificial capaces específicamente de responder preguntas complejas para desarrolladores, usuarios finales de software y empleados; es como ChatGPT, pero para productos técnicos.

Fundada en febrero del año pasado, Kapa.ai se graduó del programa Verano 2023 de Y Combinator (YC) y ya ha acumulado una lista bastante impresionante de clientes, incluidos OpenAI, creador de ChatGPT, Docker, Reddit, Monday.com y Mapbox. Nada mal para un negocio de 18 meses.

“Nuestro concepto inicial surgió después de que varios amigos que dirigían empresas de tecnología se acercaran al mismo problema, y ​​después de que construimos el primer prototipo de Kapa.ai para solucionarlo, conseguimos nuestro primer piloto pago en una semana”, dijeron el CEO y compañía. -dijo el fundador Emil Sorensen a TechCrunch. “Esto condujo a un crecimiento orgánico a través del boca a boca: nuestros clientes se convirtieron en nuestros mayores defensores”.

Para aprovechar esa tracción inicial, Kapa.ai ha recaudado 3,2 millones de dólares en una ronda inicial de financiación liderada por Initialized Capital.

Ponerse técnico

En términos más amplios, las empresas introducen su documentación técnica en Kapa.ai, que luego ofrece una interfaz mediante la cual los desarrolladores y usuarios finales pueden hacer preguntas. Docker, por ejemplo, lanzó recientemente un nuevo asistente de documentación llamado Docker Docs AI, que proporciona respuestas instantáneas a preguntas relacionadas con Docker desde sus páginas de documentación; está creado con Kapa.ai.

Pero Kapa.ai se puede utilizar para innumerables casos de uso, como atención al cliente, participación comunitaria y como asistente en el lugar de trabajo para ayudar a los empleados a consultar la base de conocimientos de su empresa.

En su interior, Kapa.ai se basa en varios LLM de diferentes proveedores y se apoya en un marco de aprendizaje automático llamado Retrieval Augmented Generation (RAG), que mejora el rendimiento de los LLM al permitirles extraer fácilmente fuentes de datos externas relevantes para proporcionar información más completa. respuestas.

“Somos independientes de los modelos: trabajamos con múltiples proveedores, incluido el uso de nuestros propios modelos, para utilizar las técnicas de pila y recuperación de mejor rendimiento para cada caso de uso específico”, dijo Sorensen.

Vale la pena señalar que ya existen varias herramientas similares, incluidas nuevas empresas respaldadas por empresas como Sana y Kore.ai, cuyo objetivo fundamental es llevar la IA conversacional a las bases de conocimiento empresarial. Kapa.ai, por su parte, encaja en ese grupo, pero la compañía dice que su principal diferenciador es que se centra principalmente en usuarios externos en lugar de empleados, y eso ha tenido una gran influencia en su diseño.

“Cuando se implementa un asistente de IA externamente para los usuarios finales, el nivel de escrutinio se multiplica por diez”, dijo Sorensen. “La precisión es lo único que importa, porque a las empresas les preocupa que la IA engañe a los clientes, y todo el mundo ha intentado hacer que ChatGPT o Claude alucinen. Unas cuantas malas respuestas y una empresa inmediatamente perderá la confianza en su sistema. Así que eso es lo que nos importa”.

Exactitud

Este enfoque en proporcionar respuestas precisas sobre documentación técnica, con alucinaciones mínimas, resalta cómo Kapa.ai es un tipo diferente de animal LLM: está diseñado para un caso de uso mucho más limitado.

“La optimización de la precisión de un sistema naturalmente conlleva compensaciones, ya que significa que tenemos que diseñar el sistema para que sea menos creativo de lo que otros sistemas LLM pueden permitirse ser”, dijo Sorensen. “Esto es para garantizar que las respuestas solo se generen a partir del universo de contenido que brindan”.

Luego está el espinoso tema de la privacidad de los datos, uno de los principales obstáculos para las empresas que pueden desear adoptar IA generativa, pero son cautelosos a la hora de exponer datos confidenciales a sistemas de terceros. Como tal, Kapa.ai incluye detección y enmascaramiento de datos PII (información de identificación personal), lo que contribuye en cierta medida a garantizar que la información privada no se almacene ni se comparta.

Esto incluye el escaneo de PII en tiempo real: cuando Kapa.ai recibe un mensaje, se escanea en busca de datos de PII y, si se detecta algún dato personal, el mensaje se rechaza y no se almacena. Los usuarios también pueden configurar Kapa.ai para que cualquier dato PII detectado en un documento sea anónimo.

Por supuesto, las empresas pueden montar algo parecido a Kapa.ai utilizando herramientas de terceros, como el servicio OpenAI de Azure o Haystack de Deepset. Pero es una tarea que requiere mucho tiempo y recursos, especialmente cuando puedes simplemente tocar el widget del sitio web de Kapa, ​​implementar su bot para Slack o Zendesk, o usar su API que permite a las empresas personalizar un poco las cosas con sus propias interfaces.

“La mayoría de las personas con las que trabajamos no quieren hacer todo el trabajo de ingeniería, o no necesariamente tienen los recursos de IA en sus equipos para hacerlo”, dijo Sorensen. “Quieren un motor de IA preciso y confiable en el que puedan confiar lo suficiente como para exponerlo directamente a los clientes y que ya haya sido optimizado para su caso de uso de respuesta a preguntas técnicas sobre productos”.

En términos de precios, Kapa.ai dice que utiliza un modelo de suscripción SaaS, que ofrece precios escalonados según la complejidad de la implementación y el uso, aunque no publica estos precios.

La empresa cuenta con un equipo remoto de nueve personas repartidas por todo el mundo en dos centros principales en Copenhague, donde tiene su sede Sorensen, y San Francisco.

Además del patrocinador principal, Initialized Capital, la ronda inicial de Kapa.ai contó con la participación de Y Combinator y una gran cantidad de inversores ángeles, incluido el fundador de Docker, Solomon Hykes, el profesor de Stanford e investigador de inteligencia artificial, Douwe Kiela, y el fundador de Replit, Amjad Masad.