La herramienta de avatar AI personalizada de Zoom puede conllevar riesgos
Zoom quiere convertirte en un avatar fotorrealista animado por IA, pero no hasta el próximo año.
La próxima función, anunciada hoy en la conferencia anual de desarrolladores de Zoom, traducirá un videoclip que los usuarios graban de sí mismos en un clon digital, completo con cabeza, brazos y hombros. Los usuarios podrán escribir un guión de lo que quieren que diga el doble digital y Zoom generará un audio que se sincroniza con los movimientos de los labios del avatar.
Smita Hashim, directora de productos de Zoom, dijo a TechCrunch que los avatares personalizados fueron diseñados para ayudar a las personas a chatear “asincrónicamente” con colegas de una manera “más rápida y productiva”.
“Los avatares ahorran a los usuarios tiempo y esfuerzo valiosos al grabar clips y les permiten escalar la creación de videos”, dijo Hashim.
Sin embargo, también podrían representar un riesgo de deepfake.
Varias empresas han desarrollado tecnología de inteligencia artificial para “clonar” digitalmente el rostro de una persona y combinar ese clon con un habla sintética que suene razonablemente natural. Tavus, por ejemplo, ayuda a las marcas a crear personajes virtuales para anuncios de video personalizados, y Microsoft lanzó el año pasado un servicio que puede generar sustitutos digitales convincentes para una persona.
Pero muchas de estas herramientas implementan salvaguardias estrictas y específicas para proteger contra el uso indebido. Tavus requiere declaraciones de consentimiento verbal y Microsoft exige que sus clientes obtengan el permiso y el consentimiento por escrito de cualquier avatar destacado.
Zoom fue un poco más vago sobre sus medidas de seguridad.
Al señalar las políticas de uso de Zoom que prohíben el uso indebido, Hashim dijo que la compañía está incorporando “numerosas salvaguardias” en su función de avatar personalizado, incluida la “autenticación avanzada” y la marca de agua.
“Continuaremos revisando y agregando salvaguardias según sea necesario en el futuro”, dijo Hashim. “Empleamos (…) tecnología para hacer evidente cuándo se genera un clip con un avatar y (…) para ayudar a garantizar la integridad del contenido generado por avatar”.
Las imágenes digitales de Zoom se alinean con la visión más amplia del CEO Eric Yuan de crear IA que algún día puedan hablar en reuniones de Zoom, responder correos electrónicos y atender llamadas telefónicas.
Pero estas semejanzas llegan en un momento en que los deepfakes se están extendiendo como la pólvora por las redes sociales y dificultan distinguir la verdad de la desinformación.
En lo que va del año, los deepfakes del presidente Joe Biden, Taylor Swift y la vicepresidenta Kamala Harris han acumulado millones de visitas y se han compartido. Más recientemente, imágenes falsas de destrucción y sufrimiento humano generadas por IA inundaron la web después del huracán Helene.
Los deepfakes también se han utilizado para atacar a personas, haciéndose pasar por seres queridos, por ejemplo. Las pérdidas relacionadas con estafas de suplantación de identidad superaron los mil millones de dólares el año pasado, según la FTC.
¿Cómo exactamente impedirá Zoom que los estafadores utilicen su herramienta para generar vídeos de personas diciendo cosas que no dijeron con fines maliciosos? No está claro todavía. Una maqueta proporcionada por la empresa muestra una marca de agua visible en la esquina superior derecha de un vídeo de avatar personalizado. Pero marcas de agua como estas se pueden recortar fácilmente con herramientas de grabación de pantalla.
Esperamos aprender más más cerca de la primera mitad de 2025, cuando Zoom planea lanzar avatares personalizados para Zoom Clips, su herramienta de video asincrónica, como parte de un complemento premium de $12 por usuario al mes.
Independientemente de los pasos que Zoom termine tomando (o no), existen esfuerzos regulatorios en curso para intentar contrarrestar la avalancha de deepfakes.
A falta de una ley que penalice los deepfakes a nivel federal en EE. UU., más de 10 estados han promulgado estatutos contra la suplantación de identidad asistida por IA. La ley de California, actualmente estancada, sería la primera en facultar a los jueces para ordenar que los carteles de deepfakes los eliminen o potencialmente enfrentar sanciones monetarias.