Microsoft Copilot ahora puede leer su pantalla, pensar profundamente y hablarle en voz alta

Una semana después de anunciar una ola de actualizaciones para su conjunto empresarial de productos Copilot impulsados ​​por IA, Microsoft está lanzando nuevas capacidades Copilot en Windows para todos los usuarios, incluida una herramienta que puede comprender y responder preguntas sobre lo que hay en su pantalla.

Hoy se están lanzando aplicaciones Copilot actualizadas para iOS, Android, Windows y la web, y todas cuentan con un Copilot con un estilo más “cálido” y “distinto”, como lo describe Microsoft. Microsoft también está llevando el chatbot a WhatsApp, permitiendo a los usuarios chatear con Copilot a través de DM, similar a la experiencia que se obtiene con otros bots en la plataforma de mensajería de Meta.

Visión copiloto

Copilot Vision tiene una vista de lo que estás viendo en tu PC; más específicamente, una lente de los sitios que estás visitando con Microsoft Edge. Ubicado detrás de Copilot Labs, un nuevo programa exclusivo de Copilot Pro para capacidades experimentales de Copilot, Copilot Vision puede analizar texto e imágenes en páginas web y responder consultas (por ejemplo, “¿Cuál es la receta de la comida en esta imagen?”) sobre a ellos.

Vision, que se puede abrir escribiendo “@copilot” en la barra de direcciones de Edge, no es exactamente una maravilla técnica. Google ofrece una tecnología de búsqueda similar en Android y recientemente también trajo fragmentos de esa tecnología a Chrome.

Pero Microsoft sugiere que Copilot Vision es más potente y consciente de la privacidad que las funciones anteriores de análisis de pantalla.

“Copilot Vision puede… sugerir los siguientes pasos, responder preguntas, ayudarlo a navegar en lo que quiera hacer y ayudarlo con las tareas, todo mientras simplemente le habla en lenguaje natural”, escribió Microsoft en una publicación de blog compartida con TechCrunch. “Imagínese que está intentando amueblar un apartamento nuevo. Copilot Vision puede ayudarle a buscar muebles, encontrar la paleta de colores adecuada, pensar en sus opciones en todo, desde alfombras hasta mantas, e incluso sugerir formas de organizar lo que está mirando”.

Sin duda, ansioso por evitar otra ronda de mala prensa por errores de privacidad de la IA, Microsoft está enfatizando que Copilot Vision fue diseñado para eliminar datos inmediatamente después de las conversaciones. El audio, las imágenes o el texto procesados ​​no se almacenan ni se utilizan para entrenar modelos, afirma la compañía, al menos no en esta versión preliminar.

Copilot Vision también está limitado en los tipos de sitios web que puede interpretar. Por el momento, Microsoft está bloqueando la función para que no funcione en contenido “sensible” y de pago, limitando Vision a una lista preaprobada de propiedades web “populares”.

¿Qué implica exactamente el contenido “sensible”? ¿Pornografía? ¿Violencia? En este momento, Microsoft no quiso decirlo.

Las acusaciones de eludir los muros de pago con herramientas de inteligencia artificial han llevado a Microsoft a problemas legales en el pasado reciente. En una demanda en curso, The New York Times alegó que Microsoft permitió a los usuarios sortear su muro de pago al publicar artículos del NY Times a través del chatbot Copilot en Bing. Cuando se le solicitaba de cierta manera, Copilot, que funciona con los modelos de OpenAI, colaborador cercano de Microsoft, daba fragmentos palabra por palabra (o casi palabra por palabra) de historias pagadas, según The Times.

Microsoft dijo que Copilot Vision, que por el momento es exclusivo de EE. UU., respetará los “controles de IA legibles por máquinas” de los sitios, como reglas que no permiten a los robots extraer datos para el entrenamiento de IA. Pero la empresa no ha dicho precisamente que controla Visión respetará; hay varios en uso. Le hemos pedido una aclaración a Microsoft.

Muchos editores importantes han optado por impedir que las herramientas de inteligencia artificial rastreen sus sitios web, no solo por temor a que sus datos se utilicen sin permiso, sino también para evitar que estas herramientas hagan que los costos de sus servidores se disparen. Si la tendencia actual se mantiene, es posible que Copilot Vision no funcione en algunos de los principales sitios de noticias de la web.

Microsoft dijo que está comprometido a “recibir comentarios” para disipar las preocupaciones.

“Antes de realizar un lanzamiento general, continuaremos… refinando nuestras medidas de seguridad y manteniendo la privacidad y la responsabilidad en el centro de todo lo que hacemos”, dijo Microsoft en la publicación del blog. “No existe un procesamiento específico del contenido de un sitio web que estás navegando (con Copilot), ni ningún entrenamiento de IA: Copilot Vision simplemente lee e interpreta las imágenes y el texto que ve en la página por primera vez junto contigo”.

Piensa más profundamente

Al igual que Vision, la nueva función Think Deeper de Copilot es un intento de hacer que el asistente de Microsoft sea más versátil.

Think Deeper le da a Copilot la capacidad de razonar a través de problemas más complejos, dijo Microsoft, gracias a “modelos de razonamiento” que toman más tiempo antes de responder con respuestas paso a paso.

¿Qué modelos de razonamiento? Microsoft fue un poco cauteloso cuando le pregunté y solo dijo que Think Deeper utiliza “los últimos modelos de OpenAI, perfeccionados por Microsoft”. Leyendo entre líneas, es seguro que son una versión personalizada del modelo o1 de OpenAI.

“Hemos diseñado Think Deeper para que sea útil para todo tipo de desafíos prácticos y cotidianos, como comparar dos opciones complejas una al lado de la otra”, escribió Microsoft en una publicación de blog. “Think Deeper puede ayudar con cualquier cosa, desde resolver problemas matemáticos difíciles hasta sopesar los costos de administrar proyectos domésticos”.

Microsoft habló bastante del potencial de Think Deeper en sus materiales de prensa. Pero suponiendo que el modelo subyacente sea o1, seguramente se quedará corto en algunas áreas. Tenemos curiosidad por ver qué tipo de mejoras hizo Microsoft en el modelo base y qué tan comunicativo es Think Deeper sobre sus limitaciones.

Think Deeper estará disponible a partir de hoy para un número limitado de usuarios de Copilot Labs en Australia, Canadá, Nueva Zelanda, EE. UU. y Reino Unido.

Voz de copiloto

Una nueva característica de Copilot generalmente disponible hoy en día es Copilot Voice (que no debe confundirse con Copilot Voice de GitHub). Voice, que se lanzará inicialmente en inglés en Nueva Zelanda, Canadá, Australia, el Reino Unido y los EE. UU., agrega cuatro voces sintéticas, lo que le permite hablar con Copilot y escuchar sus respuestas en voz alta.

Al igual que el modo de voz avanzado de OpenAI para ChatGPT, Copilot Voice puede captar su tono durante las conversaciones y responder en consecuencia, y puede intervenir en cualquier momento mientras Copilot Voice está respondiendo. Un portavoz de Microsoft me dijo que el modo utiliza “la última tecnología de voz con nuevos modelos que han sido ajustados para la aplicación Copilot”. ¿Qué tecnología? ¿Qué modelos? En cuanto a los detalles, la palabra es de mamá.

Una cosa a tener en cuenta: Copilot Voice tiene un límite de uso basado en el tiempo. Los suscriptores de Copilot Pro obtienen más minutos, pero el número es “variable”, me dijo Microsoft, dependiendo de la demanda.

Personalización

Copilot pronto se adaptará mejor a sus gustos y preferencias, dijo Microsoft, gracias a una nueva configuración de personalización.

Cuando la configuración está habilitada, Copilot se basará en sus interacciones e historial pasados, así como en sus interacciones con otras aplicaciones y servicios de Microsoft (Microsoft no dirá cuáles) para recomendar formas de usar Copilot.

“Esto le ayuda a ponerse en marcha”, escribió Microsoft en una entrada de blog, “ofreciendo tanto una guía práctica de las funciones útiles de Copilot como para iniciar conversaciones”.

La personalización en Copilot, que se puede desactivar en el menú de configuración de Copilot en Windows, no está prevista para el Reino Unido o la UE en el corto plazo. Pero los usuarios de otros lugares deberían empezar a ver la configuración esta tarde.

Microsoft y la UE han tenido una relación irritable en lo que respecta al lanzamiento de productos de inteligencia artificial de la compañía. En mayo, la UE advirtió a Microsoft que podría recibir una multa de hasta el 1% de su facturación anual mundial en virtud del régimen de gobernanza en línea del bloque, la Ley de Servicios Digitales, después de que la empresa no respondiera a una solicitud de información centrada en su IA generativa. herramientas.

Varios gigantes tecnológicos más allá de Microsoft, incluidos Apple y Meta, han adoptado un enfoque cauteloso al lanzar herramientas de inteligencia artificial en la UE, temerosos de entrar en conflicto con las leyes del bloque que rigen la privacidad de datos y la implementación de modelos.

“Para los usuarios del Espacio Económico Europeo (EEE) y un número limitado de otros países, estamos evaluando opciones antes de ofrecer este nivel de personalización de Copilot para esos usuarios”, dijo un portavoz de Microsoft a TechCrunch. “Algunas funciones no estarán disponibles en el EEE hasta una fecha posterior”.