El nuevo mercado de Cloudflare permitirá que los sitios web cobren a los bots de IA por el scraping

Cloudflare anunció el lunes sus planes de lanzar un mercado el próximo año en el que los propietarios de sitios web podrán vender a los proveedores de modelos de IA el acceso para extraer el contenido de sus sitios. El mercado es el paso final del plan más amplio del director ejecutivo de Cloudflare, Matthew Prince, para dar a los editores un mayor control sobre cómo y cuándo los robots de IA extraen el contenido de sus sitios web.

“Si no compensas a los creadores de una forma u otra, entonces dejan de crear, y eso es lo que hay que resolver”, dijo Prince en una entrevista con TechCrunch.

Como medio para lograrlo, Cloudflare lanzó el lunes herramientas de observación gratuitas para los clientes, llamadas AI Audit. Los propietarios de sitios web obtendrán un panel para ver análisis sobre por qué, cuándo y con qué frecuencia los modelos de IA rastrean sus sitios en busca de información. Cloudflare también permitirá a los clientes bloquear los bots de IA de sus sitios con solo hacer clic en un botón. Los propietarios de sitios web pueden bloquear todos los raspadores web mediante AI Audit o permitir que ciertos raspadores web pasen si tienen ofertas o consideran que su raspado es beneficioso.

Una demostración de AI Audit compartida con TechCrunch mostró cómo los propietarios de sitios web pueden usar la herramienta para ver cómo los modelos de IA están extrayendo datos de sus sitios. La herramienta de Cloudflare puede ver de dónde proviene cada extractor que visita su sitio y ofrece ventanas selectivas para ver cuántas veces los extractores de OpenAI, Meta, Amazon y otros proveedores de modelos de IA están visitando su sitio.

Cloudflare está intentando abordar un problema que se cierne sobre la industria de la IA: ¿cómo sobrevivirán los editores más pequeños en la era de la IA si la gente va a ChatGPT en lugar de a su sitio web? Hoy en día, los proveedores de modelos de IA extraen de miles de sitios web pequeños la información que alimenta sus LLM. Si bien algunos editores más grandes han llegado a acuerdos con OpenAI para licenciar contenido, la mayoría de los sitios web no reciben nada, pero su contenido sigue siendo alimentado a los modelos de IA populares a diario. Eso podría romper los modelos comerciales de muchos sitios web, reduciendo el tráfico que necesitan desesperadamente.

A principios de este verano, la startup de búsquedas impulsada por IA Perplexity fue acusada de rastrear sitios web que indicaban deliberadamente que no querían ser rastreados mediante el Protocolo de Exclusión de Robots. Poco después, Cloudflare lanzó un botón para garantizar que los clientes pudieran bloquear todos los bots de IA con un solo clic.

“Eso surgió de la frustración que escuchábamos, de que la gente sentía que les estaban robando su contenido”, dijo Prince.

Algunos propietarios de sitios web le dijeron a Business Insider que los robots de IA estaban rastreando sus sitios web tanto que parecía que un ataque DDoS estaba paralizando sus servidores. Que raspen su sitio web no solo puede ser molesto, sino que literalmente puede aumentar su factura de la nube y afectar su servicio.

Pero, ¿qué sucede si desea bloquear los bots de Perplexity, pero no los de OpenAI? Prince le dice a TechCrunch que los clientes de Cloudflare están pidiendo herramientas que les permitan elegir qué modelos de IA tienen acceso a sus sitios. Las nuevas herramientas de Cloudflare que se lanzan hoy permitirán a los clientes bloquear algunos rastreadores de IA, mientras que permiten el paso de otros.

Según Prince, incluso los grandes editores que han cerrado acuerdos de licencia con OpenAI (como TIME, Condé Nast y The Atlantic) tienen relativamente poca información sobre cuánto está extrayendo ChatGPT de sus sitios web. Muchos de ellos tienen que aceptar lo que les dice OpenAI, pero la respuesta determina si los editores están consiguiendo un buen acuerdo de licencia o no.

Pero el mercado de Cloudflare, que se lanzará en algún momento del próximo año, tiene como objetivo brindarles a los pequeños editores la posibilidad de cerrar acuerdos también con proveedores de modelos de IA.

“Démosles a todos ustedes la posibilidad de hacer lo que solo Reddit, Quora y los grandes editores del mundo han hecho antes”, dijo Prince. “¿Qué pasaría si les permitiéramos establecer, en la práctica, un precio por acceder a su contenido y llevarlo a estos sistemas para su ingesta?”

Si bien es una idea audaz, Cloudflare no comparte una idea completamente concreta de cómo será su mercado. Prince dice que los sitios web podrían cobrar a los proveedores de modelos de IA en función de las tarifas a las que extraen datos de sitios web individuales, pero no está claro cuánto pagarán realmente. Además, dice que los sitios web podrían cobrar un precio monetario por ser extraidos, o simplemente pedir a los laboratorios de IA que les den crédito. Los detalles no están claros.

Aunque puede que a las empresas de IA no les entusiasme en un principio pagar por el contenido que actualmente obtienen de forma gratuita, el director ejecutivo de Cloudflare afirma que cree que, en última instancia, esto es bueno para el ecosistema de IA. Prince afirma que el panorama actual, en el que algunas empresas de IA nunca pagan por el contenido, no es sostenible.