Un crawler es un programa que recorre páginas web siguiendo sus links para descubrirlas y leerlas, como Googlebot o los bots de las empresas de IA. Un scraper va a una página puntual y extrae datos concretos, como precios o emails. El crawler explora; el scraper copia lo que le interesa.
Una pregunta de la app. Elige una respuesta.
Mail: «Me cobraron dos veces este mes. Necesito la devolución hoy.» Jev, con números de ejemplo: Área: Facturación 86 % · Soporte 10 % · Ventas 4 % ¿Es urgente?: 91 % sí
¿Cómo arma su respuesta al mismo mail un LLM?
Predice el próximo token: reparte probabilidades entre todo su vocabulario, elige uno y repite. Son probabilidades de tokens. Jev te las da sobre tus opciones.
Si escribe porcentajes, también los genera token a token, como texto. Los de Jev son su respuesta, sobre tus opciones.
Sí los lee: puede decirte el área en una frase, o incluso en datos estructurados. Igual lo genera token a token.
Imagina que quieres comparar los precios de tus competidores. Un crawler es quien encuentra las páginas: entra a la home, sigue cada link de «productos» y arma la lista. El scraper es quien, en cada una, saca el nombre y el precio y los pone en una planilla. Muchas herramientas hacen las dos cosas, por eso se confunden.
Google funciona con un crawler: Googlebot recorre la web para que tu sitio pueda aparecer en las búsquedas. Si hay un dato disponible por API, pedirlo ahí es más limpio y estable que hacer scraping de la página.
Si miras los registros de tu sitio verás visitas de bots con nombre. Dos familias conocidas: GPTBot (OpenAI) y ClaudeBot (Anthropic) juntan contenido que puede servir para entrenar modelos de lenguaje. Otros, como OAI-SearchBot y Claude-SearchBot, sirven para que tu página aparezca en las respuestas con búsqueda.
Un tercer tipo no recorre nada: ChatGPT-User y Claude-User recuperan páginas para responder pedidos de usuarios. Es lo que hace, por ejemplo, un RAG con búsqueda en la web.
robots.txt es un archivo en la raíz de tu sitio (tusitio.com/robots.txt) donde pides a cada bot, por su nombre, qué partes no debe recorrer. Puedes dejar entrar a un bot de búsqueda y cerrarle la puerta a uno de entrenamiento. Pero es un pedido, no un candado: no todos los bots lo respetan. Y no sirve para sacar una página de Google ni para proteger algo privado: para eso hay contraseña.
Si el scraper eres tú, mira antes los términos de uso del sitio, su robots.txt y si hay datos personales de por medio. Qué es legal depende del país, del sitio y de lo que hagas con los datos, y a veces cambia. Esto no es asesoramiento legal: ante una duda de negocio, consulta a un abogado.