Um crawler é um programa que percorre páginas web seguindo seus links para descobri-las e lê-las, como o Googlebot ou os bots das empresas de IA. Um scraper vai a uma página específica e extrai dados concretos, como preços ou e-mails. O crawler explora; o scraper copia o que lhe interessa.
Uma pergunta do app. Escolha uma resposta.
E-mail: "Me cobraram duas vezes este mês. Preciso do reembolso hoje." Jev, com números de exemplo: Área: Cobrança 86 % · Suporte 10 % · Vendas 4 % É urgente?: 91 % sim
Como um LLM monta a resposta ao mesmo e-mail?
Prevê o próximo token: distribui probabilidades por todo o vocabulário, escolhe um e repete. São probabilidades de tokens. O Jev te dá sobre as suas opções.
Se escreve porcentagens, também gera token a token, como texto. As do Jev são a resposta dele, sobre as suas opções.
Lê, sim: pode dizer a área numa frase, ou até em dados estruturados. Mesmo assim gera token a token.
Imagine que você quer comparar os preços dos concorrentes. O crawler é quem encontra as páginas: entra na home, segue cada link de "produtos" e monta a lista. O scraper é quem, em cada uma, tira o nome e o preço e coloca numa planilha. Muitas ferramentas fazem as duas coisas, por isso se confundem.
O Google funciona com um crawler: o Googlebot percorre a web para que seu site possa aparecer nas buscas. Se o dado está disponível por API, pedir por lá é mais limpo e estável do que fazer scraping da página.
Se você olhar os registros do seu site verá visitas de bots com nome. Duas famílias conhecidas: GPTBot (OpenAI) e ClaudeBot (Anthropic) juntam conteúdo que pode servir para treinar modelos de linguagem. Outros, como OAI-SearchBot e Claude-SearchBot, servem para sua página aparecer em respostas com busca.
Um terceiro tipo não percorre nada: ChatGPT-User e Claude-User recuperam páginas para responder a pedidos de usuários. É o que faz, por exemplo, um RAG com busca na web.
O robots.txt é um arquivo na raiz do seu site (seusite.com/robots.txt) onde você pede a cada bot, pelo nome, quais partes ele não deve percorrer. Dá para deixar entrar um bot de busca e fechar a porta para um de treinamento. Mas é um pedido, não um cadeado: nem todos os bots respeitam. E não serve para tirar uma página do Google nem para proteger algo privado: para isso existe senha.
Se o scraper é você, antes veja os termos de uso do site, o robots.txt e se há dados pessoais no meio. O que é legal depende do país, do site e do que você faz com os dados, e às vezes muda. Isto não é aconselhamento jurídico: diante de uma dúvida de negócio, consulte um advogado.