Web Scraping

Uma breve introdução ao Web Scraping

Muitos dizem... Web Scraping, Web Crawler, Screen Scrapers, Spider, WebBots. Podemos

dizer que todos eles são a mesma coisa, quando o assunto é analisar, coletar e processar dados da

web. Pelo que se vê! Existem variações, mas o termo mais usado hoje em dia é Web

Scraping.

O que é Web Scraping?

Web Scraping ou traduzindo para o português ( Raspagem da Web). Nada mais é que coletar

dados da internet de forma automatizada. Obviamente, trata-se de um programa escrito em

alguma linguagem de programação tais como: Java, Python, C/C++/C#.

A raspagem da Web é um campo diversificado e mudanças acontecem o tempo todo. Seu

raspador, hoje funciona, amanhã pode não funcionar! A mudança nas estruturas das

páginas web, sites com restrição de acesso etc. Pode ser um empecilho para que seu

raspador funcione corretamente.

Quando os administradores dos sites descobrem que tem um bot acessando o site,

causando lentidão no servidor ou julgando ser um hacker tentando derrubar o site ou coisa

do tipo. Logo eles tratam de bloquear o acesso do bot. Porém, existe maneira de fazer o

raspador se passar por um navegador conhecido, tipo: Google Chrome, Mozilla Firefox, Opera,

Safari, usar servidor proxy mas não é infalível!

A grosso modo, o raspador da web tem como objetivo, fazer a coleta de dados através de

qualquer meio que não seja por um humano usando um browser é claro! Ou um programa

fazendo uso de uma API. Um Web Scraping é muito específico, vai depender dos dados

que você quer obter da internet, sendo que é possível um web scraping fazer uma

solicitação a um servidor web, analisar uma página web, extrair as informações desejadas,

armazenar os dados coletados na base de dados, ou em um arquivo qualquer como, TXT,

JSON, CSV, PDF, XLSX entre outros, preencher e enviar formulário, fazer login, gerenciar

cookies, downloads de arquivos, mídia, enviar e-mail etc. Antes de tudo, um Raspador da

web engloba técnicas, tecnologias de programação, análise de dados, segurança e outras

coisas mais.

Por que Web Scraping?

Uma boa parte dos usuários da internet acredita que a única maneira de navegar na web é

através de um navegador. Esses não tem ideia da gama de possibilidades. Se bem que os

navegadores são bons em mostrar um site com visual impactante de encher os olhos.

Por outro lado, os raspadores da web são ótimos em analisar, coletar e processar uma

quantidade de dados extraordinária . Eles vão direto ao que interessa! Enquanto em um

navegador, você visualiza página por página, carregando texto, fotos, vídeos, consumindo o

pacote de dados com todas essas mídias. Já os raspadores, podem atravessar milhares ou

até mesmo milhões de sites. Está aí, os bots do Google e entre outros, que não me deixa

mentir, é bem provável que a essas alturas o Googlebot tenha analisado esse texto. Um

Raspador consegue chegar onde qualquer site de busca consegue e mais além!

Por que eu vou gastar meu tempo projetando um bot, se eu posso usar APIs que diminuirão

o tempo de desenvolvimento?

É, realmente, as APIs são muito úteis elas agiliza o desenvolvimento e são bastante

difundidas nós dias atuais. Porém, não há APIs pra tudo! E é aí que os raspadores da web

entra em ação! Mesmo que exista uma API que possa disponibilizar os dados de que

precisa... Mas os custos das solicitações está além do que você pode pagar. Ou os dados

que API disponibiliza, não é exatamente o que você quer.

É melhor construir um bot! Do que gastar miríades de verdinhas com solicitações de APIs.

Um exemplo seria um raspador que acessa vários sites de e-commerce, o dono de um e-

commerce gostaria de saber sobre os preços dos produtos do e-commerce de seus

concorrentes. Mas ele não quer perder o tempo dele, acessando os sites através de um

navegador. E nem pagar alguém pra isso! Então, porque não projetar um bot, para raspar

esses sites de forma automática, em busca do menor preço de um smartphone específico.

Com as informações do concorrente em mãos, agora podemos tomar as melhores decisões

possível em relação aos concorrentes.