Web Scraping

Uma breve introdução ao Web Scraping

Muitos dizem... Web Scraping, Web Crawler, Screen Scrapers, Spider, WebBots. Podemos dizer que todos eles são a mesma coisa, quando o assunto é analisar, coletar e processar dados. Pelo que se vê! Existem variações, mas o termo mais usado hoje em dia é Web Scraping, por se tratar de coleta de dados da web.

O que é Web Scraping?

Web Scraping ou traduzindo para o português ( Raspagem da Web). Nada mais é que coletar dados da internet de forma automatizada. Obviamente, trata-se de um programa escrito em alguma linguagem de programação tais como: Java, Python, C/C++/C#, entre outras linguagens.

A raspagem da Web é um campo diversificado e mudanças acontecem o tempo todo. Seu raspador, hoje funciona, amanhã pode não funcionar! A mudança nas estruturas das páginas web, sites com restrição de acesso etc. Pode ser um empecilho para que seu raspador funcione corretamente. Quando os administradores dos sites descobrem que tem um bot acessando o site, causando lentidão no servidor ou julgando ser um hacker tentando derrubar o site ou coisa do tipo. Logo eles tratam de bloquear o acesso do bot. Porém, existe maneira de fazer o raspador se passar por um navegador conhecido, tipo: Google Chrome, Mozilla Firefox, Opera, Safari, ou algum usar servidor proxy mas não é infalível!

A grosso modo, o raspador da web tem como objetivo, fazer a coleta de dados através de qualquer meio que não seja por um humano usando um browser é claro! Ou um programa fazendo uso de uma API. Um Web Scraping é muito específico, vai depender dos dados que você quer obter da internet, sendo que é possível um web scraping fazer uma solicitação a um servidor web, analisar uma página web, extrair as informações desejadas, armazenar os dados coletados na base de dados, ou em um arquivo qualquer como, TXT, JSON, CSV, PDF, XLSX entre outros, preencher e enviar formulário, fazer login, gerenciar cookies, downloads de arquivos, mídia, enviar e-mail etc. Antes de tudo, um Raspador da web engloba técnicas, tecnologias de programação, análise de dados, segurança e outras coisas mais.

Por que Web Scraping?

Uma boa parte dos usuários da internet acredita que a única maneira de navegar na web é através de um navegador. Esses não tem ideia da gama de possibilidades. Se bem que os navegadores são bons em mostrar um site com visual impactante de encher os olhos.

Por outro lado, os raspadores da web são ótimos em analisar, coletar e processar uma quantidade de dados extraordinária . Eles vão direto ao que interessa! Enquanto em um navegador, você visualiza página por página, carregando texto, fotos, vídeos, consumindo o pacote de dados com todas essas mídias. Já os raspadores, podem atravessar milhares ou até mesmo milhões de sites. Está aí, os bots do Google e entre outros, que não me deixa mentir, é bem provável que a essas alturas o Googlebot tenha analisado esse texto. Um Raspador consegue chegar onde qualquer site de busca consegue e mais além! Por que eu vou gastar meu tempo projetando um bot, se eu posso usar APIs que diminuirão o tempo de desenvolvimento?

É, realmente, as APIs são muito úteis elas agiliza o desenvolvimento e são bastante difundidas nós dias atuais. Porém, não há APIs pra tudo! E é aí que os raspadores da web entra em ação! Mesmo que exista uma API que possa disponibilizar os dados de que precisa... Mas os custos das solicitações está além do que você pode pagar. Ou os dados que API disponibiliza, não é exatamente o que você quer.

É melhor construir um bot! Do que gastar miríades de verdinhas com solicitações de APIs. Um exemplo seria um raspador que acessa vários sites de e-commerce, o dono de um e commerce gostaria de saber sobre os preços dos produtos do e-commerce de seus concorrentes. Mas ele não quer perder o tempo dele, acessando os sites através de um navegador. E nem pagar alguém pra isso! Então, porque não projetar um bot, para raspar esses sites de forma automática, em busca do menor preço de um smartphone específico. Com as informações do concorrente em mãos, agora podemos tomar as melhores decisões possível em relação aos concorrentes.