Navegando por Autor "Thums, Bruno Brill"

Agora exibindo 1 - 1 de 1
  • Imagem em miniatura
    Item
    Acesso Aberto
    Aplicando técnicas de web scraping e web crawling para comparar preços de produtos de E-commerces
    (2023-06) Thums, Bruno Brill; Ahlert, Edson Moacir; http://lattes.cnpq.br/2547339011790564; Pretto, Fabrício; Dertzbacher, Juliano
    Em meio a inúmeros e-commerces, com produtos vendidos por numerosos vendedores, além da própria plataforma, fica difícil para o consumidor encontrar o melhor preço para o produto que está buscando, exigindo uma árdua pesquisa em vários sites, por meio de uma infinda quantidade de cliques. Este estudo teve como objetivo desenvolver um comparador de preços de produtos de e-commerces, utilizando técnicas de web crawling e web scraping, incorporando a funcionalidade de cashback para impulsionar a economia do consumidor. O foco foi na navegação entre páginas, extração, tratamento, armazenamento e disponibilização das informações. O framework Scrapy foi utilizado para a aplicação destas técnicas. O Scrapy faz requisições aos quatro principais e-commerces definidos pelo autor, resgatando os dados de cada um e armazenando-os localmente em um arquivo CSV. Em seguida, é feita uma requisição ao site comparemania.com.br para resgatar as três melhores ofertas de cashback e as respectivas plataformas, para cada e-commerce. O cálculo do cashback sobre o valor final do produto de cada e-commerce é realizado, e as informações são apresentadas em uma planilha, incluindo informações como, principalmente: o e-commerce anunciante, o vendedor, o valor final, o cashback (de três plataformas) e o valor final com cashback. A obtenção dos dados para cada e-commerce leva 15 segundos, sendo disparadas até 4 requisições no máximo. Os resultados obtidos evidenciaram a importância de aplicar corretamente os fundamentos em cada etapa do projeto. A elaboração e teste das spiders foram cruciais para o aperfeiçoamento do projeto, permitindo ajustes, correções e análises detalhadas da lógica do código. Cada e-commerce apresentou suas peculiaridades, exigindo uma análise cuidadosa do HTML, seleção precisa dos elementos e atributos e desenvolvimento de um código XPath consistente e resistente a modificações. Após um extenso processo de testes, as spiders foram consolidadas, realizando com precisão as requisições, extração de informações e funcionando eficientemente.