Raspador Web Python avançado
Crie um web scraper avançado em Python. Aprenda a extrair dados de páginas, lidar com bloqueios de agente de usuário, gerenciar limites de taxa e estruturar resultados.
Visão geral
Web scraping envolve buscar páginas da web programaticamente e analisar sua estrutura HTML para extrair dados específicos. Em Python, isso é tradicionalmente realizado usando `requests` e `BeautifulSoup`.
Scrapers avançados requerem configuração robusta. A simples solicitação de páginas pode resultar em bloqueios ou proibições de IP, exigindo personalização de cabeçalhos, como User-Agents personalizados, e introdução de intervalos de atraso aleatórios.
Este exemplo interativo imita a coleta de dados simulados com validação. Ele demonstra como localizar contêineres aninhados, lidar com tempos limite de rede e estruturar dados de saída em listas limpas.
Saída de código e execução
Uma rotina de web scraping com cabeçalhos personalizados, gerenciamento de tempo limite e estruturas de analisador HTML.
import requests
from bs4 import BeautifulSoup
import time
def scrape_quotes():
# Mock URL designed for scraping practice
url = "https://quotes.toscrape.com/"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
print(f"Initiating request to: {url}...")
try:
# Request with timeout protection
response = requests.get(url, headers=headers, timeout=5)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")
quotes = soup.find_all("div", class_="quote", limit=3)
results = []
for q in quotes:
text = q.find("span", class_="text").text
author = q.find("small", class_="author").text
tags = [t.text for t in q.find_all("a", class_="tag")]
results.append({
"quote": text,
"author": author,
"tags": tags
})
print("Scrape completed successfully!\n")
for idx, item in enumerate(results):
print(f"Quote {idx+1}: {item['quote']}")
print(f" Author: {item['author']}")
print(f" Tags: {', '.join(item['tags'])}\n")
except requests.exceptions.RequestException as e:
print(f"Network error occurred: {e}")
scrape_quotes()Initiating request to: https://quotes.toscrape.com/...
Scrape completed successfully!
Quote 1: “The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”
Author: Albert Einstein
Tags: change, deep-thoughts, thinking
Quote 2: “It is our choices, Harry, that show what we truly are, far more than our abilities.”
Author: J.K. Rowling
Tags: abilities, choices
Quote 3: “There are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.”
Author: Albert Einstein
Tags: inspirational, life, live, miracleImplementação passo a passo
- Monitoramento e rastreamento de preços em catálogos de compras
- Análise de sentimento coletando dados de avaliações de fóruns
- Criação de conjuntos de dados de pesquisa acadêmica
Perguntas frequentes
O que é robots.txt?
Um arquivo de texto colocado na raiz de um domínio que indica quais caminhos os robôs de pesquisa e rastreadores podem ou não rastrear. Você deve sempre lê-lo antes de escrever um raspador.
Como posso raspar páginas renderizadas dinamicamente via JavaScript?
As solicitações padrão buscam apenas HTML estático. Para analisar páginas com muito Javascript, você deve usar ferramentas de automação do navegador, como Playwright ou Selenium.