scripts/crawl4all

crawl4all - Async Web Crawler

Crawler assincrono baseado em crawl4ai com profundidade configuravel.

Setup

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Uso

# Editar config.py com URL alvo
python r1.py

Configuracao

Editar config.py:

• BASE_URL - URL alvo
• MAX_DEPTH - Profundidade maxima (default: 2)
• MAX_CONCURRENCY - Workers paralelos (default: 10)
• OUTPUT_DIR - Pasta de output (default: "output")