# crawl4all - Async Web Crawler

Crawler assincrono baseado em crawl4ai com profundidade configuravel.

## Setup
```bash
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
```

## Uso
```bash
# Editar config.py com URL alvo
python r1.py
```

## Configuracao
Editar `config.py`:
- `BASE_URL` - URL alvo
- `MAX_DEPTH` - Profundidade maxima (default: 2)
- `MAX_CONCURRENCY` - Workers paralelos (default: 10)
- `OUTPUT_DIR` - Pasta de output (default: "output")