24 lines
485 B
Markdown
24 lines
485 B
Markdown
# crawl4all - Async Web Crawler
|
|
|
|
Crawler assincrono baseado em crawl4ai com profundidade configuravel.
|
|
|
|
## Setup
|
|
```bash
|
|
python3 -m venv venv
|
|
source venv/bin/activate
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
## Uso
|
|
```bash
|
|
# Editar config.py com URL alvo
|
|
python r1.py
|
|
```
|
|
|
|
## Configuracao
|
|
Editar `config.py`:
|
|
- `BASE_URL` - URL alvo
|
|
- `MAX_DEPTH` - Profundidade maxima (default: 2)
|
|
- `MAX_CONCURRENCY` - Workers paralelos (default: 10)
|
|
- `OUTPUT_DIR` - Pasta de output (default: "output")
|