ealmeida
e7adb65d40
Normalizacao OKF dos .md: type/title/description/timestamp/layer + descriptions factuais (rich abstracts). Apenas .md tracked; corpos intactos. Parte da aplicacao OKF a /Dados/Dev (28-06-2026). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
32 lines
666 B
Markdown
32 lines
666 B
Markdown
---
|
|
type: Reference
|
|
title: Readme
|
|
description: >-
|
|
Crawler assincrono baseado em crawl4ai com profundidade configuravel
|
|
timestamp: 2026-02-07T02:51:49.121100+00:00
|
|
layer: wiki
|
|
---
|
|
# crawl4all - Async Web Crawler
|
|
|
|
Crawler assincrono baseado em crawl4ai com profundidade configuravel.
|
|
|
|
## Setup
|
|
```bash
|
|
python3 -m venv venv
|
|
source venv/bin/activate
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
## Uso
|
|
```bash
|
|
# Editar config.py com URL alvo
|
|
python r1.py
|
|
```
|
|
|
|
## Configuracao
|
|
Editar `config.py`:
|
|
- `BASE_URL` - URL alvo
|
|
- `MAX_DEPTH` - Profundidade maxima (default: 2)
|
|
- `MAX_CONCURRENCY` - Workers paralelos (default: 10)
|
|
- `OUTPUT_DIR` - Pasta de output (default: "output")
|