init: scripts diversos (crawlers, conversores, scrapers)

kb-processor/ESCOPO-DO-PROJETO.md

@@ -0,0 +1,167 @@
+# Escopo do Projeto
+
+## 1. Visão Geral
+Desenvolver um sistema integrado para gestão, processamento e automação de conhecimento para a Descomplicar - Agência de Aceleração Digital, incluindo capacidades de processamento automático de conteúdo, chat inteligente e automações diversas.
+
+## 2. Objetivos Principais
+- Centralizar e estruturar todo o conhecimento da empresa
+- Automatizar processamento e categorização de conteúdo
+- Implementar sistema de chat com consciência global
+- Desenvolver capacidades de automação para marketing e gestão
+- Criar pipeline de produção de conteúdo automatizado
+
+## 3. Arquitetura do Sistema
+
+### 3.1 Backend
+- Python como linguagem principal
+- FastAPI para APIs REST
+- PostgreSQL para dados estruturados
+- Base de dados vetorial (Weaviate) para embeddings
+- Sistema de filas para processamento assíncrono
+
+### 3.2 Processamento de Conteúdo
+- Extração automática de:
+  - Vídeos do YouTube (transcrições)
+  - Páginas web (scraping)
+  - PDFs e documentos
+  - Pastas locais
+- Processamento com IA:
+  - Modelo Deepseek via OpenRouter
+  - Embeddings via OpenAI
+  - RAG (Retrieve-Augment-Generate)
+
+### 3.3 Estrutura de Armazenamento
+Organização hierárquica por categorias:
+- Estratégia Digital
+- Marketing Digital
+- Desenvolvimento
+- Design
+- E-commerce
+- Ferramentas
+- Gestão de Projetos
+- Cliente
+
+## 4. Funcionalidades Principais
+
+### 4.1 Processamento de Conteúdo
+- Upload via interface web
+- Processamento automático baseado no tipo de conteúdo
+- Geração automática de:
+  - Tags
+  - FAQs
+  - Resumos
+  - Metadados
+- Conversão para português de Portugal
+- Armazenamento estruturado em MD e JSON
+
+### 4.2 Sistema de Chat Inteligente
+- Interface web para interação
+- Integração com múltiplos canais (site, WhatsApp)
+- Capacidades:
+  - Consciência global do conhecimento da empresa
+  - Respostas contextuais
+  - Escalonamento para humanos
+  - Automações via agentes
+
+### 4.3 Automações
+- Produção de conteúdo
+- Gestão de redes sociais
+- Criação de páginas WordPress
+- Distribuição de leads
+- Atendimento ao cliente
+
+## 5. Integrações
+
+### 5.1 APIs e Serviços
+- OpenRouter (Deepseek)
+- OpenAI (Embeddings)
+- Perfex CRM
+- WordPress
+- Chatwoot/Similar para gestão de chat
+
+### 5.2 Bases de Dados
+- PostgreSQL: Dados estruturados e metadados
+- Base Vetorial: Embeddings e busca semântica
+- Sistema de arquivos: Documentos MD e JSON
+
+## 6. Interface do Utilizador
+- Dashboard principal
+- Interface de upload e processamento
+- Visualização de conteúdo processado
+- Sistema de chat
+- Painéis de controle para automações
+
+## 7. Fases de Implementação
+
+### Fase 1: Base de Conhecimento
+- Implementar sistema de processamento de conteúdo
+- Criar estrutura de armazenamento
+- Desenvolver pipeline de processamento
+- Implementar categorização automática
+
+### Fase 2: Sistema de Chat
+- Desenvolver interface de chat
+- Implementar RAG
+- Criar sistema de escalonamento
+- Integrar com canais externos
+
+### Fase 3: Automações
+- Mapear processos
+- Identificar oportunidades de automação
+- Desenvolver agentes específicos
+- Implementar automações prioritárias
+
+### Fase 4: Expansão e Otimização
+- Adicionar funcionalidades avançadas
+- Otimizar processos
+- Expandir capacidades de automação
+- Implementar melhorias baseadas no feedback
+
+## 8. Requisitos Técnicos
+
+### 8.1 Performance
+- Processamento assíncrono para tarefas longas
+- Cache para consultas frequentes
+- Otimização de embeddings
+- Balanceamento de carga
+
+### 8.2 Segurança
+- Autenticação e autorização
+- Encriptação de dados sensíveis
+- Backups automáticos
+- Logs de atividade
+
+### 8.3 Escalabilidade
+- Arquitetura modular
+- Sistema distribuído
+- Cache distribuído
+- Balanceamento de carga
+
+## 9. Monitorização e Manutenção
+- Sistema de logs detalhado
+- Monitorização de performance
+- Alertas automáticos
+- Backups regulares
+- Atualizações de conteúdo
+
+## 10. Métricas de Sucesso
+- Tempo de processamento de conteúdo
+- Precisão das categorizações
+- Qualidade das respostas do chat
+- Eficiência das automações
+- Satisfação dos utilizadores
+
+## 11. Documentação
+- Documentação técnica
+- Guias de utilização
+- APIs e integrações
+- Procedimentos de manutenção
+
+## Responsáveis
+- Responsável Principal: Emanuel Almeida
+- Entidade: Descomplicar - Agência de Aceleração Digital
+
+## Cronograma
+- Desenvolvimento: ASAP
+- Metodologia: Desenvolvimento contínuo e iterativo
+- Prioridade: Implementação imediata