init: scripts diversos (crawlers, conversores, scrapers)

scraper/monitor_extraction.sh

@@ -0,0 +1,41 @@
+#!/bin/bash
+# Monitor de Extração de Conhecimento CTF
+# Author: Descomplicar® Crescimento Digital
+# Link: https://descomplicar.pt
+# Copyright: 2025 Descomplicar®
+
+OUTPUT_DIR="/media/ealmeida/Dados/GDrive/Cloud/Clientes_360/CTF_Carstuff/KB/Scrapper/sites/knowledge_base_final"
+LOG_FILE="extraction_production.log"
+
+echo "═══════════════════════════════════════════════════════════"
+echo "  MONITOR DE EXTRAÇÃO - CTF KNOWLEDGE BASE"
+echo "═══════════════════════════════════════════════════════════"
+echo ""
+
+while true; do
+    # Contar ficheiros extraídos
+    COUNT=$(ls -1 "$OUTPUT_DIR"/*.json 2>/dev/null | wc -l)
+
+    # Última linha do log
+    LAST_LINE=$(tail -1 "$LOG_FILE" 2>/dev/null)
+
+    # Timestamp
+    TIMESTAMP=$(date '+%H:%M:%S')
+
+    clear
+    echo "═══════════════════════════════════════════════════════════"
+    echo "  MONITOR DE EXTRAÇÃO - CTF KNOWLEDGE BASE"
+    echo "  [$TIMESTAMP] - Atualizado a cada 30 segundos"
+    echo "═══════════════════════════════════════════════════════════"
+    echo ""
+    echo "📊 Ficheiros Extraídos: $COUNT"
+    echo ""
+    echo "📈 Progresso:"
+    echo "$LAST_LINE"
+    echo ""
+    echo "═══════════════════════════════════════════════════════════"
+    echo "Pressiona Ctrl+C para parar o monitor"
+    echo "═══════════════════════════════════════════════════════════"
+
+    sleep 30
+done