Files
scripts/scraper/monitor_extraction.sh

42 lines
2.0 KiB
Bash
Executable File

#!/bin/bash
# Monitor de Extração de Conhecimento CTF
# Author: Descomplicar® Crescimento Digital
# Link: https://descomplicar.pt
# Copyright: 2025 Descomplicar®
OUTPUT_DIR="/media/ealmeida/Dados/GDrive/Cloud/Clientes_360/CTF_Carstuff/KB/Scrapper/sites/knowledge_base_final"
LOG_FILE="extraction_production.log"
echo "═══════════════════════════════════════════════════════════"
echo " MONITOR DE EXTRAÇÃO - CTF KNOWLEDGE BASE"
echo "═══════════════════════════════════════════════════════════"
echo ""
while true; do
# Contar ficheiros extraídos
COUNT=$(ls -1 "$OUTPUT_DIR"/*.json 2>/dev/null | wc -l)
# Última linha do log
LAST_LINE=$(tail -1 "$LOG_FILE" 2>/dev/null)
# Timestamp
TIMESTAMP=$(date '+%H:%M:%S')
clear
echo "═══════════════════════════════════════════════════════════"
echo " MONITOR DE EXTRAÇÃO - CTF KNOWLEDGE BASE"
echo " [$TIMESTAMP] - Atualizado a cada 30 segundos"
echo "═══════════════════════════════════════════════════════════"
echo ""
echo "📊 Ficheiros Extraídos: $COUNT"
echo ""
echo "📈 Progresso:"
echo "$LAST_LINE"
echo ""
echo "═══════════════════════════════════════════════════════════"
echo "Pressiona Ctrl+C para parar o monitor"
echo "═══════════════════════════════════════════════════════════"
sleep 30
done