feat(bizin): scraper final com bypass Cloudflare + monitor de auto-reinício

- bizin_scraper_final.py: scraper híbrido curl_cffi + undetected-chromedriver
  com suporte a distritos e categorias, escrita segura (fsync) e enriquecimento externo
- monitor_scraper.sh: watchdog que reinicia o processo automaticamente em crash
- IMPLEMENTADO.md + README.md: actualizados para reflectir estado Abril 2026
- GEMINI.md: instruções técnicas de automação
- test_curl.py, test_curl_clean.py, test_playwright.py: scripts de teste/diagnóstico

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-04-28 17:16:48 +01:00
parent 865a9459a6
commit 8e0dbbeca0
8 changed files with 337 additions and 220 deletions
+16
View File
@@ -0,0 +1,16 @@
from curl_cffi import requests
def test_curl_clean():
url = "https://pt.bizin.eu/por/"
print(f"Acedendo a {url} com curl_cffi (CLEAN)...")
resp = requests.get(url, impersonate="chrome120", timeout=20)
print(f"Status: {resp.status_code}")
if "Just a moment..." in resp.text or "Um momento…" in resp.text:
print("Bloqueado.")
else:
print("SUCESSO!")
print(f"Título: {resp.text[:500]}")
if __name__ == "__main__":
test_curl_clean()