ELT結構的爬蟲系統

Overview

一套高效能、可擴展的網頁爬蟲系統，採用 ELT (Extract, Load, Transform) 架構設計。使用 Node.js 與 Golang 開發，利用 Pub/Sub 訊息模式高效處理資料流，並結合 Kubernetes 自動擴充功能以管理大規模資料爬取任務。確保了大規模運作下的穩健資料獲取與處理能力。