職務概覽
我們正在尋找一位有技能且注重細節的工程師加入我們的動態團隊。在這個角色中，您將負責開發、維護和優化實時系統，這些系統能夠實現數據收集、處理、分析、可視化和警報。您將與數據工程師、軟體開發人員和數據分析師密切合作，確保數據獲取基礎設施的順利運作。理想候選人應具備強大的網頁爬取、數據提取和系統監控背景，以及解決複雜技術挑戰的熱情。
職責
1. 為收集來自線上來源的數據設計、開發和維護網路爬蟲和資料提取管道。
2. 執行並管理監控解決方案，確保系統可見性並實現預防性事故響應。
3. 為高可用性、可擴展性和效率設計和部署基礎設施，以支持數據密集型工作流程。
4. 建立並維護全面的技術文檔，包括系統規格、運作程序和故障排除指南。
5. 跟隨網絡爬蟲、數據提取和分散系統的最新趨勢和技术。
6. 自動化重複任務並通過腳本和工具開發提高系統可靠性。
要求
· 計算機科學、資訊科技或其他相關領域的學士學位。
· 網頁爬取、數據提取和爬蟲開發的經驗，使用Scrapy、BeautifulSoup、Selenium或其他類似框架。
· 強大的Python編程技能。
· 熟悉網頁技術（HTML、CSS、JavaScript、AJAX）和RESTful API。
· 熟悉網路協議、IP管理以及代理服務。
· 強大的問題解決能力，能夠獨立工作或作為團隊的一部分。
· 精湛的溝通技巧和能夠清楚地記錄技術過程的能力。
理想的資格條件
· 分布式系統、雲平台（例如AWS、Azure、GCP）和容器化技術（例如Docker、Kubernetes）的經驗。
· 監控工具（例如Prometheus、Grafana）的經驗。
·了解數據庫系統（SQL、NoSQL）和數據存儲解決方案。
· 熟悉數據隱私規則和網路爬蟲的道德考慮。
· 熟悉版本控制系統（例如Git）和CI/CD管道。
工作地點:香港科學園
福利
· 競爭力的薪資
· 年假和團體醫療保險
· 加入一家快速成長的FinTech公司，擁有尖端的AI解決方案和充滿支持的團隊文化
· 無限的辦公室零食和飲料
· 如果適用，協助申請IANG簽證
其他:歡迎應届毕业生。
