職稱: 數據整合專員

地點:現場（香港/澳門）
職位類型：合同
部門:IS&T運作與支援-資料庫運作

職位概覽：

我們正在尋找一位熟練的數據集成專員，負責實現並維護跨多個數據庫和系統的強大數據集成解決方案。理想候選人應具備Apache Kafka、ETL/ELT管道、監控工具（Prometheus、Grafana、ElasticSearch）以及支援BI工具（例如Power BI、Tableau）的實際經驗。對Python腳本的基本理解以及對Jupyter Notebooks進行數據分析的熟悉將是一個加分。

此角色可能需要為關鍵數據集成系統提供臨時支援，確保高可用性、快速事故響應和最小停機時間。您將確保無縫數據流、優化性能並启用實時分析以支持業務決策。

主要責任:

· 為異構數據庫（SQL、NoSQL、雲數據倉庫）設計和實現數據集成解決方案。

· 建立並維護實時數據管道使用Apache Kafka（Kafka Connect，Kafka Streams）。

· 為ETL/ELT工作流程進行性能、可擴展性和可靠性優化。

· 監控數據管道和基礎設施使用Prometheus、Grafana和ElasticSearch。

· 提供支援，包括事故響應和排錯，以恢復24/7業務。

· 與BI團隊合作，確保數據可用性和準確性，以支持報告和分析。

· 推測和解決數據集成問題（延遲、模式不匹配）的實時解決方案。

· 使用雲平台（Azure、AliCloud）進行數據存儲和處理。

· 執行數據治理和安全最佳實踐。

· 文檔化數據流、整合過程和系統架構。

· 利用Python腳本和Jupyter Notebook進行臨時數據分析和自動化。

所需技能與資格：

· 3年以上數據整合、ETL開發或數據工程經驗。

· 強大的Apache Kafka（設置、配置、生產者/消費者）經驗。

· 熟練使用SQL和NoSQL數據庫（PostgreSQL、MySQL、MongoDB、MSSQL、Clickhouse等）。

· 手動使用ETL工具（Airflow、SSIS）或自定義腳本（Python）。

· 監控與可見性工具(Prometheus、Grafana、ElasticSearch)的經驗。

· 能夠為關鍵生產系統提供支援。

· 熟悉BI工具（Power BI、Tableau、Looker）和數據建模以進行分析。

· 熟悉雲數據服務（Azure Data Factory、Pipeline、OneLake）。

· 整體數據倉儲概念（星型模式、多維建模）。

· 強大的問題解決和故障排除能力在壓力下。

理想的資格條件:

· 熟悉Jupyter Notebooks進行探索性數據分析。

· 熟悉CDC（Change Data Capture）工具（例如Debezium、Attunity Replicate）。

· 熟悉流處理框架（例如Flink、Spark Streaming）。

· 在Kafka、雲平台或數據工程領域的認證是理想的。