IT數據工程師（Azure數據）

主要責任

平台開發與最佳化：

• 設計、實現和優化一個基於雲的可擴展數據平台Microsoft Azure（包括DataBricks）從多個企業源獲取、轉換和存儲數據。

• 自動化並增強ETL/ELT工作流程，以強制執行數據品質、提高一致性並減少手動流程。

• 開發並維護接近實時的數據管道，以支持分析、預測建模和戰略業務舉措。

項目與數據生命週期管理：

• 與外部供應商合作，參與平台增強功能的完整項目週期，從設計和開發到測試、部署和文檔記錄。

• 為新的雲數據產品和技術進行概念驗證評估。

• 與數據分析師合作，進行數據準備、清潔和建立優化的數據模型，以在 中進行視覺化Power BI。

品質保證與卓越營運：

• 通過嚴格的測試（管道驗證、模式檢查、性能基准測試）驗證數據工作流程，確保解決方案符合業務和技術規格。

• 創建自動化腳本和運作簡報，以簡化部署、監控和排錯。

• 記錄數據架構、部署流程和運作手冊，確保有效的知識轉移和長期系統可維護性。

資格與經驗

所需:

• 在建立、優化和運作基於雲的大數據平台方面有豐富的經驗，尤其是基於Microsoft Azure。

• 設計和自動化生產級ETL/ELT管道的強大專業知識。

• 與...的實際經驗Databricks並為分析建模數據。

• 與數據分析師合作，準備數據並為視覺化工具如建立基礎，Power BI。

• 深刻理解數據工程的最佳實踐，包括數據品質、測試和文檔記錄。

極具價值的領域知識：

• 從關鍵業務領域如：

  • 企業資源規劃系統 (例如，SAP，Oracle)

  • 客戶關係管理系統 (例如，Salesforce)

  • 行銷平台

  • 資產管理系統

  • 建設或專案管理系統