崗位職責:
1. 負責使用集團及公司自研的大數(shù)據(jù)平臺,對內部各業(yè)務系統(tǒng)數(shù)據(jù)進行采集、清洗、
轉換和加載(ETL/ELT)工作,確保數(shù)據(jù)準確、及時地進入數(shù)據(jù)平臺。
2. 參與數(shù)據(jù)倉庫/數(shù)據(jù)湖的設計、建模及分層建設,構建規(guī)范的數(shù)據(jù)模型,提供穩(wěn)定高
效的數(shù)據(jù)基礎層。
3. 開發(fā)和優(yōu)化數(shù)據(jù)處理流程及任務,包括離線批處理和可能的實時流處理,提升數(shù)據(jù)
處理效率和資源利用率。
4. 負責數(shù)據(jù)質量的監(jiān)控和管理,建立數(shù)據(jù)質量校驗規(guī)則,保障數(shù)據(jù)資產的可靠性。
5. 與業(yè)務團隊、數(shù)據(jù)分析師和應用開發(fā)工程師緊密協(xié)作,理解數(shù)據(jù)需求,提供高質量
的數(shù)據(jù)支持,助力內部運營分析、報表可視化及 AI/ML 應用開發(fā)。
6. 編寫相關技術設計文檔、開發(fā)規(guī)范和操作手冊,負責數(shù)據(jù)任務的日常監(jiān)控和維護。
任職要求:
我們正在尋找具備以下核心技能的數(shù)據(jù)開發(fā)小伙伴:
1. 3 年相關工作經驗
2. 精通 SQL,具備復雜 SQL 編寫、性能調優(yōu)以及常用數(shù)據(jù)庫(如 MySQL,
PostgreSQL)的使用經驗。
3. 熟練掌握至少一種主流編程語言(如 Python, Java, Scala),并有實際的數(shù)據(jù)處理
或腳本開發(fā)經驗。
4. 扎實的數(shù)據(jù)倉庫理論基礎,熟悉維度建模等方法,理解數(shù)據(jù)倉庫各層的作用和設計
原則。
5. 熟悉大數(shù)據(jù)生態(tài)圈的常用技術或工具,如 Hadoop、Spark、Hive、Doris 等,并在
過往項目中實踐應用。
6. 具備良好的數(shù)據(jù)敏感度和分析能力,能夠從數(shù)據(jù)中發(fā)現(xiàn)問題。
7. 具備良好的溝通協(xié)作能力和解決問題的能力,對數(shù)據(jù)工作充滿熱情。
加分項:
如果您還具備以下經驗或技能,將優(yōu)先考慮:
1. 有使用過工作流調度工具(如 Apache Airflow, Oozie)進行數(shù)據(jù)任務編排和管理的
經驗。
2. 有實時數(shù)據(jù)處理或流計算經驗(如 Flink, Spark Streaming, Kafka Streams)。
3. 有主導或參與過 AI 問數(shù)相關項目的經驗。
4. 有數(shù)據(jù)治理、數(shù)據(jù)安全或元數(shù)據(jù)管理相關的實踐經驗。
5. 有為 AI/ML 項目提供數(shù)據(jù)準備或特征工程支持的經驗。
6. 熟悉 BI 可視化工具(如 Fine BI, Tableau, Power BI, Metabase, Superset)或有
數(shù)據(jù) API 開發(fā)經驗。