日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 今天

后端開發(fā)工程師大數(shù)據(jù)方向(設(shè)計院)

8000-11000元
  • 濟南歷下區(qū)
  • 3-5年
  • 大專
  • 全職
  • 招2人

職位描述

HadoopSparkKafka數(shù)據(jù)架構(gòu)數(shù)據(jù)建模數(shù)據(jù)脫敏SqlAPI
大數(shù)據(jù)后端開發(fā)工程師 一、崗位職責(zé) 1.數(shù)據(jù)架構(gòu)搭建:設(shè)計與維護企業(yè)級大數(shù)據(jù)平臺架構(gòu),負(fù)責(zé)數(shù)據(jù)采集、存儲、計算、分析的全鏈路開發(fā)(如日志采集、業(yè)務(wù)數(shù)據(jù)同步、數(shù)據(jù)倉庫建設(shè))。 2.核心組件開發(fā):基于 Hadoop/Spark/Flink 等框架開發(fā)數(shù)據(jù)處理模塊,實現(xiàn)海量數(shù)據(jù)的清洗、轉(zhuǎn)換、聚合。 3.數(shù)據(jù)服務(wù)構(gòu)建:開發(fā)數(shù)據(jù) API 接口,為前端應(yīng)用、BI 系統(tǒng)、AI 模型提供穩(wěn)定的數(shù)據(jù)支撐。 4.平臺優(yōu)化與運維:監(jiān)控大數(shù)據(jù)集群運行狀態(tài)(CPU / 內(nèi)存 / 磁盤使用情況),處理數(shù)據(jù)傾斜、任務(wù)超時等問題,定期優(yōu)化集群配置(如調(diào)整并行度、資源分配),確保平臺 7×24 小時穩(wěn)定運行。 任職要求 二、核心技術(shù)能力 1.熟練使用 Hadoop 生態(tài)(HDFS、YARN、Hive)、Spark/Spark Streaming 或 Flink,能寫數(shù)據(jù)處理腳本,了解分布式計算原理。 2.熟悉 Kafka 等消息隊列,能設(shè)計數(shù)據(jù)實時同步流程(。 3.掌握 HBase/ClickHouse 等分布式數(shù)據(jù)庫(存海量結(jié)構(gòu)化數(shù)據(jù))、Elasticsearch(做數(shù)據(jù)檢索),懂列式存儲與行式存儲的區(qū)別。 4.精通 SQL 與 Spark SQL,能寫復(fù)雜數(shù)據(jù)關(guān)聯(lián)查詢,并優(yōu)化查詢性能。 三、開發(fā)與工程能力 1.熟練使用 Java/Scala 編程,能基于大數(shù)據(jù)框架開發(fā)自定義算子,用 Maven/Gradle 管理項目依賴。 2.了解數(shù)據(jù)倉庫建模(如星型模型、雪花模型),能根據(jù)業(yè)務(wù)需求設(shè)計數(shù)據(jù)分層(原始數(shù)據(jù)層→清洗層→應(yīng)用層)。 3.熟悉 Kubernetes、Docker,能在云上部署大數(shù)據(jù)集群。 4.了解 Superset/Tableau 等可視化工具的數(shù)據(jù)對接,或與 AI 團隊協(xié)作提供模型訓(xùn)練數(shù)據(jù)。 5.懂?dāng)?shù)據(jù)脫敏、權(quán)限控制,了解數(shù)據(jù)合規(guī)要求。 6.熟悉Flink CDC 實時同步、湖倉一體架構(gòu)。

工作地點

濟南歷下區(qū)山東省水利勘測設(shè)計院有限公司

職位發(fā)布者

張女士/hr

剛剛活躍
立即溝通
公司Logo濟南潮辰信息科技有限公司
濟南潮辰信息科技有限公司成立于2016年,總部設(shè)在濟南,我們是一家致力于銀行業(yè)傳統(tǒng)管理系統(tǒng)解決方案的服務(wù)商,是在金融、通信行業(yè)建設(shè)方面擁有豐富服務(wù)經(jīng)驗的高新技術(shù)軟件企業(yè)。我們憑借公司全流程的咨詢、人性化的服務(wù)、豐富的行業(yè)解決方案經(jīng)驗和跨界組合的團隊使我們贏得了眾多的客戶,我們的客戶遍及銀行、通信、保險等眾多領(lǐng)域,通過我們真誠、專業(yè)及規(guī)范的綜合服務(wù),贏得了客戶的廣泛贊譽。創(chuàng)新是企業(yè)發(fā)展的源泉,人才是企業(yè)創(chuàng)新的根本。尊重人才,重視人才一直是公司秉承的基本管理理念。來自國內(nèi)外知名企業(yè)的管理和技術(shù)精英、匯聚國內(nèi)重點高校的年輕才俊,使得公司擁有一支富有戰(zhàn)斗力的優(yōu)秀團隊。開放、合作、共贏是公司秉承的基本理念。多年來,公司與眾多國內(nèi)知名廠商建立良好的合作關(guān)系。我們秉承以創(chuàng)新的解決方案和專業(yè)化的服務(wù),創(chuàng)造、傳播、傳遞客戶價值,力爭成為客戶終身合作伙伴的服務(wù)宗旨,我們得到了眾多客戶的首肯和厚愛,給了我們長期服務(wù)于客戶的機會。目前,我們正全力投入在銀行業(yè)傳統(tǒng)資源管理領(lǐng)域、移動安全管理領(lǐng)域和通信大數(shù)據(jù)挖掘領(lǐng)域深度研究,以此,不僅將公司形象又提升一個全新的高度,更可以幫助客戶全面提升競爭力。
公司主頁