日日噜夜夜草|一级黄色录像高清版|调教白富美加勒比久久|亚洲欧洲精品婷婷|日韩综合无码色色|日韩精品一区妖精视频|亚洲无码中文字幕hd|99亚洲思思丝袜|手机看片国产精品大胆亚洲|成人无码视频一区二区在线播放

更新于 7月3日

高級爬蟲工程師

3-4.5萬
  • 廣州天河區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招2人

職位描述

PythonGO反爬蟲爬蟲開發(fā)數(shù)據(jù)采集數(shù)據(jù)清洗分布式爬蟲ScrapyrequestsDjango電子商務
崗位職責: 1. 負責海外電商平臺數(shù)據(jù)抓取處理(采集、清洗、入庫全流程) 2. 參與爬蟲系統(tǒng)開發(fā)與優(yōu)化,搭建高可用數(shù)據(jù)采集體系 3. 協(xié)調(diào)產(chǎn)品/運營團隊推進項目落地,把控開發(fā)進度與質(zhì)量 4. 編寫規(guī)范技術(shù)文檔,設計可復用開發(fā)模塊 5. 快速適應業(yè)務需求變化,承擔專項技術(shù)攻堅 6.設計智能代理池+動態(tài)IP切換策略,解決目標網(wǎng)站IP封鎖問題,爬蟲穩(wěn)定性提升至99%。 7.基于Scrapy-Redis開發(fā)境外電商促銷信息爬蟲框架,支持Amazon、eBayShopify等20+電商平臺,日均抓取數(shù)據(jù)500萬+條。 任職要求: 1. 計算機相關(guān)專業(yè) 2. 精通Python,熟悉Scrapy框架及反爬破解策略 3. 具備MySQL/Redis實戰(zhàn)經(jīng)驗,熟悉Linux開發(fā)環(huán)境,Scrapy-Redis+ Kafka + Spark Streaming 4. 有IP代理/驗證碼破解等反反爬實戰(zhàn)能力者優(yōu)先 5. 邏輯清晰+抗壓強+自驅(qū)力強,具備技術(shù)文檔撰寫能力 6.實現(xiàn)Cloudflare反爬繞過,支持自動更新Cookie+UserAgent,優(yōu)化數(shù)據(jù)流,入庫延遲<1分鐘。

工作地點

廣州天河區(qū)天河軟件園鳳凰園(鳳凰園區(qū))201-203室

職位發(fā)布者

譚女士/人事專員

三日內(nèi)活躍
立即溝通
廣州全芃信息技術(shù)有限公司
全芃是?家全球?qū)з彿展?,我們以技術(shù)和數(shù)據(jù)為驅(qū)動,以服務??為?標,采?科技的?段,努?成為全球市場最好的導購服務商,幫助消費者購物省錢、省?、省時間,持續(xù)改善購物體驗。全芃更是?家科技公司,互聯(lián)?和信息技術(shù)給我們帶來了機會,讓我們能夠服務于全球消費者,我們要充分利?科學和技術(shù)來幫助消費者解決問題,提升購物體驗。
公司主頁