Python

Python 爬蟲工程師招聘要求
崗位職責

負責設計與開發高效、穩定的網路爬蟲系統，採集多種類型的網站數據。

能夠實現複雜的網頁解析，包括需要登錄、驗證碼、反爬策略的網站。

熟練使用瀏覽器模擬（如 Selenium、Playwright、Puppeteer 等）進行使用者操作模擬，完成資料取得。

優化爬蟲框架，處理分散式採集、資料清潔、去重、儲存等全流程。

參與支付相關系統的介面數據抓取、風控數據採集等實際業務專案。

能夠根據業務需求，快速開發並維護數據採集腳本，保證穩定性與數據準確率。

任職要求

計算機相關專業，本科及以上學歷（能力突出者可放寬）。

3年以上 Python 爬虫开发经验，具备扎实的编程能力与良好的代码习惯。

熟練掌握以下技能：

Python 爬蟲常用庫：Requests、BeautifulSoup、lxml、Scrapy 等；

瀏覽器自動化：Selenium、Playwright、Pyppeteer 等；

反爬策略应对：代理池、User-Agent 轮换、Cookie/session 维持、验证码识别等。

有 支付相关业务经验，如第三方支付平台接口调用、交易数据采集、风控策略支持等优先。

熟悉 多线程/异步编程，能优化爬取效率；有 分布式爬虫（如Scrapy-Redis、Kafka、RabbitMQ） 经验更佳。

熟悉 MySQL / MongoDB / Redis 等數據庫，能完成資料儲存與查詢最佳化。

具備一定的 Linux 使用經驗，能編寫 Shell/Python 腳本，熟悉 Docker 優先。

有較強的問題分析能力，能獨立解決技術難點，保證採集任務長期穩定運作。

對新技術保持敏銳度，具備良好的溝通能力和團隊合作精神。

加分項

有 支付行业从业经验（如对接PayPal、UPI 等 API）。

熟悉 风控系统、反欺诈模型 所需的数据采集逻辑。

有 大规模数据采集与处理经验，能设计高并发、分布式爬虫架构。

在 GitHub / 技術社區有開源專案或技術文章。