数据工程师

岗位职责： 负责 数据爬取，包括静态网页、动态网页（JS 渲染）、API 接口数据等； 处理 反爬策略，如 User-Agent 伪装、代理池、验证码绕过，cookie加密，正文参数加密等，提高爬取成功率； 解析网页数据，使用 XPath、CSS 选择器、正则表达式等提取信息； 存储爬取数据到 MySQL、MongoDB、Redis、Selectdb等数据库； 编写 数据清洗、去重 相关代码，提高数据质量； 监控爬虫运行状态，优化爬取策略，保证数据抓取的稳定性；

岗位要求： 计算机相关专业，本科及以上学历（或能力突出者）； 熟练掌握 Python，熟悉 requests、beautifulsoup、selenium、scrapy 等爬虫工具； 熟练掌握 SQL，窗口函数，数据统计与分析； 熟悉 HTML、JavaScript 基础，能够解析网页结构； 掌握 XPath、CSS 选择器、正则表达式，能准确提取网页数据； 了解 反爬机制，会使用 代理池、Cookies、User-Agent 伪装 等方式绕过常见封锁； 掌握 多线程、多进程、异步爬取 方法，提高爬虫效率； 熟悉 MySQL、MongoDB、Redis 等数据库存储方案； 具备良好的编码规范和调试能力，能编写稳定可靠的爬虫脚本； 有海外网站抓取经验和区块链行业经验； 掌握基础数据结构与算法，具备良好的代码优化和问题解决能力； 加分项： 有JAVA后端开发经验 有量化交易经验优先 有app抓取经验