岗位要求：
1.对爬虫、图形验证码识别等技术有较深入研究
2. 计算机或相关专业专科以上学历，3年以上爬虫工作经验
3. 掌握网络爬虫开发原理，对互联网各种类型数据交互模式数据，知道如何处理需登录网站、动态页面、封账号IP等各种情况下的数据采集方法
4. 熟悉大规模网页爬取，深度网页爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技术平台和主要框架，精通Java开发，能熟练应用spring，MyBatis, MQ等主流技术框架；
4. 对数据库有充分了解，熟悉Oracle、MySQL、NonSQL等技术
5. 熟悉分布式系统开发和存储技术，如Redis、Memcache、Ehcache等
6. 学习能力强，对新技术研究狂热，有很强独立研究能力
岗位职责：
1.参与爬虫系统的设计和开发，负责爬虫系统的框架设计
2.负责网页信息抽取、数据清洗等研发和优化工作
3.对互联网海量业务进行整合、分析挖掘
4.与技术团队进行沟通，负责爬虫数据与业务系统的整合对接
5.能主导部门新技术研究、开发

职位类别： 其他

举报