2018年大数据专业就业前景
大数据人才稀缺
据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台linkedin发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。
根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在bat企业招聘的职位里,60%以上都在招大数据人才。
大数据专业就业三大方向
大数据主要的三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中,各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
大数据专业人才就业薪资
1基础人才:数据分析师
北京数据分析平均工资: 10630/月,取自 15526 份样本,较 2016 年,增长 9.4%。
数据分析师岗位职责
业务类别:技术
业务方向:数据分析
工作职责:
1. 根据公司产品和业务需求,利用数据挖掘等工具对多种数据源进行诊断分析,建设征信分析模型并优化,为公司征信运营决策、产品设计等方面提供数据支持;
2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等,通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测;
3. 参与数据挖掘模型的构建、维护、部署和评估;
4. 整理编写商业数据分析报告,及时发现和分析其中变化和问题,为业务发展提供决策支持;
5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控;
6. 参与编写项目相关文档。
教育背景:
学历:本科其它:
经验要求:工作经验:3-5年
任职要求:
1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历;有扎实的数据统计和数据挖掘专业知识;
2. 熟练使用数理统计、数据分析、数据挖掘工具软件(sas、r、python等的一种或多种),能熟练使用sql读取数据;
3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法;
4. 3年以上数据分析工作经验,征信从业背景人员优先;
5. 具有金融行业项目经验的相关经验者优先考虑;
6. 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。
能力素养:
良好的分析、归纳和总结能力,善于分析、解决实际问题; 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。
2大数据开发工程师
北京大数据开发平均工资: 30230/月。
大数据开发工程师/专家 岗位指责(引自 滴滴出行):
职位描述:
1、构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;
2、服务各种业务需求,服务日益增长的业务和数据量;
3、深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题,参与到开源社区建设和代码贡献;
岗位要求:
1、计算机或相关专业本科以上学历(3年以上工作经验);
2、精通c++/java/scala程序开发(至少一种),熟悉linux/unix开发环境;
3、熟悉常用开源分布式系统,精通hadoop/hive/spark/storm/flink/hbase之一源代码;
4、有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
5、具有良好的沟通协作能力,具有较强的分享精神;
6、对kudu、kylin、impala、elasticsearch,github等系统有深入使用和底层研究者加分;
3hadoop开发工程师
北京hadoop平均工资: 20130/月,取自 1734 份样本。
hadoop开发工程师岗位职责(引自新浪网):
职位描述:
1.参与优化改进新浪集团数据平台基础服务,参与日传输量超过百tb的数据传输体系优化,日处理量超过pb级别的数据处理平台改进,多维实时查询分析系统的构建优化;
2.分布式机器学习算法在数据平台的构建与优化(包括常见的lr、gbdt、fm、lda、word2vec及dnn等);
3.深入源码改进各种开源大数据项目(包括hadoop、spark、kafka、hbase等)。
任职要求:
1.计算机或相关专业本科以上学历;
2.熟悉linux环境下开发,熟练掌握c++/java/scala等一种以上编程语言;
3.熟悉hadoop生态系统相关项目,精通以下项目之一的源码(hadoop/spark/kafka/hbase/flume/elasticsearch/druid/kylin);
4.具备良好的学习能力、分析能力和解决问题的能力。
4数据挖掘工程师
北京数据挖掘平均工资: 21740/月,取自 3449 份样本,较 2016 年,增长 20.3%;
数据挖掘工程师招聘要求(引自蚂蚁金服集团技术部):
工作职责:
1、在分布式系统上进行数据计算、挖掘、和实现算法;
2、数据仓库模型设计和建立;
3、数据梳理流程的实现和维护;
4、物流场景下的地址文本、空间属性研究和分析。
任职资格:
1、本科以上学历,有扎实的统计学,数据挖掘,机器学习,自然语言识别理论基础,一种或几种以上的实际使用经验。
2、熟悉聚类、分类、回归等机器学习算法和实现,对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。
3、深入理解map-reduce模型,对hadoop、hive、spark、storm等大规模数据存储于运算平台有实践经验。
4、有扎实的计算机理论基础,至少熟悉一种编程语言,java优先。
5、有三年以上互联网公司或者海量数据处理工作经验,大数据挖掘、分析、建模经验
5算法工程师
北京算法工程师平均工资: 22640/月,取自 10176 份样本。
算法工程师 招聘要求(引自美团点评数据平台部):
职位描述:
互联网公司背景优先
a、广告算法
岗位职责:
1.负责点击率预估等主要广告算法的技术选型;
2.负责核心算法的开发;
3.负责广告大数据处理流程的建设及相关工具的研发;
4.负责广告技术研究项目的推进与管理;
职位需求:
1.计算机或相关专业本科以上学历,3年以上相关工作经验;
2.熟练掌握一门开发语言;
3.有机器学习、数据挖掘相关知识;
4.在广告、搜索、推荐等相关领域之一有技术研究工作经验;
5.有较强的沟通协调能力;
b、推荐算法
职位描述:
1. 参与各个产品线的个性化推荐系统的研发;
2. 分析用户行为数据,并设计合理的推荐算法模型及策略,并优化推荐排序;
3. 通过对用户行为数据的挖掘,对用户进行建模,精准刻画用户各种属性;
职位要求:
1. 全日制本科及以上学历,计算机相关专业;
2. 熟练掌握各类个性化推荐算法,并有开发个性化推荐系统的实际项目经验;熟练掌握各类回归及排序算法,能够利用相关算法进行推荐排序的优化;
3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术,能够根据实际问题选择合适的模型和算法并进行相应的开发;
4. 有较强的工程架构和开发能力,能够实现支撑千万级用户和tb级用户行为数据的推荐系统或算法;
5. 掌握python、matlab等脚本语言,熟悉各类数据挖掘工具(如weka、mahout),能够快速建立模型并进行验证;
c、算法工程师
岗位职责:
1、开发和优化用户行为数据挖掘,文本分类和语义理解,社交网络分析,网页搜索,推荐系统等领域的特定算法
2、能够很快学习和利用state-of-the-art的算法解决实际产品问题,提升产品用户体验
任职资格:
1、有一定的研究、实验的能力,优秀的分析问题和解决问题的能力
2、理解自然语言处理、机器学习、网页搜索,推荐系统,用户数据分析和建模的基本概念和常用方法,有相关领域的实际项目研发或者实习经历者优先。
3、熟悉c++, java或python,熟悉linux或类unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。
4、对大数据处理平台和工具有一定经验者优先, 包括: hadoop, hive, pig, spark 等
最后一个问题,哪些公司需求大数据人才?
答:所有的公司。大到世界500强,bat这样的公司,小到创业公司,他们都需求数据人才。
马云爸爸说“我们已从it时代进入了dt时代,未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统,并进行数据集成,数据将会让机器更“聪明”。dt时代,数据将成为主要的能源,离开了数据,任何组织的创新都基本上是空壳。”
数据,未来的一切。