数据工程师和数据科学家 真的是一山不容二虎?

2016-08-30 15:37:00 作者:Jack Vaughan 分类 : 比特网

  数据科学家这个职位现在已经有了比较完善的定义,但在此之前,就已经出现了另一个职位,数据工程师,接下来我们将探讨这两个职位间的区别与联系,并分析企业在何种情况下需要其中一个,或两个都需要。

  尽管对于分析与数据科学家来说,还有许多待解决的问题,但这并不影响一个新兴职位的出现:数据工程师,并且数据工程的数量正在逐年上升。

  数据工程师职位目前已广泛出现在各类招聘上,虽然有时容易和数据科学家的职位相混淆,但其似乎已经成为企业在大数据领域的核心职位之一。

  IT求职网站Dice.com的总裁Bob Melk表示,从名字上来看,这两个角色很容易混淆,但数据科学家和数据工程师实际上是有很大区别的

  “数据科学家所具备的技能更专注于数学方法和数据分析,而数据工程的重点是数据挖掘,云计算和编程技能,”他说。

  数据工程师致力于开源大数据的管理。一位数据库行业资深观察者说道,在他最近的一次硅谷之旅中,他发现,在这个作为大数据温床的地方,数据工程师这个术语已经被广泛使用。

  他在最近的博客中指出,数据工程师这个职位的产生,有部分原因是由于人们对数据科学家的能力预期过高。

  而现实是,数据科学家的工作描述所涉及的技能太过于宽泛。搭建数据处理集群、程序编码,学习最新的开源数据API。这些都被归结为数据科学家必须掌握的技能之一,但事实上,它们应该是数据工程师的职责范围。

  Dice's Melk认为Apache Hadoop,分布式计算和NoSQL数据库,是数据工程师必须掌握的几个重要技能。对于数据科学家而言,其掌握的技能应包括数据统计,统计建模,预测建模和机器学习等。

  数据工程师的队伍正在逐渐壮大。Dice.上半年发布了891个数据工程师职位招聘信息。也许仅靠这个数字并不足以说明什么,但令人印象深刻的是,这个数字比2015年4的数据增长了88%之多,足以证明市场对数据工程师的迫切需求。

  从数据科学谈起

  咨询公司Athena IT Solutions创始人Rick Sherman表示,一些早期的数据科学家们往往需要大包大揽,他们不得不建立亲自去构建Hadoop集群,同时创建预测分析模型。现在,在一些企业中,数据工程师开始为数据科学家分担这一部分任务。

  Sherman和其他人的看法一样,都认为数据工程师实际上能够解放数据科学家,让他们真正能做他们的本职工作,高级数据统计和试图发现新商业机会的数据分析,这些才是他们该做的。

  “数据科学部门的规模越大,数据工程师从数据科学家那里承担过来的工作就会越多,”他说。这是非常重要的,他补充道,因为公司在数据科学领域投入了大笔资金。

  数据工程师所需的技能

  从一些招聘信息的工作描述可以看出,“数据工程师”主要覆盖下面的这些技能:

  一家处于行业领先地位的金融数据服务公司正在寻找一名高级数据工程师,要求其在云基础设施,Scala,Apache Spark和Python等领域有着丰富的经验。

  在线旅游服务公司正在寻找一位数据工程师,要求其具有与领域专家协调工作的能力,特别是与机器学习团队高效合作的能力。

  一家国有银行正在寻找数据工程师,要求他们可以编写和运行各种开源框架。他们还要求数据工程师精通Akka,Cassandra, Accumulo,HBase, Hadoop/HDFS, Avro,MongoDB and Mesos,也许还包括一些尚未存在的数据处理框架。

  但总的来说,数据工程师并没有得到与数据科学家同等的薪资待遇。例如,据招聘网站Glassdoo统计,全国数据工程师的平均工资大概为95526美元,而全国数据科学家的平均薪水是113436美元。

  当然,也有例外情况,有的数据工程师薪酬可能会突破100000美元。尽管Dice 宣称并没有足够的样本数据来评估数据工程师薪水,但Melk指出了掌握类似技能人员的年薪水平,比如Cassandra(147811美元),Pig(132850美元)和MapReduce编程(131563美元)。这表明数据工程师的薪资可以很容易超过100000美元这个水平。

  交付数据

  数据工程师的任务是交付数据,他们的角色任务是准备或定义数据结构。在某种程度上,数据工程师应承担传统的提取、转换和加载以及数据集成工作,这些工作主要是新大数据处理框架中的数据加工过程。

  大型国防合约商Raytheon Co公司构建了一个Hadoop 数据湖泊,这需要有人来负责,数据工程师比数据科学家更适合这个任务,Kathy Sonderer,该公司首席数据科学专家在今年San Diego举办的Enterprise Data World大会上说道。

  “他们的工作是整合数据,并将其交付给数据科学家,”她说,“这是一个处于数据集成领域的角色。”

  Sonderer表示,团队经理没有必要专门去外面寻找这样的人才。她强调,合理利用现有团队成员,以及他们掌握的技能,就可以形成一个新的数据科学团队。

  重叠和变形

  数据工程师和数据科学家的工作现在包含一些混合和重叠的技能。这是在任何新领域或新趋势上都存在的现象。

  这个行业中,职位名称变更的事屡见不鲜。其实真正的工作变化并不是太明显,但有时企业招聘的职位描述会向热门职位名称靠拢。

  我们来看看软件工程师的所需技能,在许多情况下,与程序员的技能需求并没有太多差别。软件工程师的职位会出现在一些企业中,仅仅是因为它的表达方式显得更庄严,更专业一点。

  关于软件架构师这个职位,当经理想给自身软件工程师涨工资,又不知道以什么理由时,只需要给他安一个软件架构师的职位就可以了。这个名称比软件工程师来说,更显得这个人不可或缺。

  数据工程师真正的作用和潜在寿命将在未来几个月得到证明。但是现在,其职业发展似乎处于上升阶段。毫无疑问的是,数据工程师的出现,表明数据管理领域一直都在发生变化。

最近更新
科普

科普图集
从《中国互联网+指数报告(2018)》看数字经济

从《中国互联网+指数报告(2018)》看数字经济>>详情

“互联网+”的这些新变化,你知道吗?

“互联网+”的这些新变化,你知道吗?>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。