大数据工程师主要做什么的
很多人只听说过大数据或者对大数据只了解点皮毛,比如对大数据发展前景、应用场景、具体工作内容这些专业性更强的内容并不知道,下面给大家全面介绍一下大数据开发工程师是做什么的这方面的内容。
什么是大数据?
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
IBM提出大数据的五大特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
大数据工程师主要做什么的?
大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘,并对这些数据加以利用、管理、维护和服务的相关技术工作。
具体的工作内容取决于你工作在数据流的哪一个环节。从数据上游到数据下游,大致可以分为:数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化。
数据采集:
业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。
数据清洗:
一些字段可能会有异常取值,即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。
一些日志的字段信息可能是多余的,下游不需要使用到这些字段做分析,同时也为了节省存储开销,需要删除这些多余的字段信息。
数据存储:
清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。
数据分析统计:
数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
数据可视化:
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。
大数据工程师就业前景如何?
首先,从近两年大数据方向研究生的就业情况来看,大数据领域的岗位还是比较多的,尤其是大数据开发岗位,目前正逐渐从大数据平台开发向大数据应用开发领域覆盖,这也是大数据开始全面落地应用的必然结果。从招聘情况来看,大数据开发岗位的数量明显比较多,而且不仅需要研发型人才,也需要应用型人才,所以本科生的就业机会也比较多。
当前大数据技术正处在落地应用的初期,所以此时人才招聘会更倾向于研发型人才,而且拥有研究生学历也更容易获得大厂的就业机会,所以对于当前大数据相关专业的大学生来说,如果想获得更强的岗位竞争力和更多的就业渠道,应该考虑读一下研究生。
大数据工程师工作岗位职责是什么?
1、负责爬虫架构设计和研发;
2、负责爬虫核心搜索策略、算法、数据聚类、重组的设计与开发;
3、负责网络爬虫或数据采集软件的优化改进以及采集规则编写;
4、解决封账号、封IP等采集难点攻克;
5、确保所负责的站点按周期采集及时,全面。
尊重原创文章, 禁止转载,违者必究!本文地址:https://www.ixywy.com/dsjpx/203.html