当前位置：首页 > 培训职业 > 正文

大数据工程师需要学什么

当下大数据行业有两类角色：

· 大数据工程

· 大数据分析

大数据工程角色需要考虑数据的收集、计算(或是处理)和保存；大数据分析角色则是执行数据的高级计算。

大数据学习，需要参考的因素：

· 专业知识背景

· 行业经验

· 计算机专业知识，比如操作系统，编程语言，计算机运行原理等

· 数学知识，这里指高等数学，比如微积分、概率统计、线性代数和离散数学等。

对于大数据工程师而言，至少要掌握以下技能：

· 一门编程语言：

建议：学习Java或Scala

· 计算处理框架：

建议：学习Flink、Spark Streaming或Kafka Streams中的一个

· 分布式存储框架：

建议：学习HDFS

· 资源调度框架：

建议：学习YARN

· 分布式协调框架

建议：学习Zookeeper——太多大数据框架都需要它了，比如Kafka, Storm, HBase等

· 数据库：

建议：学习Redis，如果C语言功底好的，最好熟读源码，反正源码也不多

· 列式存储数据库：

建议：学习HBASE，这是目前应用最广泛的开源列式存储

· 消息队列：

建议：学习Kafka(几乎所有大数据招聘简历都要求会Kafka），还能触类旁通进一步理解基于备份日志方式的数据处理范型。加米谷大数据培训。