大数据工程师要掌握哪些技术?
1、 掌握至少一种数据库开发技术：Oracle、Teradata、DB2、Mysql等，灵活运用SQL实现海量数据ETL加工处理。
2、 熟悉Linux系统常规shell处理命令，灵活运用shell做的文本处理和系统操作。
3、 有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，重点考察Hdfs、Mapreduce、Hive、Hbase。
4、 熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察Java、Python、Perl。
5、 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理。
6、 掌握实时流计算技术，有storm开发经验者优先。
大数据工程师需要掌握哪些知识？
众所周知的，大数据是一门很高端的新兴技术，学习的门槛与就业门槛都是存在的，要不然怎么会有那么高的薪资待遇呢!很多对于大数据技术感兴趣的朋友，都纷纷留言问笔者，学大数据要学代码吗，好学吗，这样的问题。南邵计算机学习就详细讲讲，学大数据要学代码吗，好学吗，这个话题，来解答大家心中的疑问。 1：首先跟大家讲清楚，学大数据，是要学代码的哦!学大数据需要编程语言的基础，不然往后的深层技术根本无法学习，因为大数据的开发基于一些常用的高级语言，比如java和.Net。这样一来，代码知识是大数据工程师必须掌握的知识，这是无法避免的哦! 2：一名合格的大数据工程师，不仅需要掌握代码知识，还需要熟悉Mongodb集群、高性能、高可用技术方案;熟悉常用的Java开发框架及消息中间件;具备GIS理论知识，、熟悉Linux或Unix操作系统，具备perl/php/python/shell一种或多种脚本语言编程能力。 3：除此之外，大数据工程师还需要熟悉Hadoop生态圈(包括常用的Hive、HBase、Spark、Zookeeper、Storm);熟悉Oracle、SQLServer、MySQL至少其中一种以上数据库;熟悉搜索引擎中的常用算法，熟悉ElasticSearch或Solr的程序结构等等。