大數(shù)據(jù)工程師需要具備哪些能力

對于計劃要學習大數(shù)據(jù)技術(shù)的學習者來說，可能大部分的人對大數(shù)據(jù)崗位技能要求并不了解，他們只知道大數(shù)據(jù)發(fā)展前景好、就業(yè)薪水高外，其他就一概不知了，下面就給大家介紹一下

那么大數(shù)據(jù)工程師需要具備哪些能力？

一、技術(shù)能力要求：

1、 掌握至少一種數(shù)據(jù)庫開發(fā)技術(shù)：Oracle、Teradata、DB2、Mysql等，靈活運用SQL實現(xiàn)海量數(shù)據(jù)ETL加工處理。

2、 熟悉Linux系統(tǒng)常規(guī)shell處理命令，靈活運用shell做的文本處理和系統(tǒng)操作。

3、 有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實踐經(jīng)驗著優(yōu)先，重點考察Hdfs、Mapreduce、Hive、Hbase。

4、 熟練掌握一門或多門編程語言，并有大型項目建設經(jīng)驗者優(yōu)先，重點考察Java、Python、Perl

5、 熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理。

6、 掌握實時流計算技術(shù)，有storm開發(fā)經(jīng)驗者優(yōu)先。

二、綜合素質(zhì)能力要求：

1、大數(shù)據(jù)工程師并不要求你有多高的學歷，多好的履歷，完全看個人能力，是不是跟該公司的需求

相匹配，即使是高中生，也可以受到博士生般的尊重和優(yōu)厚待遇。阿里巴巴集團研究員薛某強調(diào)，學歷

并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會更適合這個

工作。如果說你在某一行業(yè)領(lǐng)域有很深的研究，例如汽車、金融等，那么將對你的工作有很大的幫助。

2、要求大數(shù)據(jù)工程師有強大的邏輯分析能力。一個公司的大數(shù)據(jù)會有很多，方方面面的數(shù)據(jù)都有可能被拿到手，但是哪些是關(guān)系到公司發(fā)展的關(guān)鍵性數(shù)據(jù)，哪些是無關(guān)緊要的，需要大數(shù)據(jù)工程師有一定的分析能力，并不斷對此優(yōu)化。

3、大數(shù)據(jù)工程師的工作跟其他技術(shù)部門和非技術(shù)部門都不是脫節(jié)的，需要跟同事、領(lǐng)導進行不間斷的溝通，來調(diào)整自己的工作。假如大數(shù)據(jù)工程師溝通能力太差，工作將開展地非常不順。

4、大數(shù)據(jù)工程師需要很強的學習能力。人只要具備很強的學習能力，才能在很短的時間內(nèi)來適應自己的角色，也可以勝任很多個職位。這樣來說的大數(shù)據(jù)工程師無疑才是最為成功的。

5、大數(shù)據(jù)工程師要具有很強的計算機編碼能力。作為大數(shù)據(jù)工程師的一些必備因素就是實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力。現(xiàn)在社交網(wǎng)絡上的無意義信息太多，這就需要我們大數(shù)據(jù)工程師來親自挖掘，找出里邊最有用的東西。當然有些公司的大數(shù)據(jù)工程師是以商業(yè)分析為主的，但是計算機處理大數(shù)據(jù)的方式也是必備的技能。