2020-11-05
大數(shù)據(jù)培訓(xùn) Hadoop
好程序員大數(shù)據(jù)培訓(xùn)分享常見的Hadoop和Spark項(xiàng)目,如果有正在做項(xiàng)目的小伙伴可以了解一下,下面我們一塊來看一下具體的內(nèi)容。
有一句古老的格言是這樣說的,如果你向某人提供你的全部支持和金融支持去做一些不同的和創(chuàng)新的事情,他們最終卻會(huì)做別人正在做的事情。如比較火爆的Hadoop、Spark和Storm,每個(gè)人都認(rèn)為他們正在做一些與這些新的大數(shù)據(jù)技術(shù)相關(guān)的事情,但它不需要很長(zhǎng)的時(shí)間遇到相同的模式。下面我們就一塊來看一下7種最常見的Hadoop和Spark項(xiàng)目:
項(xiàng)目一:數(shù)據(jù)整合
稱之為“企業(yè)級(jí)數(shù)據(jù)中心”或“數(shù)據(jù)湖”,這個(gè)想法是你有不同的數(shù)據(jù)源,你想對(duì)它們進(jìn)行數(shù)據(jù)分析。這類項(xiàng)目包括從所有來源獲得數(shù)據(jù)源(實(shí)時(shí)或批處理)并且把它們存儲(chǔ)在hadoop中。有時(shí),這是成為一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的公司”的diyi步;有時(shí),或許你僅僅需要一份漂亮的報(bào)告。“企業(yè)級(jí)數(shù)據(jù)中心”通常由HDFS文件系統(tǒng)和HIVE或IMPALA中的表組成。未來,HBase和Phoenix在大數(shù)據(jù)整合方面將大展拳腳,打開一個(gè)新的局面,創(chuàng)建出全新的數(shù)據(jù)美麗新世界。
銷售人員喜歡說“讀模式”,但事實(shí)上,要取得成功,你必須清楚的了解自己的用例將是什么(Hive模式不會(huì)看起來與你在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中所做的不一樣)。真實(shí)的原因是一個(gè)數(shù)據(jù)湖比Teradata和Netezza公司有更強(qiáng)的水平擴(kuò)展性和低得多的成本。許多人在做前端分析時(shí)使用Tabelu和Excel。許多復(fù)雜的公司以“數(shù)據(jù)科學(xué)家”用Zeppelin或IPython筆記本作為前端。
項(xiàng)目二:專業(yè)分析
許多數(shù)據(jù)整合項(xiàng)目實(shí)際上是從你特殊的需求和某一數(shù)據(jù)集系統(tǒng)的分析開始的。這些往往是令人難以置信的特定領(lǐng)域,如在銀行領(lǐng)域的流動(dòng)性風(fēng)險(xiǎn)/蒙特卡羅模擬分析。在過去,這種專業(yè)的分析依賴于過時(shí)的,專有的軟件包,無法擴(kuò)大數(shù)據(jù)的規(guī)模經(jīng)常遭受一個(gè)有限的功能集(大部分是因?yàn)檐浖S商不可能像專業(yè)機(jī)構(gòu)那樣了解的那么多)。
在Hadoop和Spark的世界,看看這些系統(tǒng)大致相同的數(shù)據(jù)整合系統(tǒng),但往往有更多的HBase,定制非SQL代碼,和更少的數(shù)據(jù)來源(如果不是唯一的)。他們?cè)絹碓蕉嗟匾?/font>Spark為基礎(chǔ)。
項(xiàng)目三:Hadoop作為一種服務(wù)
在“專業(yè)分析”項(xiàng)目的任何大型組織(諷刺的是,一個(gè)或兩個(gè)“數(shù)據(jù)整理”項(xiàng)目)他們會(huì)不可避免地開始感覺“快樂”(即,疼痛)管理幾個(gè)不同配置的Hadoop集群,有時(shí)從不同的供應(yīng)商。接下來,他們會(huì)說,“也許我們應(yīng)該整合這些資源池,”而不是大部分時(shí)間讓大部分節(jié)點(diǎn)處于資源閑置狀態(tài)。它們應(yīng)該組成云計(jì)算,但許多公司經(jīng)常會(huì)因?yàn)榘踩脑?/font>(內(nèi)部政治和工作保護(hù))不能或不會(huì)。這通常意味著很多Docker容器包。
我沒有使用它,但最近Bluedata(藍(lán)色數(shù)據(jù)國(guó)際中心)似乎有一個(gè)解決方案,這也會(huì)吸引小企業(yè)缺乏足夠的資金來部署Hadoop作為一種服務(wù)。
項(xiàng)目四:流分析
很多人會(huì)把這個(gè)“流”,但流分析是不同的,從設(shè)備流。通常,流分析是一個(gè)組織在批處理中的實(shí)時(shí)版本。以反洗錢和欺詐檢測(cè):為什么不在交易的基礎(chǔ)上,抓住它發(fā)生而不是在一個(gè)周期結(jié)束?同樣的庫(kù)存管理或其他任何。
在某些情況下,這是一種新的類型的交易系統(tǒng),分析數(shù)據(jù)位的位,因?yàn)槟銓⑺⒙?lián)到一個(gè)分析系統(tǒng)中。這些系統(tǒng)證明自己如Spark或Storm與Hbase作為常用的數(shù)據(jù)存儲(chǔ)。請(qǐng)注意,流分析并不能取代所有形式的分析,對(duì)某些你從未考慮過的事情而言,你仍然希望分析歷史趨勢(shì)或看過去的數(shù)據(jù)。
項(xiàng)目五:復(fù)雜事件處理
在這里,我們談?wù)摰氖莵喢爰?jí)的實(shí)時(shí)事件處理。雖然還沒有足夠快的超低延遲(皮秒或納秒)的應(yīng)用,如高端的交易系統(tǒng),你可以期待毫秒響應(yīng)時(shí)間。例子包括對(duì)事物或事件的互聯(lián)網(wǎng)電信運(yùn)營(yíng)商處理的呼叫數(shù)據(jù)記錄的實(shí)時(shí)評(píng)價(jià)。有時(shí),你會(huì)看到這樣的系統(tǒng)使用Spark和HBase——但他們一般落在他們的臉上,必須轉(zhuǎn)換成Storm,這是基于由LMAX交易所開發(fā)的干擾模式。
在過去,這樣的系統(tǒng)已經(jīng)基于定制的消息或高性能,從貨架上,客戶端-服務(wù)器消息產(chǎn)品-但今天的數(shù)據(jù)量太多了。我還沒有使用它,但Apex項(xiàng)目看起來很有前途,聲稱要比Storm快。
項(xiàng)目六:ETL流
有時(shí)你想捕捉流數(shù)據(jù)并把它們存儲(chǔ)起來。這些項(xiàng)目通常與1號(hào)或2號(hào)重合,但增加了各自的范圍和特點(diǎn)。(有些人認(rèn)為他們是4號(hào)或5號(hào),但他們實(shí)際上是在向磁盤傾倒和分析數(shù)據(jù)。),這些幾乎都是Kafka和Storm項(xiàng)目。Spark也使用,但沒有理由,因?yàn)槟悴恍枰趦?nèi)存分析。
項(xiàng)目七:更換或增加SAS
SAS是精細(xì),是好的但SAS也很貴,我們不需要為你的數(shù)據(jù)科學(xué)家和分析師買存儲(chǔ)你就可以“玩”數(shù)據(jù)。此外,除SAS可以做或產(chǎn)生漂亮的圖形分析外,你還可以做一些不同的事情。這是你的“數(shù)據(jù)湖”。這里是IPython筆記本(現(xiàn)在)和Zeppelin(以后)。我們用SAS存儲(chǔ)結(jié)果。
當(dāng)我每天看到其他不同類型的Hadoop,Spark,或Storm項(xiàng)目,這些都是正常的。如果你使用Hadoop,你可能了解它們。幾年前我已經(jīng)實(shí)施了這些項(xiàng)目中的部分案例,使用的是其它技術(shù)。
如果你是一個(gè)老前輩太害怕“大”或“做”大數(shù)據(jù)Hadoop,不要擔(dān)心。事情越變?cè)蕉啵举|(zhì)保持不變。你會(huì)發(fā)現(xiàn)很多相似之處的東西你用來部署和時(shí)髦的技術(shù)都是圍繞Hadooposphere旋轉(zhuǎn)的。
開班時(shí)間:2021-04-12(深圳)
開班盛況開班時(shí)間:2021-05-17(北京)
開班盛況開班時(shí)間:2021-03-22(杭州)
開班盛況開班時(shí)間:2021-04-26(北京)
開班盛況開班時(shí)間:2021-05-10(北京)
開班盛況開班時(shí)間:2021-02-22(北京)
開班盛況開班時(shí)間:2021-07-12(北京)
預(yù)約報(bào)名開班時(shí)間:2020-09-21(上海)
開班盛況開班時(shí)間:2021-07-12(北京)
預(yù)約報(bào)名開班時(shí)間:2019-07-22(北京)
開班盛況Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right 京ICP備12003911號(hào)-5 京公網(wǎng)安備 11010802035720號(hào)