隨著技術(shù)的進(jìn)步，數(shù)據(jù)也在快速增長。近幾年創(chuàng)造的數(shù)據(jù)比整個(gè)人類歷史上創(chuàng)造的數(shù)據(jù)還要多。
你知道到2020年，每秒鐘大約會產(chǎn)生1.7兆的新信息嗎?
請記住，大數(shù)據(jù)并非一時(shí)興起，而是一場已經(jīng)開始的革命，毫無疑問，它很快就會涉及到每一項(xiàng)業(yè)務(wù)。隨著數(shù)據(jù)量的增加，我們有效分析數(shù)據(jù)以獲得有用的商業(yè)見解的能力也在增強(qiáng)。在未來5年，我們可以預(yù)期，即使是初創(chuàng)企業(yè)，也會有某種形式的數(shù)據(jù)分析在發(fā)揮作用，并引發(fā)業(yè)務(wù)增長。
從事職業(yè)轉(zhuǎn)型的專業(yè)人士往往對數(shù)據(jù)分析、大數(shù)據(jù)分析和數(shù)據(jù)科學(xué)領(lǐng)域普遍存在的差異感到困惑和不確定。
大數(shù)據(jù)是什么?
根據(jù)維基百科的定義：當(dāng)人們所處理的數(shù)據(jù)超過人們所容忍的時(shí)間范圍的時(shí)候 ，那么我們就稱該數(shù)據(jù)集為大數(shù)據(jù)。
我們在實(shí)際對大數(shù)據(jù)定義中，認(rèn)為所有人給出的定義都是正確的，但是是不完全的。
大數(shù)據(jù)的誕生和發(fā)展
2005，google，GFS(google file system)，后來成為了HDFS的前身
2006，google，MapReduce。
2007，google，Apache基金會用于創(chuàng)建Hadoop的開源社區(qū)。
2007，google，BigTable，HBase分布式數(shù)據(jù)庫
2009，Spark
大數(shù)據(jù)的工作：
1.數(shù)據(jù)獲取：爬蟲(禁)，數(shù)據(jù)接口獲取(上游廠商)，傳感器
， 開源數(shù)據(jù)(UCI)
2.數(shù)據(jù)存儲：HDFS、Hbase、HIVE
3.數(shù)據(jù)分析：MapReduce離線計(jì)算引擎，Spark內(nèi)存計(jì)算引擎……
4.數(shù)據(jù)挖掘：機(jī)器學(xué)習(xí)算法
大數(shù)據(jù)所有的相關(guān)計(jì)算，目前主要都是基于Hadoop引擎進(jìn)行的計(jì)算，Hadoop是一個(gè)運(yùn)行在通用硬件平臺上的框架式軟件。
數(shù)據(jù)分析是什么
數(shù)據(jù)分析是從數(shù)據(jù)庫中通過統(tǒng)計(jì)、計(jì)算、抽樣等相關(guān)的方法，獲取基于數(shù)據(jù)庫的數(shù)據(jù)表象的知識，也就是指數(shù)據(jù)分析是從數(shù)據(jù)庫里面得到一些表象性的信息。
數(shù)據(jù)分析的應(yīng)用:
1) 能源管理:大多數(shù)公司使用數(shù)據(jù)分析進(jìn)行能源管理，包括智能電網(wǎng)能源、公用事業(yè)公司的建筑自動化、能源優(yōu)化和能源分配。主要重點(diǎn)是管理服務(wù)中斷、監(jiān)控網(wǎng)絡(luò)設(shè)備和調(diào)度人員。在公用事業(yè)的網(wǎng)絡(luò)性能中集成數(shù)以百萬計(jì)的數(shù)據(jù)點(diǎn)，可以讓工程師利用分析技術(shù)監(jiān)控他們的網(wǎng)絡(luò)。
2) 醫(yī)療:成本壓力是醫(yī)院面臨的主要挑戰(zhàn)，這也限制了醫(yī)院有效治療許多病人。機(jī)器和儀器數(shù)據(jù)證明是有益的跟蹤和優(yōu)化治療，以及病人的流量和使用設(shè)備可以跟蹤。這有助于提高醫(yī)療質(zhì)量，預(yù)計(jì)將提高1%的效率，從而在全球范圍內(nèi)節(jié)省630多億美元的醫(yī)療費(fèi)用。
3) 游戲:在游戲中收集數(shù)據(jù)以優(yōu)化和花費(fèi)是數(shù)據(jù)分析的主要優(yōu)勢。那些制造游戲的公司能夠更好地洞察用戶的喜好、厭惡和關(guān)系。
4) 旅游:通過網(wǎng)絡(luò)博客分析、移動數(shù)據(jù)分析、社交媒體數(shù)據(jù)分析，優(yōu)化購買體驗(yàn)。顧客的喜好和欲望可以被提取出來。定制的報(bào)價(jià)和套餐可以根據(jù)客戶的后續(xù)瀏覽情況進(jìn)行推廣，幫助公司實(shí)現(xiàn)更好的轉(zhuǎn)化率。（相關(guān)推薦：大數(shù)據(jù)四大常識，你知道多少）
南京北大青鳥的大數(shù)據(jù)課程，貼近企業(yè)需求的同時(shí)按照學(xué)員的客觀學(xué)習(xí)規(guī)律安排課程，在不同的階段用不同的方法，因材施教，因時(shí)輔導(dǎo)啟發(fā)，學(xué)習(xí)不同的內(nèi)容，為廣大學(xué)員，特別對于編程技術(shù)不一的學(xué)員提供了學(xué)習(xí)大數(shù)據(jù)技術(shù)的佳捷徑。
