有關大數據的誤區:數據統計≠大數據
關於大數據的誤區：數據統計是已經發生的事情，而大數據往往被用於還沒有發生的事情預測或者推薦中，二者不能劃等號。不過，無論數據統計也好，大數據也罷，都是為了使工作變得更為有效，讓決策更為理性而準確。
大數據太火了，被廣泛應用到各行各業，而近階段又有著明顯的過熱跡象。大數據到底是壹個營銷詞匯，還是壹個方法論?本文作者老李正是壹家大數據服務提供商的資深員工，他所做的項目就是針對不同行業進行大數據分析。他認為，關於大數據妳首先必須有壹個基本認識，那就是“大量的數據並非壹定具有價值”。另外，數據統計並不等同於大數據，數據統計和大數據的區別就在於人工智能。
近兩年來，“大數據”被廣泛應用到各行各業，而近階段又有著明顯的過熱跡象。從央視的春運遷徙圖到姚晨看到微博數據的驚呼;從兩會期間的兩會大數據，到《星星》都叫獸的高低領毛衣，“大數據”被人們推到了壹個前所未有的高度，同時也從壹個高精尖的科研方向變成了壹個世人皆知的營銷詞匯。
我既沒有資格代表學術界，更沒有資格來判定誰是誰非。我只能就自己的工作經歷，來談壹下我眼中的大數據：
什麽是大數據?
百度百科對大數據的定義是這樣的：大數據(big data)或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。
Gartner給出了這樣的定義：“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
個人認為Gartner的定義更為貼切。“新處理模式”是壹個很關鍵的詞匯，這也是我所理解的“大數據”區別於傳統統計分析等最關鍵的特征之壹。這個所謂的“新處理模式”有兩層含義：
1、由於海量的數據，需要更高效的存儲和處理技術，Hadoop成為了大數據時代的標誌;
2、如果妳認為大數據就等於Hadoop，那就大錯特錯了。Hadoop只是大數據時代的壹個必要條件，大數據還有壹個明顯的標誌是數據挖掘和人工智能的緊密結合。這也是我理解的“大數據”與現在很多所謂“大數據”項目最明顯的區別之壹。我會在後面的案例中給大家展開。
除了上面的“新處理模式”上的區別，個人認為還有壹個最主要的區別是：數據統計分析是基於已有數據的縱向歸類，而大數據是基於對已有海量數據的處理，對還未產生的數據作出預測和推薦。數據統計是已經發生的事情，而大數據往往被用於還沒有發生的事情預測或者推薦中。
預測和推薦，是如何實現的?
目前主要的推薦算法大致可以分為兩類。壹個是基於行為，壹個是基於內容。當然，針對不同的領域，不同的預測和推薦的對象，又會有十余種算法。這就不是本文展開的內容了。
基於行為的分析，顧名思義，即對用戶在互聯網、移動互聯網留下的“痕跡”，即瀏覽、點擊、收藏、購買、二次購買的分析，得出未來會選擇購買的預測和推薦結果。基於行為的分析，屬於群體智慧，綜合利用群體用戶的行為偏好。用戶之間會相互影響，更加符合現實世界中的用戶行為。
基於內容的分析， 包括對文字、圖片、音頻、視頻等信息的分析，得出預測和推薦的結論。內容的“基因”和用戶的偏好相匹配，最有代表的是潘多拉的音樂推薦項目，其將曲庫中所有歌曲都由400多位專家打上標簽，然後建立個人與音樂的聯系，從而完成音樂的推薦。內容的分析只針對個人，與用戶之間關系無關。
大數據到底能做什麽
現在談這個問題可能會讓大家笑話，似乎所有人都知道大數據能幹這個，能幹那個，最後連我們自己都覺得可笑。大數據已經都不是被“妖魔化”了，是“娛樂化”。大數據似乎是個離我們忽遠又忽近的事物了，變得不真實起來。
好吧，我還是結合從業經歷來說說大數據“解決過什麽問題”吧：簡單地來說，大數據可以幫我們解決決策和選擇的問題。
天氣預報就是壹個最古老而且眾所周知的預測。妳可以根據預報來決定明天穿什麽衣服，是否要帶雨傘，等等;
近兩年來，大數據被應用到影視制片行業，基於對觀眾偏好的分析，去預測、設計觀眾喜歡的劇情，找觀眾喜愛的演員出演相關的角色，甚至可以去預測票房。這些所有的預測都是基於數據的基礎上，經過壹定的模型處理，得到接近真實的結論。從某種程度上給決策者決策的依據，比如《紙牌屋》和《星星》。
大數據還有壹個重要的作用，就是解決人們的“選擇”問題。別笑，無論妳的年齡、性別、教育背景，人們目前都面臨著前所未有的選擇問題。講的學術壹些，這是由於“長尾效應”導致的問題;講得通俗壹些，就是由於日益增多的可選擇的對象和我們自身的處理能力之間的矛盾。
科技的進步讓人變得更懶，也就是我們自身的處理能力降低，無論是主觀的還是客觀的。而可被選擇的對象卻在日益增多。從紛繁復雜的商品(電商)，到海量曲庫中的樂曲;從婚戀網站的男女朋友，到交通管理的信號燈。
基於人工智能下的大數據，就是可以使人們“變懶”的壹個手段。基於妳的歷史行為，判斷出妳可能的喜好，乃至需求，將最佳結果，推薦給妳。這就是大數據，她是妳的貼心管家，或者說是最懂妳的朋友。
壹個最經典的案例是沃爾瑪曾經做過的“啤酒”和“尿布”調研：沃爾瑪在研究中發現，壹類顧客經常在購買尿布的同時也購買啤酒。尿布跟啤酒自然是毫無關聯的兩個品類的商品，從個人經驗上來看，根本想不到二者的聯系。後來發現，這是壹類社會現象所導致的。美國有很多年輕夫婦，尿布用完後，女主人在家帶孩子，而男主人就去超市買尿布。買完尿布之後，男主人通常會順帶著買些啤酒。
上述例子說明，數據經常可以讓妳發現看似不合理不合邏輯但卻存在，並且經常發生的現象。
再舉個例子，北京的交通擁堵是地球人都知道的事情。尤其是早晚高峰，這已經不需要預測了。但如果根據歷史交通數據，再經過數學模型，計算出壹個全北京最佳的交通信號燈管理系統，這就屬於大數據的範疇了。
這也是我眼中大數據主要與普通的數據統計分析最大的不同：數據統計可以幫助妳發現疾病，但大數據可以不但幫助妳發現，且幫助妳治療疾病。
大數據絕不是“噱頭“，我們在幫助某運營商閱讀基地的閱讀推薦項目中，各項指標均得到大幅提升。而這個提升不是百分之幾十，而是數倍的提升!(用戶人均流量提升了4倍，沈默用戶激活能力提升了6.5倍)這才是大數據的魅力。
大數據不是萬能的
大數據顯然不是萬能的。正因為如此，她才真實。大數據在有些領域由於種種原因，所帶來的價值並不如預期的那麽高。導致這種現象最主要的問題有兩個，壹個是由於數據本身的質量或者數量不夠;另壹個是算法不合適。
不要以為是海量數據就壹定會有價值，在過往的工作中，我們經常發現來自甲方的數據源有80-90%的數據都是無用的。只有10%-20%的數據才會產生壹定的價值。這就又讓我想到Marry Meeker打的那個比喻，“大數據的工作就像在壹堆稻草中尋找壹根針”。
何況，大多數領域本身業務屬於早期，所擁有的數據非常貧乏。冷啟動、稀疏性是大數據在諸多領域面臨的挑戰。
另壹方面，對於不同領域，不同項目，沒有放之四海而皆準的算法，必須要根據具體問題具體分析解決。在實際的工作中發現，不只是不同的領域(如文章推薦與商品推薦)，甚至同壹領域的不同單元(同屬電商但不同類電商，如母嬰類和服裝類或者奢侈品類)也有所不同。
數據的交叉利用
上面提到的兩個大數據在實際應用中面臨的最大問題，即冷啟動時數據的匱乏和業務早期數據的稀疏性問題，並不是無藥可救。業界壹直討論的數據打通，就是解決這兩問題的出路。
對於壹些新興領域，缺乏數據是必然的，而另壹方面，正由於缺乏數據的支持，所以才更需要有強大決策支持的系統對其業務做指導和支撐，以實現少走彎路，利益最大化的目的。
移動互聯網領域的項目，尤為代表。雖然在過去的兩三年裏，移動互聯網得到了高速的發展，但畢竟在各個方面的積累，都無法與互聯網相比。尤其在人們形成穩定的使用習慣之前，數據還不具備更多的價值和意義。
但如果能把互聯網的數據與移動互聯網數據打通，那麽我們就掌握了這個人的喜好等多方面信息，從而為移動互聯網業務做出更有效的指導和幫助。
當然，數據的打通絕不僅限於互聯網和移動互聯網。每個數據源的數據往往刻畫了壹個人的不同方面。正如巴拉巴西教授在《爆發》壹書中描繪的那樣，如果數據充分，人類93%的行為是可以預知的，是有規律的。
也只有將這些不同來源的數據重新組織，才能挖掘出更有意義的信息。
如今，行業內不少人打著“數據統計和分析”的旗號來做大數據，讓很多外行人陷入了誤區：數據統計並非等於大數據。無論數據統計也好，大數據也罷，其實都是為了使我們的工作變得更為有效，讓決策更為理性而準確。重視數據，本身就是壹個企業成熟的標誌。
移動互聯網的迅速崛起，讓數據變得更為多樣、豐富。它的移動性，它的碎片化，它的私密性和隨時性都剛好彌補了用戶離開桌面電腦之後的數據，從而與原有的互聯網數據壹起很好滴勾勒出壹個網民壹天的生活，日常生活的數據化。
隨著數據的進壹步豐富和完善，隨著不同渠道數據的打通和交叉利用，有關大數據的想象壹定會更加廣闊。
以上是小編為大家分享的關於有關大數據的誤區:數據統計≠大數據的相關內容，更多信息可以關註環球青藤分享更多幹貨