一、大數據寒冬已至
凜冽的寒風吹散了北京的跨年霧霾，帶來了數九寒天的冰凍感受。中關村大數據日活動剛結束一個月，各地大數據的相關展會依然如火如荼。但是紙面上的紅火無法掩蓋內在的虛弱，出來混總是要還的，大數據的寒冬正如這三九天一樣，撲面而來，讓人措手不及。
早在半年前，百分點開始大幅裁員，據說將超過600人的團隊壓縮到300以內。2017新年剛過，亞信數據同樣步入調整步伐，負責新領域探索的部門全部砍掉，甚至調整還可能會有第二輪。新年前后與多家業界有名的大數據公司溝通，有一個普遍的問題就是共同虧損，不管是做數據生意的，還是做平臺項目的，無一例外，而且公司普遍對團隊在2017年的盈利提出要求。讓我們再想象一下，如果這些團隊未能在2017年實現盈利結果會如何？
對運營商而言，即便聯通、電信宣稱通過數據變現實現了數億的銷售收入，但如果核算下從數據采集到變現應用全過程的成本投入（包含人員），一定是一個不太樂觀的數字。對BAT來說，如果把數據運營部門獨立核算，情況同樣如此。只是像運營商、BAT這樣的家業龐大的公司，不在意當前的損益，有能力持續開展戰略投入。
那么是什么原因導致大數據行業集體進入寒冬？是實體經濟下行影響嗎？還是大數據停留在概念炒作，未進入到實際應用？
大環境確實對大數據行業產生負面影響，不只是的大數據，2016年實質上還是資本的寒冬，移動互聯網的寒冬。但從根本上看，過度競爭才是大數據寒冬的主要因素，也是一切寒冬的罪魁禍首。
二、更多的玩家更低的門檻必然導致自我淘汰
必須承認，從整個市場來看，2016年大數據行業整體取得了巨大進步。
首先，來自數據的價值被充分挖掘。大數據的熱度讓"數據是資產""數據產生價值"深入人心，且在實際生產中催生了豐富的數據應用。客群分析、精準定向推送、金融信貸中的身份核驗、基于數據的信用評級等，其核心并非"大數據"技術的應用，更多的應該是"數據"的價值發掘。如果可以統計的話，2016年各公司之間的數據交易與2015年相比一定是一個指數級的增長。
數據分析應用經歷四個階段，分別是簡單數據的簡單分析（傳統的數據庫統計）、簡單數據的復雜分析（傳統數據量的數據挖掘）、復雜數據的簡單分析、復雜數據的復雜分析。基于數據價值發掘的各項應用絕大部分集中在第一、第二階段。能夠下象棋的"深藍"和能夠下圍棋的 "阿爾法狗"其實都應該屬于簡單數據的復雜分析（單一領域的機器學習）。
其次，大數據應用的典型案例層出不窮，目前集中于復雜數據的簡單分析。
比如上海踩踏事件后，對于特殊時段/事件的實時人群流量監測成為大中城市的共同需求。通常通過運營商大規模信令數據的準實時處理，來實現區域人群準實時洞察分析。2016年已經在各大旅游區、航展、火車站等進行了廣泛的應用。
比如某市政府因人口疏解壓力，要求分析各區縣（各鄉鎮）之間的常住人口、工作人口數量，以及各類人口變動來源與去向。通常通過運營商信令數據的離線分析，可以較好的模擬真實居住/工作人群的結構與變化特征。2016年該領域實際上開展了較深入的應用。
比如公安部門、信用評級部門需要分析個人或企業的關系鏈。對個人來說，有那些人跟你是家庭關系、親戚關系、同學關系、同事關系包括曾經同學、同事等，以及關系的關系。通過大數據圖計算方式，能快遍歷每個節與周邊多個節點之間的直接或間接關聯關系，形成個人關系圖譜。對企業來說，股權投資、高管兼任、資金擔保等均可通過圖計算方式，分析出企業關系圖譜或各類復雜的資金鏈/擔保鏈關系圖譜等。
但是，上述整體市場的進步并不意味著參與的企業個體能夠持續的活下去。十家公司出現十個典型案例，大家都可能玩完，而一個公司一個典型案例覆蓋十個客戶，才有可能活得下去。
就如"谷賤傷農"的道理一樣，過度投入帶來的過度競爭才是大數據寒冬的真正原因。不是大數據技術不好，也不是應用缺乏，而是當前的應用市場無法容納過度參與玩家的生產能力。
首先，過度投入來自對新技術新領域的追捧。從Gartner公司每年一度的新興技術成熟度曲線（Hype Cycle for Emerging Technologies）可看出，大數據在2013年正處在成熟度曲線的頂峰，2014年已經開始下坡路，2015年已經脫離曲線，從概念炒作走向實際應用，現在已經有不少公司開展收縮，在可見的將來還會有更多的公司倒下。那么2016年熱度頂峰的新技術是什么，是區塊鏈。我有認識的朋友，一年半前從大數據平臺項目離職搞區塊鏈，那時候我還根本理解不了什么是區塊鏈。大概半年前又回到大數據公司，重新搞起了大數據平臺。
其次，軟件行業的整體迷茫，紛紛把大數據當成救命稻草?，F在還有軟件公司（包含廣告公司）不稱呼自己是大數據公司的嗎？還有軟件公司不搞些大數據平臺或應用產品嗎？不用提傳統電信運營支撐公司東方國信、亞信數據，就說飛信支撐方神州太岳，在2015年也高調轉型大數據應用領域。
云計算與SaaS化應用的興起導致的軟件革命，讓行業競爭加劇，很多軟件廠商無所適從。就如一季度曾曝出的用友軟件的大幅度虧損一樣，不管做ERP還是小應用，傳統的軟件公司的日子越來越難過了。這些軟件公司把進軍大數據當成解決軟件行業性問題的良方，結果是從一個火坑跳入另一個火坑。
再次，大數據開源技術的低門檻，玩家進出無障礙。以最經典的Apache Hadoop社區為例，Hadoop的項目結構不斷豐富發展，已經形成一個豐富的Hadoop生態系統，囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30個模塊。雖然能夠對社區提供持續原創性貢獻的企業不多，但并不妨礙眾多公司，一兩個熟手+若干個生手就可以承諾搭建并運營一個實時交易風控平臺（以實時流計算為主要模式的平臺）。問題的關鍵在于，同樣面對新技術，新加入的玩家與傳統的BI廠商基本處于同一起跑線上。
最后，建設容易運營難，大數據價值還未真正體現。數據價值已經體現，但大數據價值還未真正體現。很明顯，之前大數據的虛火來自于建設的熱潮。當建設的熱潮退去，需要通過真實的應用價值來回報的時候，發現雖然有不少案例，但是總體的價值根本無法hold住之前的投入。因此反向的減少建設投入，導致市場空間相對于之前的高速擴張有較大的萎縮。
一切正如2000年的互聯網寒冬一樣，當前的大數據寒冬正是市場機制自動產生的"優勝劣汰"過程，這是歷史規律。
對于任何一個企業或組織來說，最終結局都逃不過失敗，但對于優秀的企業來說，可以失敗得晚一點，生存得更久一些。就如華為任正非在《華為的冬天》里說到的一樣，"十年來我天天思考的都是失敗，對成功視而不見，也沒有什么榮譽感、自豪感，而是危機感。也許是這樣才存活了十年。我們大家要一起來想，怎樣才能活下去，也許才能存活得久一些。失敗這一天是一定會到來，大家要準備迎接，這是我從不動搖的看法，這是歷史規律。"
三、產品聚焦是前提
在大數據的寒冬里，要比別人活得久一點，首先得明確自身的產品是什么，市場在什么地方，與競爭對手相比，產品是否有差異。
大數據的產品很多，大的方面可以分為6類。
第一，大數據基礎平臺。解決分布式數據存儲、離線計算與資源管理問題，包含目前比較流行的Paas平臺。
第二，實時計算引擎。通過Storm\Spark streaming等架構解決大批量實時計算問題。
第三，數據庫。各類DB，Sql，Mysql，Hbase等。
第四，大數據資產管理。數據從采集到應用開放全過程的數據結構管理。比如元數據管理，過程管理，隱私安全管理，開放管理與審計等。
第五，通用大數據應用。適用與所有行業的工具與模型。比如可視化工具，統一分析門戶，互聯網內容分析，智能營銷管理，數據挖掘工具/模型， SaaS化DMP等。
第六，垂直領域大數據應用。與特定行業的緊密結合的產品，如金融征信，位置運營，精準扶貧，智慧醫療等。
如果你的產品線包含從第一到第六，那么你離倒下已經不遠了。如果你能夠在某一個領域做得足夠的精深，精深到讓其它所有的玩家都很難生存，那么恭喜你，你就是在戰場上確立了自己地位的人，一定活得更久。
從中國大數據技術大會連續幾年的趨勢預測，也可以幫助我們判斷出市場的需求前景所在。
2013首提的數據資源化（價值化）在后續兩年基本實現，在2016年越來越成熟。如果你擁有較好的數據資源，毫無疑問，活下去的概率會大增。
在2016年以前，大數據分析與可視化被持續提及。在實際中，市面上可視化工具數不勝數，其中國外有一款叫Tableau，已經部分實現了2016年所預測的"可視化推動平民化"。如果還想依靠類似可視化工具來提供原來的BI服務，基本上沒有市場空間了。
大數據的安全與隱私問題是持續令人擔心的熱點，這里其實隱藏另一個問題，如何將復雜數據結果算準的問題。這意味著要詳細了解數據資源的構成（元數據），世系關系（從哪兒來用在哪個應用上），這導致大數據治理或者大數據資產管理產品是一個適用于所有行業的剛性需求。
|
2013年
|
2014年
|
|
1、數據的資源化
|
1、大數據從概念走向價值
|
|
2、大數據的隱私問題突出
|
2、大數據架構的多樣化模式并存
|
|
3、大數據與云計算等深度融合
|
3、大數據安全與隱私
|
|
4、基于大數據的智能的出現
|
4、大數據分析與可視化
|
|
5、大數據分析的革命性方法
|
5、大數據產業成為戰略性產業
|
|
6、大數據安全
|
6、數據商品化與數據共享聯盟化
|
|
7、數據科學興起
|
7、基于大數據的推薦與預測流行
|
|
8、數據共享聯盟
|
8、深度學習與大數據智能成為支撐
|
|
9、大數據新職業
|
9、數據科學的興起
|
|
10、更大的數據
|
10、大數據生態環境逐步完善
|
|
|
|
|
2015年
|
2016年
|
|
1、大數據分析成為數據價值化的熱點
|
1、可視化推動大數據平民化
|
|
2、數據科學帶動學科融合，但自身尚未成體系
|
2、多學科融合與數據科學的興起
|
|
3、與各行業結合，跨領域應用
|
3、大數據安全與隱私令人憂慮
|
|
4、“物云移社”融合，產生綜合價值
|
4、新熱點融入大數據多樣化處理模式
|
|
5、平臺架構與基礎設施
|
5、大數據提升社會治理和民生領域應用
|
|
6、大數據的安全與隱私保護
|
6、《促進大數據發展行動綱要》驅動產業生態
|
|
7、計算模式：深度學習、眾包計算
|
7、深度分析推動大數據智能應用
|
|
8、可視化分析與可視化呈現
|
8、數據權屬與數據主權備受關注
|
|
9、大數據人才與教育
|
9、互聯網、金融、健康保持熱度，智慧城市、企業數據化、工業大數據是新增長點
|
|
10、開源系統將成為主流
|
10、開源、測評、大賽催生良性人才與技術生態
|
|
|
|
|
2017年
|
|
1、機器學習繼續成智能分析核心技術
|
|
2、人工智能和腦科學相結合，成大數據分析領域的熱點
|
|
3、大數據的安全和隱私持續令人擔憂
|
|
4、多學科融合與數據科學興起
|
|
5、大數據處理多樣化模式并存融合，流計算成主流模式之一
|
|
6、數據的語義化和知識化是數據價值的基礎問題
|
|
7、開源成大數據技術生態主流
|
|
8、政府大數據發展迅速
|
|
9、推動數據立法，重視個人數據隱私
|
|
10、可視化技術和工具提升大數據分析工具的易用性
|
數據科學的興起是自2013年來持續提及的預測。實質上目前的很多大數據應用并未涉及到模型，這也是導致門檻低、競爭激烈的重要原因。因為真正大數據的應用應該是"復雜數據的復雜分析"，該領域缺少對應的產品。
與需求相結合的數據科學能力（能解決最終應用問題的模型能力）是大數據公司的核心能力，舉一個例子，目前國內的圖像識別、人臉識別等，其核心算法（通常以卷積神經網絡為代表）絕大部分來自國外。再舉一個現實中的例子，市政公安部門很需要對各地區進行犯罪趨勢預測，以便對警務/行政資源進行合理分配，現實中基本缺少對應的解決方案。
受個人的局限，無法就每一個大數據產品前景做出判斷，但從各大數據公司的交流進行總結，往往產品聚焦的公司，差異化會更明顯，在特定領域更能做到對手所無法達到的高度，具有更強的生命力。
四、成本控制是唯一出路
2000年4月3日開始，美國Nasdaq股票狂跌，到了年底，中國的網站開始紛紛倒閉。至此，持續三年的互聯網第一波浪潮突然從峰頂跌入峰谷，互聯網的冬天來臨了。
2001年1月，阿里的賬面上只剩能維持半年多的700萬美元，更可怕的是，當時的阿里并沒有找到賺錢的辦法。陷入自創業以來最困難最危機的境地。
正如后來大家所知道的，阿里裁掉了美國、歐洲、香港、韓國的網站團隊，將所有的業務回到杭州這個中心，這是阿里巴巴第一次裁員，也是唯一一次大裁員。效果立竿見影，每月的成本立刻從100萬降到了50萬美元，阿里巴巴贏得了寶貴的一年喘息時間！
去掉所有的浮夸，控制成本，做最謹慎的預測，確保能夠活下去作為第一要義，是度過寒冬的唯一出路。
華為軟件人數不少，從營業收入上看過百億，應該是中國最大的軟件公司，但是大并不意味著能夠盈利。
我有個朋友獨自負責一個50人的小公司，主要提供大軟件公司所照顧不到的部分省市運營商的分析營銷服務，年營業收入千萬元，卻能做到利潤率20%以上。就其原因，她一個人既是CEO，又是唯一一個營銷經理兼客戶經理，給自己開比較低的工資，其他所有人工資都低于她，核心人員用股份來彌補，每年都在為下一個年度的項目生存提前較勁。
這是一個最典型的為了活下去而努力的公司，沒有絢麗的遠景規劃，沒有層級復雜的管理，全都投入生產，成本控制到極致。所以，她能活下去，或許還能不斷壯大。
對于這些善于成本控制、產品及市場目標明確的公司而言，寒冬或許是一個新的機遇。就如一個優秀的獵手，在凜冽寒風中耐心的等待，等待著對手倒下，然后從容收割獨屬于自己的獵物。
