導語：古有水泊梁山英雄108將叱咤江湖，今有“中國大數(shù)據(jù)技術先鋒108將”高端人物訪談攪動風云 。2017年 ， 由DT學院、中國城市報大數(shù)據(jù)中心、清華大數(shù)據(jù)產業(yè)聯(lián)合會、山西省大數(shù)據(jù)產業(yè)協(xié)會聯(lián)合舉辦，面向大數(shù)據(jù)產業(yè)的技術精英、專家學者以及大數(shù)據(jù)產業(yè)鏈領域公司CTO的“中國大數(shù)據(jù)技術先鋒108將”高端人物訪談活動正式啟動 ， 圍繞大數(shù)據(jù)技術的多個層面進行分享，旨在搭建大數(shù)據(jù)技術傳播分享的高端平臺，促進大數(shù)據(jù)技術的業(yè)內交流 。
盧億雷，大數(shù)據(jù)資深專家，精碩科技(AdMaster)技術副總裁兼總架構師，CCF（中國計算學會）大數(shù)據(jù)專委委員，北京航空航天大學特聘教授，新智元智庫專家 。關注數(shù)據(jù)采集、清洗、存儲、挖掘整個數(shù)據(jù)流過程，關注高可靠、高可用、高擴展、高性能系統(tǒng)服務、Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實時分布式計算服務 。有超過10年云計算、云存儲、大數(shù)據(jù)經驗 。曾在聯(lián)想、百度、Carbonite工作，并擁有多篇大數(shù)據(jù)相關的專利和論文 。
盧億雷：2006年碩士畢業(yè)后就加入聯(lián)想研究院，印象最深的就是跟我們一位同事一塊折騰過約50萬行 C代碼)，使自己的代碼能力得到顯著提高 。
【情感和感情是什么意思】后來加入百度系統(tǒng)部核心 Hadoop 組，之后又合并到基礎架部，使我對 Hadoop 有了更深的理解與體會 。另外就是離開百度加入 Carbonite China 是一次創(chuàng)業(yè)的選擇,當時在 中國的時候連 Office 都沒有就開始一起做事了,這使我熟悉了整個創(chuàng)業(yè)過程, 使自己在技術、產品、管理方面都有了非常大的提升；2013年加入AdMaster，我作為技術副總裁兼總架構師，負責公司的完整數(shù)據(jù)流過程服務（包括采集，清理 ， 存儲，挖掘等） 。Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實時分布式計算服務等多方面均有深入研究與應用 。
大數(shù)據(jù)不僅僅是指海量的數(shù)據(jù)，而是指和大數(shù)據(jù)相關的整個流程 。數(shù)據(jù)流之所以稱之為數(shù)據(jù)流，是因為只有當數(shù)據(jù)流動起來，才能發(fā)揮其真正的意義 。如果只是海量的數(shù)據(jù)擺在那里，無異于一潭死水，毫無生機 。整個流程中的每一個環(huán)節(jié)，無論是最初的采集，之后的清理，存儲 ， 后期的分析，都至關重要 ， 并且每一部分都有其相對應的技術來進行處理 。大數(shù)據(jù)目前進入一個平穩(wěn)期，其更偏向于實際的應用如人工智能、深度學習、區(qū)塊鏈等 。大數(shù)據(jù)最終目的必定是為人類帶來多方面收益和便利 。
盧億雷：大數(shù)據(jù)存儲，HDFS，HBase，ElasticSearch，MongoDB ， GlusterFS，F(xiàn)astDFS，Swift等這些技術已經成為開源界事實上的標準，從剛出現(xiàn)時的種種穩(wěn)定性BUG，到現(xiàn)在堅不可催 ， 并且出現(xiàn)了越來越多的新功能 。
大數(shù)據(jù)計算，從最開始的MapReduce一統(tǒng)江湖，到后來 Yarn、Storm、Tez，再到現(xiàn)在 Spark、Flink、Apex 等更高效更易用的計劃框架百花齊放，可做的選擇越來越多，并且可以在大數(shù)據(jù)基礎上做機器學習、人工智能等多種應用 。
實時分布式查詢 ， 隨著 Druid、Kylin、vertica 等開源和商用OLAP 系統(tǒng)的成長，大數(shù)據(jù)層面的秒級查詢，也漸漸走近我們 。Alluxio 這一存儲中間層的出現(xiàn)，讓計算向著更快更廉價的方向又給出了一個新的方案 。
HDFSMapReduceHBase 的標準 3架馬車，伴隨著我們的一些業(yè)務一直運行到現(xiàn)在，但是對于一些實時性要求較高的業(yè)務開始顯示出它們的不足 。
Spark、Flink 在對“快”有著最高要求的業(yè)務里，扮演著重要角色，廣告業(yè)務的實時監(jiān)控，基礎報告的 Lambda 架構，都是由這兩個框架來支持，這兩種技術在 Yarn 上的穩(wěn)定性，還有進一步提高的空間 。
Vertica 和 ElasticSearch 則在對于數(shù)據(jù)分析和 OLAP 的業(yè)務上發(fā)光發(fā)熱，比如廣告業(yè)務的數(shù)據(jù)呈現(xiàn) ， 社交數(shù)據(jù)的實時處理 。這兩個技術，在超大規(guī)模數(shù)據(jù)集場景下 ， 還有待進一步提高 。
盧億雷：這里可以給大家分享一下 AdMaster 用于支持精準營銷的 DMP 標簽平臺 。大家知道，要做到精準營銷 ， 關鍵點在于發(fā)現(xiàn)這個人對什么感興趣，即對于每個人給出他感興趣的標簽 。
這涉及到幾個小問題 ， 網(wǎng)民在查找手機相關的內容，他應該是對于手機感興趣，那怎么在他下一個訪問的頁面，就給他看到手機的廣告？也就是從發(fā)現(xiàn)數(shù)據(jù)到數(shù)據(jù)生效 ， 要快 。為了解決這個問題，AdMaster 使用了改進版的 Flume 來進行實時傳輸數(shù)據(jù)，接入 Kafka，使用 Spark 和 Flink實時處理數(shù)據(jù)入庫，從一個數(shù)據(jù)的產生到入庫，時間可以控制在 10 秒以內 。
10 秒可能大家覺得已經太久了，但是我們每天處理的數(shù)據(jù)量在 100 億以上 ， 還要累積最近 45 天內的所有數(shù)據(jù)，為了達到快的要求 ， AdMaster 使用了 AeroSpike 集群做為數(shù)據(jù)存儲，可以達到400萬的 QPS 。
為了分析出每個頁面代表的內容，AdMaster 研究院獨立研發(fā)了自己的內容分析系統(tǒng) ， 以保證準確分析出頁面內容 。AdMaster 與新浪微博達成了戰(zhàn)略合作關系，保證數(shù)據(jù)的及時性和穩(wěn)定性 。
盧億雷：社交數(shù)據(jù)情感分析是商業(yè)用戶的一個訴求，各大商業(yè)公司在做廣告的同時，還會在自己的微博和微信等社交平臺上發(fā)布一些信息，就是所謂的官方微信、官方微博 。同時 ， 也會有人在這些賬號上作評論，或者是在個人的社交賬號上發(fā)一些言論 。企業(yè)用戶比較關心的是“是不是有人說我壞話了？” 、“是不是競爭對手又搞什么動作了？”。前一個問題 ， 就是現(xiàn)在社交數(shù)據(jù)情感分析的一個主要訴求 。簡單說就是，企業(yè)用戶想盡快知道是不是有人說他壞話了 。
社交數(shù)據(jù)情感分析應用有：用戶畫像與精準營銷、產品比較與推薦、個人與機構聲譽分析、電視節(jié)目滿意度分析、用戶反饋分析、互聯(lián)網(wǎng)輿情分析危機公關情感和感情是什么意思、未來的預測、KOL分析等 。
目前社交數(shù)據(jù)情感分析已經不是簡單的情感分析了 ， 在朝著人工智能、深度學習、智能客服等方向發(fā)展了 。
客戶一般要求速度要快，行業(yè)內有基于規(guī)則匹配的方法，對短句（20 個詞以內）有效， 但是長句一般都會標錯
客戶一般要求模糊查找，近義詞同義詞或相關詞語查找情感和感情是什么意思，但是真正使用時往往用的又不是事先約定的關鍵詞 ， 所以不能提前標注 。又要求速度快，挑戰(zhàn)比較大情感和感情是什么意思 。
盧億雷：Apex 可以算是目前國際上大數(shù)據(jù)領域創(chuàng)新方向的一個代表 ， 計算原子化，易組合，數(shù)據(jù)盡可能內存計算 ， 同時支持批處理和流式計算，可以對接多種大數(shù)據(jù)生態(tài) 。
近幾年隨著互聯(lián)網(wǎng)開源運動的發(fā)展，國內的大數(shù)據(jù)技術已經在漸漸融入國際社會 ， 百度、阿里、華為等互聯(lián)網(wǎng)企業(yè)已經開始在開源界展露頭角，在2015年Spark Summit大會上，Spark最大的集群來自于騰訊有8000個節(jié)點 ， 單個Job最大分別是阿里巴巴和Databricks為1PB，非常震撼人心 。比如阿里對 Storm 貢獻的 Jstorm，百度對 Hadoop 貢獻的 HCE ， 華為對大數(shù)據(jù)存儲貢獻的CarbonData 等等，可以說，我國的大數(shù)據(jù)技術，已經完全融入國際環(huán)境，有世界上最多的網(wǎng)民支持 ， 已經開始在某些領域引領大數(shù)據(jù)的發(fā)展方向（比如雙 11 造就的“瞬間大流量處理”） 。
盧億雷：毫無疑問的是，大數(shù)據(jù)技術有著光明且長遠的未來 。盡管大數(shù)據(jù)相關的技術已經發(fā)展了十余年的時間，但是我們面對的仍是渺無邊際的技術藍海 。
舉一個例子 ， 在過去的十年中，我們可獲取的數(shù)據(jù)量在飛速的提升 。我們不再滿足獲取局限于互聯(lián)網(wǎng)上已有的數(shù)據(jù)，而隨著物聯(lián)網(wǎng)技術的進步，我們生活中的每一個事物都先后被安上傳感器，接入互聯(lián)網(wǎng)，納入了大數(shù)據(jù)的范疇 。面對激增的數(shù)據(jù)量，我們應該如何應對？在增加硬件設施的同時，是否也在技術算法上做出了相應改進？面對種類更加繁雜的數(shù)據(jù)，現(xiàn)有的分析模型是否已經不能滿足需求？挑戰(zhàn)千變萬化 ， 我們需要打好技術基?。?方能解決這些難題 。
隨著大數(shù)據(jù)技術的發(fā)展，使得企業(yè)日生產量在逐漸增加 ， 盡管近60%的企業(yè)日生產量不到1T，但是由于此處統(tǒng)計的是裸數(shù)據(jù)增長，所以企業(yè)實際占的存儲可能會大于3T（大數(shù)據(jù)企業(yè)一般會將數(shù)據(jù)存儲3份）；有部分的企業(yè)選擇“自主研發(fā)”情感和感情是什么意思，這里主要是包括了基于大數(shù)據(jù)平臺開發(fā)應用、二次開發(fā)等，而不是企業(yè)自己開發(fā)一個類似于Hadoop這樣的大數(shù)據(jù)系統(tǒng)；HDFS依然是企業(yè)構建大數(shù)據(jù)分布式存儲的首選架構；在分布式計算領域 ， MapReduce仍然是最通用的計算框架，Spark也是來勢兇猛，不過實際生產線上MapReduce的占比可能還要更高一些，但是隨著實時計算的快速發(fā)展 ， 像類似于Spark、Flink都會快速成長；由于ElasticSearch的迅速發(fā)展 ， 使得日志數(shù)據(jù)可視化工具ELK（ElasticSearch Logstash Kibana）得到較高的使用，而像用于大數(shù)據(jù)實時查詢和分析的分布式系統(tǒng)如Druid、Pinot等發(fā)展也越來越快；最后企業(yè)對于大數(shù)據(jù)人才的需求越來越多，要求也越來越高 ， 不光是技術要好，業(yè)務也需要了解 。
盧億雷：對于大數(shù)據(jù)技術學習者，最基本一定要掌握大數(shù)據(jù)技術處理的流程，包括有數(shù)據(jù)采集、清洗、存儲、分析與挖掘、數(shù)據(jù)可視化，理解大數(shù)據(jù)分為離線、在線、流式、實時系統(tǒng)；了解大數(shù)據(jù)OLTP與OLAP分布式實時查詢系統(tǒng)的區(qū)別等 。總之，不管大數(shù)據(jù)技術如何發(fā)展，對分布式系統(tǒng)理論一定要有深入理解，萬變不離其宗 。最后實踐是檢驗真理的唯一標準，多動手實踐 ， 多與業(yè)務結合一起實踐，有條件的去類似于大數(shù)據(jù)汽車、快消品、金融、地產、廣告等公司實踐 。
入門級聽眾，對大數(shù)據(jù)僅僅是聽說過，或做過一些類似 helloworld 之類的小實驗，可以系統(tǒng)地安排講解大數(shù)據(jù)發(fā)展史，知其然知其所以然，并盡可能全面地介紹大數(shù)據(jù)的發(fā)展方向，最關鍵的是各方向形成的原因，應用的場景，可以解決哪些問題，簡要介紹一些案例 。
高級聽眾，使用過或正在使用大數(shù)據(jù)技術情感和感情是什么意思 ， 更關心的應該是應用場景，以及使用中各種總是的解決方案 。對于這類聽眾，應更多地結合實際案例，講解各種常見故障及解決方案，切實解決工作中的問題 。
2017年，由DT學院、清華大數(shù)據(jù)產業(yè)聯(lián)合會、山西省大數(shù)據(jù)產業(yè)協(xié)會聯(lián)合舉辦 ， 面向大數(shù)據(jù)產業(yè)的技術精英、專家學者以及大數(shù)據(jù)產業(yè)鏈領域公司CTO的“中國大數(shù)據(jù)技術先鋒108將”高端人物訪談活動正式啟動，圍繞大數(shù)據(jù)技術的多個層面進行分享，旨在搭建大數(shù)據(jù)技術傳播分享的高端平臺 ， 促進大數(shù)據(jù)技術的業(yè)內交流 。首期專訪人物為中國頂尖數(shù)據(jù)科學家董飛 。
猜你喜歡
- 情感有哪些
- 有爭議的情感話題情感缺失障礙
- 情感體驗作文胡鄧 情感心理學
- 婚紗百科為什么會出現(xiàn)情感剝離
- 情感的基本分類可可情感電臺官網(wǎng)
- 人類情感有哪些
- 情感與婚姻經典語句
- 治愈情感文案長篇情感剝離現(xiàn)象
- 情感生活故事治愈情感文案長篇
- 婚姻情感導師在線咨詢