理智與情感主角 _生活百科

大數(shù)據(jù)是一個(gè)事關(guān)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展全局的戰(zhàn)略性產(chǎn)業(yè)，大數(shù)據(jù)技術(shù)為社會(huì)經(jīng)濟(jì)活動(dòng)提供決策依據(jù)，提高各個(gè)領(lǐng)域的運(yùn)行效率，提升整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度，對(duì)于我國(guó)經(jīng)濟(jì)發(fā)展轉(zhuǎn)型具有重要的推動(dòng)作用！
大數(shù)據(jù)是一個(gè)事關(guān)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展全局的戰(zhàn)略性產(chǎn)業(yè)，大數(shù)據(jù)技術(shù)為社會(huì)經(jīng)濟(jì)活動(dòng)提供決策依據(jù)，提高各個(gè)領(lǐng)域的運(yùn)行效率，提升整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度，對(duì)于我國(guó)經(jīng)濟(jì)發(fā)展轉(zhuǎn)型具有重要的推動(dòng)作用！2016年，由網(wǎng)加時(shí)代網(wǎng)發(fā)起并承辦，北京大學(xué)信息化與信息管理研究中心、中國(guó)新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟協(xié)辦的“影響中國(guó)大數(shù)據(jù)產(chǎn)業(yè)進(jìn)程100人”大型人物專訪活動(dòng)全面啟動(dòng) ，被采訪對(duì)象分別來(lái)自政府、產(chǎn)、學(xué)、研、企各個(gè)領(lǐng)域，他們將從不同角度，不同層面向大家闡述當(dāng)前大數(shù)據(jù)產(chǎn)業(yè)熱點(diǎn)、難點(diǎn)、疑點(diǎn)問(wèn)題，為中國(guó)大數(shù)據(jù)產(chǎn)業(yè)健康、持續(xù)發(fā)展探索經(jīng)驗(yàn)、保駕護(hù)航，敬請(qǐng)關(guān)注！
張華平，中國(guó)首席數(shù)據(jù)聯(lián)盟專家組成員，北京理工大學(xué)副教授，博士，研究生導(dǎo)師，知名漢語(yǔ)分詞系統(tǒng)ICTCLAS創(chuàng)始人，大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室主任，《大數(shù)據(jù)搜索與挖掘》作者。
本期由我們的特邀嘉賓魯四海向張華平博士發(fā)問(wèn) 。魯四海是中國(guó)新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟技術(shù)分委會(huì)秘書長(zhǎng)，北大信息化與信息管理研究中心技術(shù)顧問(wèn)，中國(guó)首席數(shù)據(jù)聯(lián)盟發(fā)起人。
魯四海:云計(jì)算、智慧城市、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與物聯(lián)網(wǎng)已經(jīng)成為大數(shù)據(jù)時(shí)代的技術(shù)特征，實(shí)現(xiàn)了人理智與情感主角、機(jī)器與實(shí)物的互聯(lián)互通。對(duì)語(yǔ)言的理解一直是大數(shù)據(jù)深入應(yīng)用的一道門檻。互聯(lián)網(wǎng)上的內(nèi)容很多，可以說(shuō)是信息泛濫，那么要從網(wǎng)絡(luò)挖掘內(nèi)容價(jià)值，是不是也有一些條件和要求需要滿足？
張華平: 是的。網(wǎng)絡(luò)搜索與挖掘其實(shí)就是四步曲: 目標(biāo)分解，信息收集，分析去噪，情報(bào)提煉。據(jù)此可以看出，要進(jìn)行網(wǎng)絡(luò)搜索與挖掘，也必須具備四個(gè)要件。
一個(gè)實(shí)用案例是中國(guó)證監(jiān)會(huì)的網(wǎng)絡(luò)輿情系統(tǒng)，這是我做的。它會(huì)廣泛搜集網(wǎng)上各種各樣的信息，采集BBS論壇新聞，包括采集微博信息。采完以后進(jìn)行各種分析提煉，可以發(fā)現(xiàn)有什么人在發(fā)布虛假信息。
再比如用于地圖開發(fā) 。我們的GPS數(shù)據(jù) ，許多都是由地圖廠商那里來(lái)的。地圖商們總是面臨一個(gè)問(wèn)題，某地新蓋了一棟樓了，或者搬地方了，或者又多了一家賓館，等等。地圖廠商要獲得這些信息，其實(shí)是相當(dāng)耗錢費(fèi)力的，他們要每天派300輛車在全國(guó)各地跑，一直跑一直拍，沿途發(fā)現(xiàn)什么地方變化了，或者路斷了，就要分析再入庫(kù) 。
用網(wǎng)絡(luò)搜索和數(shù)據(jù)挖掘的手段來(lái)解決此事就方便許多了。現(xiàn)在是網(wǎng)絡(luò)時(shí)代，例如某地要蓋個(gè)樓、開家賓館什么的，一般網(wǎng)上都會(huì)有消息發(fā)出來(lái)，那么就可以用技術(shù)手段，從新聞或網(wǎng)友發(fā)言中分析挖掘出來(lái) 。地圖商或交管局拿了這個(gè)數(shù)據(jù)，稍微核實(shí)一下就能夠用來(lái)更新自己的數(shù)據(jù)庫(kù) 。
此外，國(guó)內(nèi)網(wǎng)上的“水軍”現(xiàn)在是很厲害的，要炒作什么話題，要把誰(shuí)捧上去或貶下來(lái)，手法多種多樣，真是翻手為云覆手為雨。我們就可以通過(guò)數(shù)據(jù)挖掘，辨別出“水軍”力量的運(yùn)作線索。
張華平：這看似簡(jiǎn)單，是一個(gè)很復(fù)雜的過(guò)程，要應(yīng)用者對(duì)大數(shù)據(jù)文本的處理需求，需要完整的技術(shù)鏈條，包括：網(wǎng)絡(luò)抓取、正文提取、中英文分詞、詞性標(biāo)注、實(shí)體抽取、詞頻統(tǒng)計(jì)、關(guān)鍵詞提取、語(yǔ)義信息抽取、文本分類、情感分析、語(yǔ)義深度擴(kuò)展、繁簡(jiǎn)編碼轉(zhuǎn)換、自動(dòng)注音、文本聚類等。
但大數(shù)據(jù)文本處理這部分相對(duì)獨(dú)立，又需要無(wú)縫地融合到的各類復(fù)雜應(yīng)用系統(tǒng)之中，所以在選擇這部分組件的時(shí)候需要否兼容主流的平臺(tái) ， Java，C/C ， C#, Python，Php, R等各類主流開發(fā)語(yǔ)言是否能很好調(diào)用其所有功能。
魯四海：我想張博士開發(fā)的NLPIR就能夠全方位多角度滿足應(yīng)用者對(duì)大數(shù)據(jù)文本的處理需求。能不能請(qǐng)張博士對(duì)NLPIR采用的一些先進(jìn)算法給我們分享一下。
張華平：NLPIR實(shí)體抽取系統(tǒng)能夠智能識(shí)別文本中出現(xiàn)的人名、地名、機(jī)構(gòu)名、媒體、作者及文章的主題關(guān)鍵詞，這是對(duì)語(yǔ)言規(guī)律的深入理解和科學(xué)預(yù)測(cè)，其所提煉出的詞語(yǔ)不需要在詞典庫(kù)中事先存在。NLPIR實(shí)體抽取系統(tǒng)采用基于角色標(biāo)注算法自動(dòng)識(shí)別命名實(shí)體（算法細(xì)節(jié)請(qǐng)參照：《大數(shù)據(jù)搜索與挖掘》），開發(fā)者可在此基礎(chǔ)上搭建多樣化的大數(shù)據(jù)挖掘應(yīng)用。
NLPIR采用深度神經(jīng)網(wǎng)絡(luò)對(duì)分類體系進(jìn)行了綜合訓(xùn)練。演示平臺(tái)目前訓(xùn)練的類別只是新聞的、經(jīng)濟(jì)理智與情感主角、軍事等。我們內(nèi)置的算法支持類別自定義訓(xùn)練，該算法對(duì)常規(guī)文本的分類準(zhǔn)確率較高，綜合開放測(cè)試的F值接近86% 。NLPIR深度文本分類，可以用于新聞分類、簡(jiǎn)歷分類、郵件分類、辦公文檔分類、區(qū)域分類等諸多方面。此外還可以實(shí)現(xiàn)文本過(guò)濾，能夠從大量文本中快速識(shí)別和過(guò)濾出符合特殊要求的信息，可應(yīng)用于品牌報(bào)道監(jiān)測(cè)、垃圾信息屏蔽、敏感信息審查等領(lǐng)域。
NLPIR情感分析提供兩種模式：全文的情感判別（左圖）與指定對(duì)象的情感判別（右圖）。情感分析主要采用了兩種技術(shù)：
1.情感詞的自動(dòng)識(shí)別與權(quán)重自動(dòng)計(jì)算，利用共現(xiàn)關(guān)系，采用Bootstrapping的策略，反復(fù)迭代，生成新的情感詞及權(quán)重。
【理智與情感主角】中國(guó)首席數(shù)據(jù)官聯(lián)盟/中國(guó)CDO精英俱樂(lè)部是國(guó)內(nèi)首個(gè)以CDO為核心的技術(shù)型非盈利性聯(lián)盟組織，遵循自愿、平等、合作的原則。其發(fā)起人為魯四海、劉冬冬、葛涵濤。我們希望成為中國(guó)大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新與發(fā)展推動(dòng)者，為實(shí)現(xiàn)中國(guó)大數(shù)據(jù)產(chǎn)業(yè)全球領(lǐng)先而努力。我們將一如繼往的打造跨行業(yè)、跨領(lǐng)域的商業(yè)精英交流平臺(tái)，提升CDO在企業(yè)中的地位，提升企業(yè)的數(shù)據(jù)化水平，將數(shù)據(jù)變?yōu)槲磥?lái)企業(yè)發(fā)展的核心驅(qū)動(dòng)力并最終推動(dòng)中國(guó)大數(shù)據(jù)產(chǎn)業(yè)整體發(fā)展水平。

欧美国产高清污视频在线观看-欧美久久综合九色综合-国产黄色自拍网站在线-国产三级精品三级在专区精-97中文字幕一区二区-大吊操白虎学生妹逼-精品久久久久亚洲综合网-青青草原国产av一区欧美-国产在线一区二区三区在线

理智與情感主角

猜你喜歡