知識圖譜 (Knowledge Graph) 是當(dāng)前的研究熱點(diǎn)。
自從2012年Google推出自己第一版知識圖譜以來,它在學(xué)術(shù)界和工業(yè)界掀起了一股熱潮。各大互聯(lián)網(wǎng)企業(yè)在之后的短短一年內(nèi)紛紛推出了自己的知識圖譜產(chǎn)品以作為回應(yīng)。
比如在國內(nèi),互聯(lián)網(wǎng)巨頭百度和搜狗分別推出”知心“和”知立方”來改進(jìn)其搜索質(zhì)量。那么與這些傳統(tǒng)的互聯(lián)網(wǎng)公司相比,對處于當(dāng)今風(fēng)口浪尖上的行業(yè) - 互聯(lián)網(wǎng)金融, 知識圖譜可以有哪方面的應(yīng)用呢? 目錄1. 什么是知識圖譜?2. 知識圖譜的表示3. 知識圖譜的存儲4. 應(yīng)用5. 挑戰(zhàn)6. 結(jié)語 1. 什么是知識圖譜? 知識圖譜本質(zhì)上是語義網(wǎng)絡(luò),是一種基于圖的數(shù)據(jù)結(jié)構(gòu),由節(jié)點(diǎn)(Point)和邊(Edge)組成。
在知識圖譜里,每個(gè)節(jié)點(diǎn)表示現(xiàn)實(shí)世界中存在的“實(shí)體”,每條邊為實(shí)體與實(shí)體之間的“關(guān)系”。知識圖譜是關(guān)系的最有效的表示方式。
通俗地講,知識圖譜就是把所有不同種類的信息(Heterogeneous Information)連接在一起而得到的一個(gè)關(guān)系網(wǎng)絡(luò)。知識圖譜提供了從“關(guān)系”的角度去分析問題的能力。
知識圖譜這個(gè)概念最早由Google提出,主要是用來優(yōu)化現(xiàn)有的搜索引擎。不同于基于關(guān)鍵詞搜索的傳統(tǒng)搜索引擎,知識圖譜可用來更好地查詢復(fù)雜的關(guān)聯(lián)信息,從語義層面理解用戶意圖,改進(jìn)搜索質(zhì)量。
比如在Google的搜索框里輸入Bill Gates的時(shí)候,搜索結(jié)果頁面的右側(cè)還會出現(xiàn)Bill Gates相關(guān)的信息比如出生年月,家庭情況等等。 另外,對于稍微復(fù)雜的搜索語句比如 ”Who is the wife of Bill Gates“,Google能準(zhǔn)確返回他的妻子Melinda Gates。
這就說明搜索引擎通過知識圖譜真正理解了用戶的意圖。 上面提到的知識圖譜都是屬于比較寬泛的范疇,在通用領(lǐng)域里解決搜索引擎優(yōu)化和問答系統(tǒng)(Question-Answering)等方面的問題。
接下來我們看一下特定領(lǐng)域里的 (Domain-Specific) 知識圖譜表示方式和應(yīng)用,這也是工業(yè)界比較關(guān)心的話題。 2. 知識圖譜的表示 假設(shè)我們用知識圖譜來描述一個(gè)事實(shí)(Fact) - “張三是李四的父親”。
這里的實(shí)體是張三和李四,關(guān)系是“父親”(is_father_of)。當(dāng)然,張三和李四也可能會跟其他人存在著某種類型的關(guān)系(暫時(shí)不考慮)。
當(dāng)我們把電話號碼也作為節(jié)點(diǎn)加入到知識圖譜以后(電話號碼也是實(shí)體),人和電話之間也可以定義一種關(guān)系叫 has_phone,就是說某個(gè)電話號碼是屬于某個(gè)人。下面的圖就展示了這兩種不同的關(guān)系。
另外,我們可以把時(shí)間作為屬性(Property)添加到 has_phone 關(guān)系里來表示開通電話號碼的時(shí)間。這種屬性不僅可以加到關(guān)系里,還可以加到實(shí)體當(dāng)中,當(dāng)我們把所有這些信息作為關(guān)系或者實(shí)體的屬性添加后,所得到的圖譜稱之為屬性圖 (Property Graph)。
屬性圖和傳統(tǒng)的RDF格式都可以作為知識圖譜的表示和存儲方式,但二者還是有區(qū)別的,這將在后面章節(jié)做簡單說明。 3. 知識圖譜的存儲 知識圖譜是基于圖的數(shù)據(jù)結(jié)構(gòu),它的存儲方式主要有兩種形式:RDF存儲格式和圖數(shù)據(jù)庫(Graph Database)。
至于它們有哪些區(qū)別,請參考【1】。下面的曲線表示各種數(shù)據(jù)存儲類型在最近幾年的發(fā)展情況。
從這里我們可以明顯地看到基于圖的存儲方式在整個(gè)數(shù)據(jù)庫存儲領(lǐng)域的飛速發(fā)展。這幅曲線圖來源于 Graph DBMS increased their popularity by 500% within the last 2 years 下面的列表表示的是目前比較流行的基于圖存儲的數(shù)據(jù)庫排名。
從這個(gè)排名中可以看出neo4j在整個(gè)圖存儲領(lǐng)域里占據(jù)著NO.1的地位,而且在RDF領(lǐng)域里Jena還是目前為止最為流行的存儲框架。這部分?jǐn)?shù)據(jù)來源于 DB-Engines Ranking 當(dāng)然,如果需要設(shè)計(jì)的知識圖譜非常簡單,而且查詢也不會涉及到1度以上的關(guān)聯(lián)查詢,我們也可以選擇用關(guān)系型數(shù)據(jù)存儲格式來保存知識圖譜。
但對那些稍微復(fù)雜的關(guān)系網(wǎng)絡(luò)(現(xiàn)實(shí)生活中的實(shí)體和關(guān)系普遍都比較復(fù)雜),知識圖譜的優(yōu)點(diǎn)還是非常明顯的。首先,在關(guān)聯(lián)查詢的效率上會比傳統(tǒng)的存儲方式有顯著的提高。
當(dāng)我們涉及到2,3度的關(guān)聯(lián)查詢,基于知識圖譜的查詢效率會高出幾千倍甚至幾百萬倍。其次,基于圖的存儲在設(shè)計(jì)上會非常靈活,一般只需要局部的改動即可。
比如我們有一個(gè)新的數(shù)據(jù)源,我們只需要在已有的圖譜上插入就可以。于此相反,關(guān)系型存儲方式靈活性方面比較差,它所有的Schema都是提前定義好的,如果后續(xù)要改變,它的代價(jià)是非常高的。
最后,把實(shí)體和關(guān)系存儲在圖數(shù)據(jù)結(jié)構(gòu)是一種符合整個(gè)故事邏輯的最好的方式。 4. 應(yīng)用 在本文中,我們主要討論知識圖譜在互聯(lián)網(wǎng)金融行業(yè)中的應(yīng)用。
當(dāng)然,很多應(yīng)用場景和想法都可以延伸到其他的各行各業(yè)。這里提到的應(yīng)用場景只是冰山一角, 在很多其他的應(yīng)用上,知識圖譜仍然可以發(fā)揮它潛在的價(jià)值, 我們在后續(xù)的文章中會繼續(xù)討論。
反欺詐 反欺詐是風(fēng)控中非常重要的一道環(huán)節(jié)?;诖髷?shù)據(jù)的反欺詐的難點(diǎn)在于如何把不同來源的數(shù)據(jù)(結(jié)構(gòu)化,非結(jié)構(gòu))整合在一起,并構(gòu)建反欺詐引擎,從而有效地識別出欺詐案件(比如身份造假,團(tuán)體欺詐,代辦包裝等)。
而且不少欺詐案件會涉及到復(fù)雜的關(guān)系網(wǎng)絡(luò),這也給欺詐審核帶來了新的挑戰(zhàn)。 知識圖譜,作為關(guān)系的直接表示方式,可以很好地解決這兩個(gè)問題。
首。
1. 知識結(jié)構(gòu)圖是指把所學(xué)內(nèi)容進(jìn)行整理并制成比較系統(tǒng)完整的知識結(jié)構(gòu)圖示,它在心理學(xué)中被稱為知識網(wǎng)絡(luò)圖。
2. 知識結(jié)構(gòu)是指一個(gè)人經(jīng)過專門學(xué)習(xí)培訓(xùn)后所擁有的知識體系的構(gòu)成情況與結(jié)合方式。知識結(jié)構(gòu),就是既有精深的專門知識,又有廣博的知識面,具有事業(yè)發(fā)展實(shí)際需要的最合理、最優(yōu)化的知識體系。建立起合理的知識結(jié)構(gòu),培養(yǎng)科學(xué)的思維方式,提高自己的實(shí)用技能,以適應(yīng)將來在社會上從事職業(yè)崗位的要求。合理的知識結(jié)構(gòu)是擔(dān)任現(xiàn)代社會職業(yè)崗位的必要條件,是人才成長的基礎(chǔ)。
3. 現(xiàn)代社會的職業(yè)崗位,所需要的是知識結(jié)構(gòu)合理、能根據(jù)當(dāng)今社會發(fā)展和職業(yè)的具體要求,將自己所學(xué)到的各類知識,科學(xué)地組合起來的,適應(yīng)社會要求的人才。教師專業(yè)素質(zhì)的知識結(jié)構(gòu)主要是由教師在系統(tǒng)專業(yè)知識和教育實(shí)踐的知識構(gòu)成的體統(tǒng)。
知識圖譜,也稱為科學(xué)知識圖譜,它通過將應(yīng)用數(shù)學(xué)、圖形學(xué)、信息可視化技術(shù)、信息科學(xué)等學(xué)科的理論與方法與計(jì)量學(xué)引文分析、共現(xiàn)分析等方法結(jié)合,并利用可視化的圖譜形象地展示學(xué)科的核心結(jié)構(gòu)、發(fā)展歷史、前沿領(lǐng)域以及整體知識架構(gòu)達(dá)到多學(xué)科融合目的的現(xiàn)代理論。為學(xué)科研究提供切實(shí)的、有價(jià)值的參考。
北京知識圖譜科技有限公司是2017-05-31在北京市海淀區(qū)注冊成立的有限責(zé)任公司(自然人投資或控股),注冊地址位于北京市海淀區(qū)中關(guān)村大街18號B座9層909室342號。
北京知識圖譜科技有限公司的統(tǒng)一社會信用代碼/注冊號是91110108MA00EUGR87,企業(yè)法人吳剛,目前企業(yè)處于開業(yè)狀態(tài)。
北京知識圖譜科技有限公司的經(jīng)營范圍是:技術(shù)開發(fā)、技術(shù)推廣、技術(shù)轉(zhuǎn)讓、技術(shù)咨詢、技術(shù)服務(wù);銷售自行開發(fā)的產(chǎn)品;計(jì)算機(jī)系統(tǒng)服務(wù);基礎(chǔ)軟件服務(wù)、應(yīng)用軟件服務(wù);軟件開發(fā);軟件咨詢;會議服務(wù);數(shù)據(jù)處理(數(shù)據(jù)處理中的銀行卡中心、PUE值在1.5以上的云計(jì)算數(shù)據(jù)中心除外);接受金融機(jī)構(gòu)委托從事金融信息技術(shù)外包服務(wù);接受金融機(jī)構(gòu)委托從事金融業(yè)務(wù)流程外包服務(wù)。(企業(yè)依法自主選擇經(jīng)營項(xiàng)目,開展經(jīng)營活動;依法須經(jīng)批準(zhǔn)的項(xiàng)目,經(jīng)相關(guān)部門批準(zhǔn)后依批準(zhǔn)的內(nèi)容開展經(jīng)營活動;不得從事本市產(chǎn)業(yè)政策禁止和限制類項(xiàng)目的經(jīng)營活動。)。本省范圍內(nèi),當(dāng)前企業(yè)的注冊資本屬于一般。
通過百度企業(yè)信用查看北京知識圖譜科技有限公司更多信息和資訊。
自己建嗎可以下載圖譜軟件構(gòu)建可以參考一下這個(gè)SPSS: 大型統(tǒng)計(jì)分析軟件,商用軟件。
具有完整的數(shù)據(jù)輸入、編輯、統(tǒng)計(jì)分析、報(bào)表、圖形繪制等功能。常用于多元統(tǒng)計(jì)分析、數(shù)據(jù)挖掘和數(shù)據(jù)可視化。
Bibexcel: 瑞典科學(xué)計(jì)量學(xué)家Persoon開發(fā)的科學(xué)計(jì)量學(xué)軟件,用于科學(xué)研究免費(fèi)軟件。具有文獻(xiàn)計(jì)量分析、引文分析、共引分析、耦合分析、聚類分析和數(shù)據(jù)可視化等功能。
可用于分析ISI的SCI、SSCI和A&HCI文獻(xiàn)數(shù)據(jù)庫。HistCite: Eugene Garfield等人于2001年開發(fā)的科學(xué)文獻(xiàn)引文鏈接分析和可視化系統(tǒng),免費(fèi)軟件。
可對ISI的SCI、SSCI和SA&HCI等文獻(xiàn)數(shù)據(jù)庫的引文數(shù)據(jù)進(jìn)行計(jì)量分析,生成文獻(xiàn)、作者和期刊的引文矩陣和實(shí)時(shí)動態(tài)引文編年圖。直觀的反映文獻(xiàn)之間的引用關(guān)系、主題的宗譜關(guān)系、作者歷史傳承關(guān)系、科學(xué)知識發(fā)展演進(jìn)等。
CiteSpace: 陳超美博士開發(fā)的專門用于科學(xué)知識圖譜繪制的免費(fèi)軟件。國內(nèi)使用最多知識圖譜繪制軟件。
可用于追蹤研究領(lǐng)域熱點(diǎn)和發(fā)展趨勢,了解研究領(lǐng)域的研究前沿及演進(jìn)關(guān)鍵路徑,重要的文獻(xiàn)、作者及機(jī)構(gòu)??捎糜趯SI、CSSCI和CNKI等多種文獻(xiàn)數(shù)據(jù)庫進(jìn)行分析。
TDA: Thomson Data Analyzer(TDA)是Thomson集團(tuán)基于VantagePoint開發(fā)文獻(xiàn)分析工具。商用軟件。
具有去重、分段等數(shù)據(jù)預(yù)處理功能;可形成共現(xiàn)矩陣、因子矩陣等多種分析矩陣;可使用Pearson、Cosine等多種算法進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化;可進(jìn)行知識圖譜可視化展示。Sci2 Tools: 印第安納大學(xué)開發(fā)的用于研究科學(xué)結(jié)構(gòu)的模塊化工具可從時(shí)間、空間、主題、網(wǎng)絡(luò)分析和可視化等多角度,分析個(gè)體、局部和整體水平的知識單元。
ColPalRed: Gradnada大學(xué)開發(fā)的共詞單元文獻(xiàn)分析軟件。商用軟件。
結(jié)構(gòu)分析,在主題網(wǎng)絡(luò)中展現(xiàn)知識(詞語及其關(guān)系);戰(zhàn)略分析,通過中心度和密度,在主題網(wǎng)絡(luò)中為主題定位;動態(tài)分析,分析主題網(wǎng)絡(luò)演變,鑒定主題路徑和分支。Leydesdorff: 系類軟件。
阿姆斯特丹大學(xué)Leydesdorff開發(fā)的這對文獻(xiàn)計(jì)量的小程序集合。處理共詞分析、耦合分析、共引分析等知識單元體系。
使用“層疊圖”實(shí)現(xiàn)可視化知識的靜態(tài)布局和動態(tài)變化。Word Smith: 詞頻分析軟件。
可將文本中單詞出現(xiàn)頻率排序和找出單詞的搭配詞組。NWB Tools: 印第安納大學(xué)開發(fā)的對大規(guī)模知識網(wǎng)絡(luò)進(jìn)行建模、分析和可視化工具. 數(shù)據(jù)預(yù)處理;構(gòu)建共引、共詞、耦合等多種網(wǎng)絡(luò);可用多種方法進(jìn)行網(wǎng)絡(luò)分析;可進(jìn)行可視化展示.Ucinet NetDraw: Ucinet是社會網(wǎng)絡(luò)分析工具。
包括網(wǎng)絡(luò)可視化工具Net Draw。用于處理多種關(guān)系數(shù)據(jù),可通過節(jié)點(diǎn)屬性對節(jié)點(diǎn)的顏色、形狀和大小等進(jìn)行設(shè)置。
用于社交網(wǎng)絡(luò)分析和網(wǎng)絡(luò)可視化。Pajek: 來自斯洛文尼亞的分析大型網(wǎng)絡(luò)的社會網(wǎng)絡(luò)分析免費(fèi)軟件。
Pajek基于圖論、網(wǎng)絡(luò)分析和可視化技術(shù),主要用于大型網(wǎng)絡(luò)分解,網(wǎng)絡(luò)關(guān)系展示,科研作者合作網(wǎng)絡(luò)圖譜的繪制。VOSviewer: 荷蘭萊頓大學(xué)開發(fā)的文獻(xiàn)可視化分析工具。
使用基于VOS聚類技術(shù)技術(shù)實(shí)現(xiàn)知識單元可視化工具。突出特點(diǎn)可視化能力強(qiáng),適合于大規(guī)模樣本數(shù)據(jù)。
四種視圖瀏覽:標(biāo)簽視圖、密度視圖、聚類視圖和分散視圖。[4]陳悅, 劉則淵, 陳勁等. 科學(xué)知識圖譜的發(fā)展歷程[J]. 科學(xué)學(xué)研究, 2008, (03): 449-460.[5]Shiffrin, R.M., and Katy B?rner. Mapping Knowledge Domains[C]. Proc. Proceedings of the National Academy of Sciences of the United States of America pp. 5183-5185.[6]B?rner, K., Chen, C.和Boyack, K.W. Visualizing knowledge domains[J]. Annual review of information science and technology, 2003, 37, (1): 179-255.[7]CM, C. CiteSpace II: Detecting and visualizing emerging trends and transient patterns in scientific literature[J]. Journal of the American Society for Information Science and Technology, 2006, 57, (3): 359-377.[8]陳悅和劉則淵. 悄然興起的科學(xué)知識圖譜[J]. 科學(xué)學(xué)研究, 2005, (02): 149-154.[9]邱均平. 信息計(jì)量學(xué)[M]. (武漢大學(xué)出版社, 2007. 2007).[10]沙勇忠和牛春華. 信息分析[M]. (科學(xué)出版社, 2009. 2009).[11]塞沃爾, 建軍和煦. 鏈接分析: 信息科學(xué)的研究方法[M]. (東南大學(xué)出版社, 2009. 2009).[12]Egghe, L.和Rousseau, R. Introduction to informetrics: Quantitative methods in library, documentation and information science[J]. 1990[13]韓家煒, 坎伯, 裴健等. 數(shù)據(jù)挖掘: 概念與技術(shù)[M]. (機(jī)械工業(yè)出版社, 2007. 2007).[14]Wasserman, S. Social network analysis: Methods and applications[M]. (Cambridge university press, 1994. 1994).[15]Persson, O., R. Danell, J. Wiborg Schneider. How to use Bibexcel for various types of bibliometric analysis[C]. Proc. International Society for Scientometrics and Informetrics., Leuven, Belgium2009 pp. 9–24.[16]Yang, Y., Akers, L., Klose, T.等. Text mining and visualization tools–impressions of emerging capabilities[J]. World Patent Information, 2008, 30, (4): 280-293.[17]B?rner, K., Huang, W., Linnemeier, M.等. Rete-netzwerk-red: analyzing and visualizing scholarly networks 。
聲明:本網(wǎng)站尊重并保護(hù)知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請?jiān)谝粋€(gè)月內(nèi)通知我們,我們會及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁面生成時(shí)間:2.844秒