当前位置: 首页 > 科技观察

除了知识图谱,图谱还能做什么?

时间:2023-03-19 00:01:57 科技观察

说到图,大家可能不太了解,但是说到知识图谱(knowledgegraph),绝对是当下的热门话题。近年来,各行各业涌现出一大批垂直应用和服务提供商。各个公司,从技术到业务线,都学习了知识图谱的概念、技术和构建方法。知识图谱是对现实世界的抽象。它通过点和边来描述实体之间的关系,形成一个大规模的语义网络,提供了一种从关系的角度观察世界的方式。但本质上,知识图谱其实只是图谱的其中一种应用。除了知识图谱,图谱还能做什么?1.图形直观地反映了实体之间的联系。提起一个新事物,首先要知道它是什么。相信之前对图有一定了解的朋友,马上就能理解图的概念:图(graph)是由一组或多组点以及点与点之间的关系(也叫边)组成的。比如知识图谱,其实就是抽取知识,做联系。如果只是连接数据,那可能只是一个数据映射。但是,在与客户实际沟通的过程中,我们发现只知道图的概念并不能真正切换到图的思维方式,而图的思维方式对于重新思考业务有很大的价值。图片中的思维方式是什么?举个例子,这个场景想必大家都不陌生。白板是公司中最常用的工具之一。遇到需要集思广益的问题时,我们会召集一些小伙伴在会议室集思广益。首先抛出几个题目,让大家发散思路,尽量在白板上写。然后,对这些信息进行分类、排序,或者映射一些流程。当我们苦思冥想,陷入僵局时,我们会盯着白板上的信息,飞快地开动脑筋,希望能想出一些新的点子。突然,灵光一闪,也许白板上的某个东西和我脑海中的信息发生了碰撞,或者白板上的某些信息之间似乎有了一些新的联系,就这样,一个新的想法产生了,我们可以开始一个新的想法了。对想法进行新的讨论并重复该过程。要解释这个想法,我只需要把我的想法写在白板上,重新梳理一下关系即??可。听起来有点熟?是的,这其实就是我们天生的思维方式,也就是图片中的思维方式。在这个例子中,最重要的是连接。我们需要连接每个人大脑中的信息以发现新事物。同样,当我们向别人解释我们的想法时,我们需要用图片的形式来解释。这些信息如何连接在一起形成一个想法更容易被其他人接受。在侦探电影中,我们经常看到侦探将案件的所有信息贴在墙上,以发现里面隐藏的一些关系,因为这很可能是破案的关键。如果家里的实体书种类繁多,散落各处,我们在思考的时候,很可能偶然看到某本书,想到其中的一些内容,并与思考的内容结合起来,产生一些新的想法.跨学科思维实际上是将一些看似无关的内容联系起来,产生新的想法或解决方案。2.图解思维其实就是发现联系的过程。因此,图解思维的核心是联系。当我们关注事物是如何联系在一起的时候,或者当我们期望通过联系事物产生一些新的思维时,我们就已经在使用它了。图思考。而意识到这是一种图思维,会有什么样的意义呢?或者举个例子,这其实会给我们提供另一种解决问题的方法。这是斯坦福大学《数理逻辑与人工智能》的一道题。看到这个问题的第一反应,你可能会想到用纯逻辑的方式来解决这个问题。但是如果我们用图的思维方式,我们就会把重点放在解决情境之间的联系上。我们可以先构造一个认知图,列出所有8种可能的情况,通过不确定的边连接可能的情况,看到每个人的认知和可能的情况之间的联系,然后根据条件组合每个节点的相邻边不断缩小范围图中的节点,最后得出结论。这种方式将使问题变得更容易。图是一种高度抽象的模型,数据中的各种关系都可以用图来表示。图中的顶点和边可以非常灵活,不局限于现实世界的实体。最直接能想到的当然是某个人可以是一个点,某个产品可以是一个点,他们之间的联系就是边;一个路口就是一个点,连接路口与路口的XX路就是一条边。但是你可以把产品的某个特征抽象成点,比如颜色、重量;XX路抽象为点,路口也抽象为点,XX路与YY路的连接为边。甚至延伸到一些虚拟实体,比如可能的情况是一个点,某笔交易是一个点,某个订单是一个点。甚至有些分子是点,分子之间的连接是边(是的,图可以用在化学/生物等学科)。图由你自由定义,可以连接人、物、知识、数据、规则、过程、抽象实体和实际实体。3、图在企业中的实际应用和价值。图能给企业带来什么价值?以上两个例子或许给了你一些启发。图非常擅长通过连接揭示数据中的隐藏价值。在国外,很多行业的客户其实都在使用图来进行实际应用,包括金融、电信、电子商务、能源、医疗、供应链、制造、政府等行业。图本身不是一个垂直行业的技术,而是一个通用的技术。在金融行业,Graph可应用于反欺诈、反盗窃、信用卡追逐、洗钱团伙发现,事前事中发现风险隐患,事后减少损失;在电信行业,Graph可以结合机器学习帮助客户进行电信反腐诈骗,实时识别诈骗电话、广告电话、骚扰电话、正常电话,并及时向公安部门举报方式;在电商行业,图可以构建用户360画像,帮助客户进行实时个性化的商品推荐;在能源行业,可以构建电网地图,进行潮流分析,实现超实时计算;在医疗行业,地图可以为用户推荐实时就医路径;在供应链行业,当某个因素发生变化时,客户可以通过地图及时了解对上下游和整体成本的影响,发现产品延误、出货状态等质量控制和风险问题;在制造业中,地图可以为复杂的生产流程找到最佳路径;在政府行业,地图可以改善社会福利服务管理。在一般行业中,图可以用于数据治理中的数据沿袭分析、实体解析、网络和IT资源优化,并为机器学习提供图特征。国内应用场景主要集中在金融行业。当然,图非常适合反欺诈、反洗钱等,这些也是非常成熟的应用。为什么其他行业没有大规模应用图?其实懂图的人基本都集中在学术和计算机领域。要把图的价值发挥出来,需要业务人员的参与和思考,因为业务人员最懂业务。理解和运用图的思维方式是应用图解决实际问题的第一步。4.应用图分析的条件和工具我们通常把这种用图来分析问题的方法称为图分析(GraphAnalysis)。我们认为,要想应用图分析为企业带来真正的价值,需要图思维(产生需求&问题)+企业数据(解决问题的数据基础)+解决方案(解决问题的方法)+工具(选择解决问题的正确工具)。图的思维方式由于历史原因(有兴趣的朋友可以了解一下数据库的历史,导航数据库-关系数据库-nosql数据库-图数据库),我们在思考业务和数据的结合时,往往会考虑技术局限性,关系型数据库的应用方式,即从表的角度思考,会极大地限制我们的思维。而现在有一个新的工具——图数据库,可以更直接的把我们的想法和工具结合起来,而不是把原来的想法拆成表格,然后用表格来表示实际的业务。举一个公司反扫羊毛的实际场景,就是说商家或者金融机构为了拉新用户,会举办一些促销活动。例如,每次邀请新用户注册,都可以获得一定的积分奖励,这些积分可以兑换现金和优惠券。或者奖品。活动的开展会吸引黑产团伙,给发起方造成了很大的资金浪费。扫羊毛和反扫羊毛成了黑产团伙和推广者之间的博弈。对于这种促销活动,在关系型数据库中最简单的存储方式是将其分为邀请登记表和积分兑换表两张表,通过统计识别黑产团伙,比如登录的账号数量每个独立的设备,以及一个IP登录的账号数量等。但是,不法分子可以通过群控设备、虚拟IP等技术绕过这些检测。但是,如果换成图的思维方式,专注于从关系的角度分析,就会发现一些非常有趣的规律。用户邀请注册的新用户,既没有产生新的交易,也没有邀请新的人,甚至按照时间形成了非常有序的排列。很难找到。(具体可以参考https://beader.gitbook.io/tigergraph-tutorials/usecases/invite-graph-econnoisseur-detection/background)所以第一步需要业务人员转用图思维来重新思考业务和找到那些试图解决过去难以或无法解决的复杂业务问题,并尝试用图的思维方法来解决,甚至发现一些新的业务价值点。企业数据我们的想法往往需要通过数据分析来验证或实施。当我们的数据量庞大、类型复杂时,单纯的统计分析已经不能满足我们的需求。业务人员在进行探索性分析时,需要多维度思考。在关系型数据库中实现时,体现在多表关联上。当数据量巨大时,这对关系型数据库来说是一场灾难。而使用数据仓库和大宽表的方案也不尽如人意。本质上,这些技术的重点不在于数据之间的关系。利用图分析平台,业务人员和数据分析师可以从数据的角度出发,做一些探索,找到一些隐藏的联系。尝试从关系的角度去发现新的价值。解决方案当你有了要解决的问题和解决问题的数据基础时,你还需要一种解决问题的方法。我们可以结合行业经验和图算法。你可以从一个简单的关系查询开始,比如检查一个新客户是否连接到一个现有的黑点,然后根据现有的规则做更深入的探索,使用子图来判断两个客户是否相似。同时,一些图算法也可以作为辅助。比如我们要找出一些隐蔽的洗钱团伙和诈骗团伙,我们可以使用衡量图中团度的算法——鲁汶算法(LouvainModularity);我们想找到所有客户网络中最有影响力的人(KOL),可以使用衡量图中中心性的算法——页面排名算法(PageRank)。当找到一些模式时,可以通过图上的模式匹配找到所有相似的客户,并通过一些目标值进行反复验证和迭代。业务人员、数据分析师、IT人员都可以参与其中,包括一些经验丰富的解决方案提供商,是我们得力的帮手。从业务探索到最终应用,工具需要一个安全易用、稳定可靠的工具支持。更重要的是,选择合适的工具。首先,图怎么用,是图的纯可视化吗?还是图的查询计算?还是图的数据和业务探索?第二,传统关系型数据库能解决这个问题,还是图数据库能解决这个问题,还是需要多种工具的结合。最后,关于工具本身的功能。业务人员可能更注重探索和交互的便捷性;开发者可能更关注开发的便利性和语言是否强大;运维人员可能更关注系统管理和资源监控。不同的角色有不同的关注点,这些都是工具需要解决的问题。看完以上四个步骤,你肯定会有很多疑问。比如如何从数据的角度在图中进行探索?图中是否有任何已实施的解决方案?对于企业中不同角色对工具的关注点,TigerGraph能否满足要求?由于篇幅有限,我们将在后续内容中一一解答这些问题。总结一下,图除了知识图还能做什么?用图表思考,你会找到它。

猜你喜欢