menu
技术专栏|知识融入 LLM——知识及其表示方式
2025-12-05

什么是知识?

根据牛津字典中定义,知识是通过经历或者教育获取的事实、信息或者技巧。知识的意义一般来说很难定义,在知识的产生过程中,它首先表现为有用的信息,随后被验证。从人类的角度看,知识的获取涉及许多复杂的过程:通过视觉感知世界,借助眼睛获取知识;通过阅读或语言交流获取信息;在实践中,通过生活经验学习技能,并在此基础上推导出新的知识。从计算机科学的角度出发,将知识理解为关于关系的验证信息,可以理解为特定环境下实体之间的关系,知识表现得越正式,就越容易被整合到机器学习中。

知识可以来自一个既定的知识领域,也可以来自具有各自经验的个人群体。知识的来源可以分为三大类:比较专业和正规的科学知识,日常生活中的世界知识,以及比较直观的专家知识。

(1)科学知识。将科学、技术、工程和数学等学科归入科学知识。这样的知识通常是正式的,并通过科学实验明确地加以验证。例如,物理学的普遍规律、遗传序列的生物分子描述,以及材料形成的过程。

(2)世界知识。日常生活中几乎人人都知道的事实,因此也可以称为一般知识。它可以是正式的,也可以是非正式的。一般来说,它是直观的,由人类在他们周围的世界中推理出的隐性验证。因此,世界知识通常描述的是人类所感知的世界中出现的物体或概念的关系,例如,鸟有羽毛并能飞的事实。此外,语言学也属于世界知识,因为这种知识也可以通过实证研究得到明确的验证。语言的语法和语义就是例子。

(3)专家知识。是指由一个特定的专家群体所拥有的知识。在专家群体中,它也可以被称为共同的知识。这样的知识是相当非正式的,需要被正式化,例如,人机界面。它也是通过有经验的专家隐性验证的。在认知科学的背景下,这种专家知识也可以是直觉。例如,一个工程师或医生通过在特定领域工作的数年经验获得了知识。


知识的表示


如果知识是预先存在的,并且与学习算法无关,那么它们可以被称为先验知识,这种先验知识可以通过形式化表示,以一种独立于学习问题和训练数据的方式存在。在知识表示方面,发现了多功能和细粒度的方法。图8.1所示为知识表示的说明性概述,图中描述了知识是如何被正式表示的,并可以对这些类型通过简单的例子来进行概念性的概述说明。

(1)代数方程。代数方程是一种表示知识的方式,其描述了由变量或常数组成的数学表达式之间的平等或不平等关系。方程可以用来描述一般的函数,也可以用来将变量约束在一个可行的集合中,因此有时也被称为代数约束。图8.1中突出的例子是质能等价的方程和不等式,说明在真空中没有任何速度能比光速快。 

图 8.1 知识表示的说明性概述图示


(2)微分方程。微分方程是代数方程的一个子集,它描述了函数与其空间或时间上的导数之间的关系。图8.1中两个著名的例子是热方程(偏微分方程)和牛顿第二定律(常微分方程)。在这两种情况下,都存在一个(可能是空的)函数集,在给定的初始或边界条件下解微分方程。微分方程往往是计算机数值模拟的基础。将微分方程和模拟结果的类别区分开,即前者代表一个紧凑的数学模型,而后者则代表展开的、基于数据的计算结果。

(3)仿真结果。仿真结果描述了计算机仿真的数值结果,它是对现实世界过程行为的近似模仿。仿真引擎通常使用数值方法解数学模型,并针对特定情况的参数生成结果。这个数值结果即在此描述的模拟结果,作为最终的知识表示。例如,模拟流体的流场或模拟交通场景的图片。

(4)空间不变性。空间不变性描述的是在数学变换(如平移和旋转)下不会改变的属性。如果一个几何对象在这种变换下是不变的,它就有对称性。如果一个函数在其参数的对称变换下有相同的结果,那么它就具有不变性。

(5)逻辑规则。逻辑提供了一种将有关事实和依赖关系的知识形式化的方法,并允许将普通语言语句(例如,IF A THEN B)转换为正式的逻辑规则 (A ⇒B)。一般来说,逻辑规则由一组布尔表达式 A, B 和逻辑连接词 (∧, ∨, ⇒,···) 组成。逻辑规则也可以被称为逻辑约束或逻辑句子。

(6)知识图谱。图是 (V ; E) 的集合,其中 V 是其顶点, E 表示边。在知识图谱中,顶点(或节点)通常描述概念,而边则表示它们之间的(抽象)关系,如图8.1中的例子“人穿衬衫”(Man, wears, Shirt)。在一个普通的加权图中,边可以量化节点之间关系的强度和方向。

(7)概率关系。概率关系的核心概念是一个随机变量 X,可以根据基础概率分布P (x) 从中抽取样本 x。两个或多个随机变量 X,Y 可以是相互依赖的,具有联合分布(x, y)∼P (X, Y )。先验知识可以是对随机变量的条件独立性或相关结构的假设,甚至是对联合概率分布的完整描述。

(8)人类反馈。人类反馈指的是通过用户和机器之间的直接接口来转换知识的技术。输入模式的选择决定了信息传输的方式。典型的模式包括键盘、鼠标和触摸屏,其次是语音和计算机视觉,例如,用于运动捕捉的跟踪设备。理论上,知识也可以直接通过大脑信号传输,使用脑机接口。

DIKW 模型(letter-spacing: 0.5px; color: rgb(26, 40, 237); font-weight: bold;">DIKW 模型将数据、信息、知识、智慧纳入一种金字塔形的层次体系,每一层都比其下面的一层具有更抽象的一些特质。原始观察及量度获得了数据;分析数据间的关系获得了信息;在行动中应用信息产生了知识;智慧关心未来,它含有暗示和滞后的影响。 

图 8.2 DIKW 模型的体系


这里主要说明一下 DIKW 模型中知识和其他几个元素的关系,如果说数据是一个事实的集合,从中可以得出关于事实的结论, 那么知识就是信息的集合,它使信息变得有用。知识是对信息的应用,是一个对信息判断和确认的过程,这个过程结合了经验、上下文、诠释和反省。知识是从相关信息中过滤、提炼及加工而得到的有用资料。特殊背景/语境下,知识将数据与信息、信息与信息在实践中的应用联系起来,它体现了信息的本质、原则和经验。此外,基于推理和分析,知识还可能产生新的知识。至于智慧,则是人类所表现出来的一种独有的能力,主要表现为收集、加工、应用、传播知识的能力,以及对事物发展的前瞻性看法。在知识的基础之上,通过经验、阅历、见识的累积,形成对事物的深刻认识、远见,体现为一种卓越的判断力。

全文引自《开启智能对话新纪元:大规模语言模型的探索与实践》