本文反驳了将 GPT-3 比作“随机鹦鹉”的讽刺,因为 GPT-3 不仅可以识别风格和体裁这样高层次特征,还可以再现之,这意味着它能够创建与其他推论相关联的推论,从而形成意义网络,由而给对文本解释感兴趣的人带来了挑战,引发了文学批评如何回应这些文本的深刻问题。
她还认为 GPT-3 中有一个由指引性网络构建的环世界,与人的世界有很大不同。能描述,就理解了它。
在《论随机的鹦鹉的危险:语言模型可以太大吗?🦜》《反对理论》中,“作者的意图”对于大语言模型(简称大模型)意味着什么,以及意义必须来自真实世界经验这一论断,都还没得到质问。一种抨击会注意到,大模型当然有意图,也就是人们所知道的它们的程序。 而且,这些都是源于人脑的,因此,意图,包括要交流的意图,都构成了这些模型之架构的基础,并贯穿于这些模型的操作。 “但这不是我们的意思”,《论随机鹦鹉的危险:语言模型可以太大吗?🦜》《反对理论》这群人抢着说,“我们的意思是模型本身没有意图。”这一论断就要求我们去检视大模型的程序,看看它们是不是被设置为来产生意图的。
正如莱夫·韦瑟比和布赖恩·贾斯特(Leif Weatherby and Brian Juste)指出的那样,大模型在内在上就是指示性的。它们将词分解成个别符(tokens),并在位置编码空间(positional embedding space)中把向量位置分配给个别符,而编码空间是根据这些个别符被关联到其他哪些向量以及个别符在句中的位置而构建的。向量之间的连接被表达为权重或参数,由程序在训练中分配给不同神经元。 并行地运行的注意机制和自我注意机制,会根据个别符在句法和语义上的关联(correlations),来建立个别符之间的连接(connections)。大致上,参数的数量指明了神经元之间有多少连接;在 GPT-3 的案例中,是 1750 亿个连接;而就 GPT-4 来说,则是 1700 万亿。通过以矩阵数学来操纵的这些向量,程序就构造出由向量关联所组成的复杂的多维图谱;由此产生的概率通过 Softmax 等软件包来运行,再将其转换为单词。于是,在本质上,向量就充任着皮尔斯所说的(Peircean)指示性表示(indexicals):指示着关联的那些符号。
GPT-3 和 GPT-4 有许多预料不到的能力,都是通过它们的训练而自发涌现的(这些能力没有明确地编入程序)。一项技能就是检测和复制文学地风格和类型。我们如何解释这些能力呢?从本质上讲,风格运用的修辞手法对人与人的关系有多重影响;类型则根据规则运作,决定文学活动发生的世界类型。例如,在侦探小说中,尸体不可能自发地爬出坟墓。侦测风格的能力来自庞大的关联网络,而语言学家则利用这些关联网络来推断修辞所隐含的关系。此外,这些推论本身形成的网络会导致更高阶的推论,例如从风格到体裁的飞跃。 如果大模型可以了解体裁所隐含的世界类型,那么它们又能了解人类所居住的世界(诚然要复杂得多)的哪些方面呢?
在没有任何现实世界经验的情况下,一个能够构建数十亿或数万亿推论、推论网络和网络网络的实体,能够从摄取数十亿人类撰写的文本中学到关于人类语言、文化和社会关系的什么?我的回答是:能学到非常多。当然,会存在我所说的系统性的参照的脆弱性,即缺乏现实世界的经验基础会导致解释和事实错误。大模型就像哲学家钟爱的这个形象——缸中之脑;它们构建的不是世界的模型,而只是语言模型。尽管如此,被用来训练大模型的、由人类作者写的文本那海量的全部内容中内嵌着的,是关于人类意义世界的许多内涵(implications)。这些要在关于大模型能够做和领会什么的语境中得到理解,也就是在与它们的世界-视域,或者用雅各布·冯·尤克斯考尔通常用来指称生物性的世界-视域的一句话来说——它们的环世界(德语 umwelt)的关系中得到理解。正如冯·尤克斯考尔使用环世界一词来强调所有生物性的造物都有其物种特有的感知世界的方式一样,语言学家也有其独特的感知世界的方式。
对于大模型所学的东西,领会(Apprehension)可能是比起“理解”(comprehension)(因为它们所学的东西远非全面缺乏感官输入或真实世界的经验)、“思维”或“sentience”(感知性)(其词源学上的根源指向了感觉 [sensations],而这正是大模型所缺乏的)更合适的术语。 此外,apprehension 的另一个意义是恐惧或焦虑感,也适合人类对大模型的反应,正如最近科技领袖们的“公开信”所强调的那样。 由于人的环世界**与大模型的环世界显著的差异,人类投射到大模型所生成的文本上的含义与这些文本在大模型自身的环世界语境下的含义之间不可避免会存在差距。我们人类如何才能学会读懂这些来自不同(纯语言)世界的信息呢?在这里,文本解读的文学批评方法可以发挥重要作用。作者意图与读者对文本的投射之区别是一个典型的问题,文学批评实践为此设计了许多策略来探索和理解这一问题。例如,细读实践关注修辞结构、隐喻网络及其如何引导接受,以及支撑论证思路的隐含假设。从中可以推断出作者意图,以及如何引起读者的特定反应。无独有偶,这些也是大模型最初用来构建它们的回答的相关模式。
在我看来,问题不在于这些文本是否有意义,而在于它们能够和确实具有什么样的意义。在我看来,这不应该通过抽象论证来确定,而应该通过实际阅读这些文本,并利用有关大模型架构的背景知识来解释和理解它们。只有做了才知道;它们肯定会在读者那里引起意义,它们会在言语表演(verbal performance)的世界里行动,产生现实世界的后果和牵连(implications)。当它们越来越影响和决定着现实世界的系统如何运作时,我们最不应该做的就是把它们当作毫无意义的东西。更好的办法是利用它们来理解算法意义是如何构建的,以及它们如何与其他言语表演相互作用,从而创造出意义的语言世界,而这个世界不再仅仅是人类的世界了。