单元2
ChatGPT:最贴近人的人工智能?
前一个单元我们了解了什么是AI,而AI的类型五花八门,例如:AI聊天机器人能快速地了解顾客的问题,并提供更有效的答案;AI运用从大规模自由文本资料组中分析出的关键信息,改善行程计划;AI推荐引擎可以根据使用者的浏览习惯,自动推荐与使用者相关或使用者可能感兴趣的信息。
虽然人工智能总让人联想到控制世界,但人工智能的出现并不是为了取代人类,AI的重点在于超级思维与数据分析的过程和能力,AI的目的是辅助人类,并为世界作出贡献,因此AI是非常有价值的商业资产。
在2022年年末,OpenAI发布了ChatGPT聊天机器人后,这个词瞬间火遍了全世界,大家都在讲ChatGPT要取代人类,将让很多人失业。但你可能还没搞懂ChatGPT是什么、怎么用。这本书就是希望能够用最通俗易懂的方式,用不带任何复杂技术词汇的方式告诉你什么是ChatGPT以及其他AI相关软件技术,并让你明白如何利用它们帮你改善生活。
ChatGPT是什么?
ChatGPT是一个语言生成模型,它拥有理解及回答人类语言提问的能力,原理是通过“自然语言处理”(NLP)和“自然语言生成”(NLG)技术进行人机交互,从而生成相应的语言回答。
ChatGPT就像人类一样,可以进行日常对答,不仅能回答问题,还会承认错误并质疑不正确的先决条件,拒绝不合理的要求,和它对话与一个有血有肉的真人对谈无根本差异。
小辞典
自然语言处理(NLP)
一种机器学习技术,让计算机能够解译及理解人类语言。现今许多组织拥有来自各种信息渠道的大量语音和文字资料,如电子邮件、短信、社交媒体新闻摘要、影片、音频等。他们使用NLP软件自动处理这些资料,分析信息中的意图或情绪,并实时回应人类信息。
自然语言生成(NLG)
是自然语言处理的一部分,从知识库或逻辑形式等机器表述系统生成自然语言。这种表述形式作为心理表述的模型时,心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。
ChatGPT的原理是什么?
ChatGPT的原理具体来说,就是使用了一种被称为“Transformer”的模型架构,这种模型能够从大量文本数据中学习语言的结构、语法、词汇等知识,进而生成自然流畅、有逻辑的回答。
为了训练ChatGPT, OpenAI使用了庞大的文本数据库,包括网页内容、书籍、新闻文章等。这些数据经过处理与清洗后,通过大量的运算资源和分布式训练技术,让ChatGPT从中学习到大量的知识,通过这种方式,ChatGPT成了一个强大的自然语言处理模型,能够完成语言理解、回答问题、生成对话等多种任务。
小辞典
Transformer
是一种使用注意力机制(Attention Mechanism)的深度学习模型,主要用于处理序列型数据,如自然语言中的词语序列。该模型最初由谷歌团队提出,并在机器翻译、语言理解、生成对话等自然语言处理任务中取得了显著成效。
数据处理与清洗
是指对原始数据进行预处理,以便机器学习模型能够更快地学习和理解数据。在ChatGPT训练过程中,数据的处理和清洗是非常关键的一步。
以下是数据处理和清洗的一些常见步骤。
分词(Tokenization)
将文本转换成一系列的词汇或符号,作为模型输入。常见的分词方法包括基于空格、标点符号、字母等。
去除停用词(Stop Words Removal)
去除一些常见的、无意义的词汇,如“的、了、是”等,以减少模型对这些词汇的学习。
词干提取(Stemming)或词形还原(Lemmatization)
将词汇转换成其基本形式,以减少模型需要学习的词汇量。
数据清理
去除无意义的字符或标记,如HTML标签、特殊符号等。
数据标注
对文本进行标记,如词性标注、命名实体识别等。
ChatGPT的语言生成模型

将“I'm hungry.”发送给ChatGPT模型,模型会按如下方式生成信息:肚(子、皮、围……)。模型会结合历史信息生成文字,像文字接龙般产生肚子或肚皮等词汇。但光靠学习文字接龙,ChatGPT仍不知道该如何给出有用的回答,因此需要靠人类给ChatGPT一些问题,并人工写出答案,接着再把资料一并丢给ChatGPT,借此引导ChatGPT去看类似人工问题的文句,而不是只吸收无法成为有效输出的信息。
ChatGPT模仿人类喜好

为了进一步让ChatGPT了解哪些文句是好答案,此时须借助“语言模型”,此模型能以人类的评分标准为ChatGPT给出的答案评分,帮助ChatGPT模仿人类的偏好。
举例来说,如果向ChatGPT提问“老婆生气怎么办”之后,我们通过人工标注给出人类的喜好,例如赶快道歉、送花给她……这样当问题再次出现时,语言模型就会知道要跟什么信息靠近,这也是ChatGPT会受欢迎的原因之一,因为它给的答案模仿了人类喜好。
以下是我向ChatGPT提问收到的回答。
我问:ChatGPT有使用强化学习技术(人工评分)进行训练吗?
ChatGPT答:
ChatGPT模型本身并没有使用强化学习技术进行训练。ChatGPT模型是一种基于自我监督学习的语言模型,它通过大量的文本资料来自我学习和训练,预测给定上下文的下一个词语。
然而,在一些场景中,如与人类进行对话的过程中,ChatGPT可以被视为一个智慧体,它能接受人类的输入并生成相应的回复。在这种情况下,强化学习技术可以被应用于优化ChatGPT的回复,使其能够更准确地与人类进行交互。
例如,可以将ChatGPT视为一个对话代理,它的任务是根据人类使用者的输入来生成回复,并在每个时间点上获得奖励信号,判断它的回复是否满足了用户的需求。使用强化学习技术可以优化ChatGPT,使其在与用户交互的过程中能够生成更自然、流畅和满足用户需求的回复。
值得注意的是,ChatGPT无法每次都给出正确答案,ChatGPT只是善于模仿人类语言,能让答案听起来准确,但这未必代表ChatGPT对真实世界有所理解,所以,每个使用AI技术的人都有检查的责任,这也是对道德与科技进步的尊重。就像你是一位大厨,聘请一位二厨(ChatGPT)来帮忙,大厨有责任监督二厨产出的成果,总不能让二厨随意出餐,这样还要大厨做什么?
所以ChatGPT是全能的神吗?不是的,但它是辅助我们工作或生活的好帮手、好工具。这么好的东西,当然要拥抱它,尽可能地使用它!