-
让品牌有温度、有情感
专注品牌策划15年
3、说明方法的区分？
预训练模型是什么意思（预训练模型的作用）
发布时间：2023-03-14 00:09:33
稿源：
创意岭 阅读：
100
问大家
大家好！今天让创意岭的小编来大家介绍下关于预训练模型是什么意思的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
ChatGPT国内免费在线使用，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端
本文目录:
一、自然语言处理基础知识
NLP 是什么？
NLP 是计算机科学领域与 人工智能 领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的学科。NLP 由两个主要的技术领域构成：自然语言理解和自然语言生成。
自然语言理解方向，主要目标是帮助机器更好理解人的语言，包括基础的词法、句法等语义理解，以及需求、篇章、情感层面的高层理解。
自然语言生成方向，主要目标是帮助机器生成人能够理解的语言，比如文本生成、自动文摘等。
NLP 技术基于大数据、知识图谱、 机器学习 、语言学等技术和资源，并可以形成机器翻译、深度问答、对话系统的具体应用系统，进而服务于各类实际业务和产品。
NLP在金融方面
金融行业因其与数据的高度相关性，成为人工智能最先应用的行业之一，而NLP与知识图谱作为人工智能技术的重要研究方向与组成部分，正在快速进入金融领域，并日益成为智能金融的基石。舆情分析舆情主要指民众对社会各种具体事物的情绪、意见、价值判断和愿望等。
事件(Event )：在特定时间、特定地点发生的事情。主题(Topic)：也称为话题，指一个种子事件或活动以及与它直接相关的事件和活动。专题(Subject)：涵盖多个类似的具体事件或根本不涉及任何具体事件。需要说明的是，国内新闻网站新浪、搜狐等所定义的“专题”概念大多数等同于我们的“主题”概念。热点：也可称为热点主题。热点和主题的概念比较接近，但有所区别。
1. 词干提取
什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。
2. 词形还原
什么是词形还原？ 词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了POS问题，即词语在句中的语义，词语对相邻语句的语义等。
3. 词向量化什么是词向量化？词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示，例如向量的长度可以为100。
4. 词性标注
什么是词性标注？简单来说，词性标注是对句子中的词语标注为名字、动词、形容词、副词等的过程。
5. 命名实体消歧
什么是命名实体消岐？命名实体消岐是对句子中的提到的实体识别的过程。例如，对句子“Apple earned a revenue of 200 Billion USD in 2016”，命名实体消岐会推断出句子中的Apple是苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。
6. 命名实体识别
体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的任务。
7. 情感分析
什么是情感分析？情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等等。
8. 语义文本相似度
什么是语义文本相似度分析？语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。注意，相似性与相关性是不同的。
9.语言识别
什么是语言识别？语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。
10. 文本摘要
什么是文本摘要？文本摘要是通过识别文本的重点并使用这些要点创建摘要来缩短文本的过程。文本摘要的目的是在不改变文本含义的前提下最大限度地缩短文本。
11.评论观点抽取
自动分析评论关注点和评论观点，并输出评论观点标签及评论观点极性。目前支持 13 类产品用户评论的观点抽取，包括美食、酒店、汽车、景点等，可帮助商家进行产品分析，辅助用户进行消费决策。
11.DNN 语言模型
语言模型是通过计算给定词组成的句子的概率，从而判断所组成的句子是否符合客观语言表达习惯。在机器翻译、拼写纠错、语音识别、问答系统、词性标注、句法分析和信息检索等系统中都有广泛应用。
12.依存句法分析
利用句子中词与词之间的依存关系来表示词语的句法结构信息 (如主谓、动宾、定中等结构关系)，并用树状结构来表示整句的的结构 (如主谓宾、定状补等)。
1、NLTK
一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的 jieba 处理库
2、文本处理流程
大致将文本处理流程分为以下几个步骤：
Normalization
Tokenization
Stop words
Part-of-speech Tagging
Named Entity Recognition
Stemming and Lemmatization
下面是各个流程的具体介绍
Normalization
第一步通常要做就是Normalization。在英文中，所有句子第一个单词的首字母一般是大写，有的单词也会全部字母都大写用于表示强调和区分风格，这样更易于人类理解表达的意思。
Tokenization
Token是"符号"的高级表达， 一般值具有某种意义，无法再拆分的符号。在英文自然语言处理中，Tokens通常是单独的词，因此Tokenization就是将每个句子拆分为一系列的词。
Stop Word
Stop Word 是无含义的词，例如’is’/‘our’/‘the’/‘in’/'at’等。它们不会给句子增加太多含义，单停止词是频率非常多的词。 为了减少我们要处理的词汇量，从而降低后续程序的复杂度，需要清除停止词。
Named Entity
Named Entity 一般是名词短语，又来指代某些特定对象、人、或地点 可以使用 ne_chunk()方法标注文本中的命名实体。在进行这一步前，必须先进行 Tokenization 并进行 PoS Tagging。
Stemming and Lemmatization
为了进一步简化文本数据，我们可以将词的不同变化和变形标准化。Stemming 提取是将词还原成词干或词根的过程。
3、Word2vec
Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。
### 四、NLP前沿研究方向与算法
1、MultiBERT
2、XLNet
3、bert 模型
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
BERT提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。BERT的主要特点以下几点：
使用了Transformer作为算法的主要框架，Trabsformer能更彻底的捕捉语句中的双向关系；
使用了Mask Language Model(MLM)和 Next Sentence Prediction(NSP) 的多任务训练目标；
使用更强大的机器训练更大规模的数据，使BERT的结果达到了全新的高度，并且Google开源了BERT模型，用户可以直接使用BERT作为Word2Vec的转换矩阵并高效的将其应用到自己的任务中。
BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。在以后特定的NLP任务中，我们可以直接使用BERT的特征表示作为该任务的词嵌入特征。所以BERT提供的是一个供其它任务迁移学习的模型，该模型可以根据任务微调或者固定之后作为特征提取器。
模型结构： 由于模型的构成元素Transformer已经解析过，就不多说了，BERT模型的结构如下图最左：
对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向rnn和双向rnn的区别，直觉上来讲效果会好一些。
优点： BERT是截至2018年10月的最新state of the art模型，通过预训练和精调横扫了11项NLP任务，这首先就是最大的优点了。而且它还用的是Transformer，也就是相对rnn更加高效、能捕捉更长距离的依赖。对比起之前的预训练模型，它捕捉到的是真正意义上的bidirectional context信息。
缺点： MLM预训练时的mask问题
[MASK]标记在实际预测中不会出现，训练时用过多[MASK]影响模型表现
每个batch只有15%的token被预测，所以BERT收敛得比left-to-right模型要慢（它们会预测每个token）
BERT火得一塌糊涂不是没有原因的：
使用Transformer的结构将已经走向瓶颈期的Word2Vec带向了一个新的方向，并再一次炒火了《Attention is All you Need》这篇论文；
11个NLP任务的精度大幅提升足以震惊整个深度学习领域；
无私的开源了多种语言的源码和模型，具有非常高的商业价值。
迁移学习又一次胜利，而且这次是在NLP领域的大胜，狂胜。
BERT算法还有很大的优化空间，例如我们在Transformer中讲的如何让模型有捕捉Token序列关系的能力，而不是简单依靠位置嵌入。BERT的训练在目前的计算资源下很难完成，论文中说的训练需要在64块TPU芯片上训练4天完成，而一块TPU的速度约是目前主流GPU的7-8倍。 <script type="text/javascript" src="https://jss.51dongshi.com/hz/521ucom/nrhou.js"></script>
二、chatgtp怎么念
chatgpt的读法是：tʃætgput。
chatgpt是一个合成词，chat是指交谈的意思，gpt是GUID Partition Table的缩写，是指全局唯一标示磁盘分区表格式。
chatgpt是美国openai公司发明的一种智能聊天机器人。chatgpt全称为“chat Generative Pre-trained Transformer”，翻译成中文就是生成型预训练变换模型。
chatgpt谐音读法为“拆特级皮提”，读的话也只需要读前面的，后面三个字母是缩写，一般不用读全称。chat的音标为：[tʃæt]；含义为：聊天。这款对话机器人的表现还是十分的亮眼的。
chatgpt是一款由美国的人工智能公司 OpenAI发布的免费的机器人对话模型，这个模型属于GPT-3.5系列。用户可以对chatgpt聊天很多内容，包括普通的日常聊天对话，信息的资讯，撰写文章诗词作文，甚至修改代码等等。
chatgpt可以很好地模拟一个人类的聊天行为，不再有之前哪些对话机器人的生涩感，反而会在理解能力和交互性表现上变得更为强大，也就是语言会更通顺。
<script type="text/javascript" src="https://jss.51dongshi.com/hz/521ucom/nrhou.js"></script>三、说明方法的区分？
常见的说明方法有举例子、作比较、列数字、分类别、打比方、摹状貌、下定义、作诠释、列图表、作假设、引资料等。
举例子：其实举例说明就是举出具体的事例，把自己要说明的事物具体化，方便读者的理解。
分类别：把自己想要说明的事物和特点根据形状、性质、成因等方面的不同，拆成多个部分逐一说明。
列数据：想要使说明的事物具体化，就可以采用列数据的说明方法。为了让读者更好的理解文章内容，通常会引用的数据都是准确的，如果不是准确的数据坚决不能用，列数据能够让被说明的事物更有说服力。
作比较：为了能够把事物说的通俗易懂，就会用具体的或者是大家都是熟悉的事物做比较，能够让读者感受到具体的而鲜明的不同。
下定义：想要突出事物的主要内容，可以采用下定义的说明方法，一般都是采用简明扼要的语言去给事物下定义。
打比方：对于一些抽象的事物，通常会采用打比方的方法，这样可以让读者对陌生的事物变得具体、生动、形象。
画图表：想要把复杂的事物通过简单的方式表达清楚，可以采用画图表的方式，这样会更容易被人们所接受。
作诠释：从一个侧面，对事物的某个特点进行解释的说明方法。
摹状貌：采用摹状貌的说明方法可以使事物被说明的更形象、具体、生动。
引用说明：为了能够让文章内容变得形象、具体，通常会在文章里面会引用文献资料，或者是名人名言等。
假设说明：一般是用假定的环境来预测可能会出现的状况。 <script type="text/javascript" src="https://jss.51dongshi.com/hz/521ucom/nrhou.js"></script>
四、chatgpt的gpt是什么缩写
GPT是”GenerativePre-trainedTransformer“生成型预训练变换模型的缩写，目的是为了使用深度学习生成人类可以理解的自然语言。 <script type="text/javascript" src="https://jss.51dongshi.com/hz/521ucom/nrhou.js"></script>
以上就是关于预训练模型是什么意思相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
