正文

gpt2训练成本（gpt2 训练）

发布时间：2023-03-13 03:16:40 稿源：创意岭阅读： 136 问大家

大家好！今天让创意岭的小编来大家介绍下关于gpt2训练成本的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

ChatGPT国内免费在线使用，能给你生成想要的原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

你只需要给出你的关键词，它就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端，官网：https://ai.de1919.com

本文目录:

1、chatgpt需要多少显卡
2、gpt2自动识别问题
3、GPT Understands, Too
4、finetune模型和gpt3的差别

gpt2训练成本（gpt2 训练）

一、chatgpt需要多少显卡

1.6GB。ColossalAI表示，已低成本复现了一个ChatGPT训练的基本流程，包括 stage1预训练、stage2的奖励模型的训练，以及最为复杂的stage3强化学习训练。具体亮点包括：一个开源完整的基于PyTorch的ChatGPT等效实现流程，涵盖所有3个阶段，可以帮助你构建基于预训练模型的 ChatGPT 式服务。

二、gpt2自动识别问题

GPT-2（Generative Pre-trained Transformer 2）是由OpenAI开发的一个强大的自然语言处理模型，它能够自动识别出用户提问，并生成符合语法和逻辑的答案。该模型是通过对大量语言数据进行预训练而获得的，训练数据包含了互联网上的海量文本，因此模型具有很强的泛化能力和自然语言理解能力。在问答场景中，GPT-2能够快速分析提问语句中的关键信息，理解用户需求，并基于预训练经验生成符合用户期望的答案。该模型已经在多个领域中得到了广泛应用，例如智能客服、智能语音交互、个人助手等。

三、GPT Understands, Too

传统fine-tune（使用训练数据来微调模型参数），GPT在自然语言理解任务上未能取得很好的效果，关于NLU任务的一种新方法P-tuning，采用可训练的连续的 prompt embeddings。

实验表明：

与 discrete prompts类似，仅对输入进行修改，不同之处在于用differential output embeddings来代替常规的input embeddings

prompt可以非常灵活，可以插入到context x或者target y中

pseudo tokens（伪标记）

可以从原始词表V中找到一个better continuous prompts。最后，利用下游损失函数L，可以对continuous prompts hi 进行differentially optimize

training continuous prompts 存在两个问题

P-tuning中，使用promp编码器(LSTM+RELU激活的两层MLP)将hi建模为一个序列

知识探索

所有prompt search方法都需要一些额外的数据来训练或查找prompt。我们遵循AutoPrompt中的设置，作者从原始TRE-x数据集构建了一个训练集，该训练集与测试集类似，但答案分布略有不同

在传统的知识探索中，不允许通过fine-tune来改变预先训练好的模型参数。试图评估语言模型在培训前学习了多少知识。然而，这项工作的基本方面是比较P-tuning和fine-tune，尤其是在像GPT这样的单向语言模型上。特别感兴趣的是以下问题：单向和双向语言模型是否从P-tuning中获得了类似的改进？

在知识探索方面，许多事实只能通过硬编码，而不能通过语言模型进行推断。参数的微调可能会导致遗忘。相反，P-tuning不会改变预先训练的模型的参数，而是通过寻找更好的continuous prompt来存储知识。此外，在Bert和GPT采用P-tuning存在明显的差异，使用MP+FT进行微调非常有效，但是GPT并不像BERTs那样从MP+FT中受益更多。P-tuning与单向语言模型表现出更好的亲和力。在里面就更大的型号而言，例如具有110亿个参数的MegatronLM2，虽然微调几乎不起作用，但Ptuning仍然适用，并在LAMA上达到了最先进的水平。

WiC和MultiRC都有相对较大的train sets,标准fine-tune可以从更大的数据集中获得比P-tuning更多的优势。相反，在低资源环境下，P-tuning更有益

在base模型的规模下，在7项任务中，有6项任务的gpt2-base的P-tuning相比优于基于bert的模型的最佳结果，除了Wic。

与BERT-larger-base相比，带有P-tuning的GPT2在7项任务中有4项任务显示出优势

唯一的例外是WiC任务，fine-tune取得最佳结果，推测这是因为词义消歧任务不适用于prompt-based MLM prediction

用原始训练集中32个未使用的样本构建了一个新的开发集（Ddev32）设置公平比较之下，P-tuning在所有任务上都显著优于PET和PET best。更有趣的是，P-tuning甚至在7项任务中的4项任务上优于GPT-3、PET（Ddev）和iPET（Ddev）。

尽管P-tuning在大多数任务中都能取得最佳效果，但在难以表述为完形填空问题的任务（例如WiC）中，微调的效果会更好

四、finetune模型和gpt3的差别

1）训练时间：finetune模型需要很长的训练时间，而GPT-3则不用训练，只需要在现有的参数上进行微调即可。

2）计算量：finetune模型需要大量的计算资源，而GPT-3只需要很少的资源。

3）训练数据：finetune模型需要大量的标记数据，而GPT-3只需要一小部分训练数据。

4）精度：finetune模型的精度比GPT-3要高得多，它能够更准确地预测结果。

5）使用价值：finetune模型更适合用于实际的人工智能应用，而GPT-3更适合用于实验性的应用。