AI扫盲指南！什么是大模型？什么是GPT？什么prompt？什么是大模型参数？LLaMA2-70b中70b是什么？

2023年是AI席卷全球的一年，人们见识到了各种AI带来的变化，但是很多人不清楚AI中的术语。

今天，我们一起学习讨论一下吧！

看看那些新闻中的术语都是什么意思！

人们常说AI大模型，那么什么是大模型呢？

AI大模型是一种基于海量数据和强大算力的人工智能模型，AI大模型需要数百亿或数万亿级别的数据，而普通的AI模型则只需数百万或数千万级别的数据。

数据量的差异会影响模型的知识覆盖度和泛化能力，一般来说，数据量越大，模型越能学习到更多的知识和规律，也越能适应不同的任务和场景。

chatGPT中，chat代表聊天，那么GPT代表什么呢？

GPT是Generative Pre-trained Transformer的缩写，是一种基于深度学习的文本生成模型。它的特点是利用大量的互联网数据进行预训练，然后根据不同的任务进行微调，从而生成各种类型的文本，如对话、故事、诗歌等。

GPT的原理是使用一个称为Transformer的神经网络结构，它可以有效地处理自然语言，并且能够捕捉文本中的长距离依赖关系。

GPT通过在大规模的无标注文本上进行自监督学习，即让模型自己从数据中学习规律，而不需要人工提供标签或反馈。

具体来说，GPT使用了一种叫做Masked Language Modeling（MLM）的方法，它会随机地遮盖输入文本中的一些单词，然后让模型根据剩余的单词来预测被遮盖的单词。这样就可以训练模型学习语言的语法和语义知识。

ChatGPT是一种基于GPT模型开发的对话生成系统，它可以与用户进行自然、流畅、有趣的对话。

prompt是什么？为什么需要呢？

Prompt是一种用于启动人工智能模型的方式，它是一段文本或语句，用于指导模型生成特定类型、主题或格式的输出。Prompt也可以看作是一种与人工智能模型交流的语言，通过prompt，我们可以告诉模型我们想要什么样的结果，以及如何评价结果的好坏。

Prompt之所以需要，是因为人工智能模型并不是万能的，它们需要一些指引和约束，才能有效地完成特定的任务。如果没有prompt，模型可能会产生无意义或不相关的输出，或者无法理解用户的意图和需求。

比如我要生成下面的图片，我需要告诉ai我的要求，于是我输入了prompt：

small blue kiddie size pool in background with dog laying
inside it eating bubbles 35mm lens

什么是大模型参数？

我们可以理解，人工智能模型的参数就是它们的大脑神经元，它们存储了模型从数据中学习到的知识和经验，也决定了模型的智能和性能。参数越多，神经元越多，模型就越复杂，也越强大。

所以，我们经常听到一些人工智能模型被称为大模型，就是因为它们有很多的参数，比如几十亿或几千亿个。这些大模型可以在多种任务和领域中表现出高水平的智能和泛化能力，甚至可以超越人类或接近人类水平。

例如GPT4的参数大概为2800 亿

LLaMA2-70b中70b是什么？

70b代表的是模型参数大小。这个b是指十亿的意思，LLaMA2-70b就是说模型有700亿个参数。在计算机科学和工程中，b通常用来表示大数据的数量级，例如，1b表示10亿个字节，也就是1GB

什么是上下文长度？越长越好么？

AI大模型上下文长度是指AI模型在生成预测或生成文本时，所考虑的输入文本的大小范围。上下文长度对于AI模型的性能有着重要的影响。一般来说，更长的上下文长度可以让模型看到更多的信息，从而做出更准确、流畅、创造性的预测或生成。

通俗的说，上下文长度就是记忆力，越长的AI，和你对话的越久。

出自：https://mp.weixin.qq.com/s/qyLqSQaFY-fiJhhzjm255Q