这篇咱们浅易聊聊大模子，像咱们熟练的ChatGPT、文心一言、豆包等王人是大模子的诓骗。天然这篇著作本体浅易，但这是大模子的底层硬货。聊三点：大模子是什么？其基本使命道理是什么？其参数又是什么道理？

1. 大模子是什么？

大模子全称是大鸿沟言语模子（英文：Large Language Model 简写：LLM），一般简称大模子。咱们说文解字每个单词差别解说：模子（Model）指这是一种东说念主工智能模子，即属于AI限度；言语（Language）指可聚集或输出东说念主类熟练的天然言语；“大”指模子的参数目大（频繁10亿个参数以上，10亿的单元用B暗示，频繁看到什么7B等于70亿参数，14B等于140亿参数。面前像OpenAI的GPT-4、华为盘古、百度文心等大模子其参数目已达上万亿参数）。

2.大模子基本使命道理是什么？

浅易来说，等于本系列之前的著作——《东说念主工智能AI的100问之04：AI的颖异来自那儿？》

大模子使命道理亦然来自三大身分:算力、算法、数据。

算法：

现时大巨额大模子的算法均是来自Transformer（Transformer 是以自细心力机制为中枢的深度学习神经网罗模子。后期著作会有益先容）。

数据：大模子的数据诓骗最凡俗，因为大模子的就奔着向东说念主类这种通用智能体的标的发展的。其“泛化”性极端高。其查验数据不错说面前寰宇上能取得到数据的全集。短短几年间，传说面前能取得的数据王人被大模子学习罢了，大模子学习出现了“数据荒”，面前有公司提议了惟一让大模子学习大模子生成的二次数据了。

算力：等于咱们面前王人在争抢的GPU资源。面前咱们看到英伟达赚得阿谁形貌，3万亿好意思元市值，说真话等于大模子的“查验”将他推高的。

3.大模子的参数是什么？

面前大模子发布时，其公司王人会标志一个隆起的规格，等于其参数目是若干？来露出其智商和颖异流程的大小，从某种流程上，二者简直成正比干系。

大模子不错浅易的看是一个输入输出的函数，如上图所示，这不错四肢一个大模子的最小的逻辑握住单元，其参数等于权重，或聚集成一种开关，大模子针对用户输入的本体，通过上亿个开关的协同伙同，将所“学习”的数据进行组合，输出较为合理的谜底。是以，可见参数若干对输出本体质地干系很大。下图是握住单元更多更复杂的结构，感知一下。

不错再对比一下咱们大脑的神经元，是否很相同?是的，AI的结构等于模拟大脑神经系统，是以大巨额AI的里面结构王人称为“神经网罗”。咱们东说念主类大脑有百亿个神经元买球下单平台，与大模子有上百亿个参数的说法和量级有些不谋而合之妙。

发布于：北京市