一、概念
1. 人工智能
- 自然语言处理(NLP)
- 计算机视觉(CV)
- 语音识别
一般来说，主要是NLP和CV两个分类
NLP常见引用场景： 对话问答、机器翻译、常识推理、语言建模、文本补全、自动代码生成、自动新闻生成、国际象棋
计算机视觉(CV)： 图像分类、目标检测、语义分割、实例分割
2. 预训练大模型
预训练模型： 相当于人类的基础教育，先学一些通用的知识，等到大学再分专业
AI大模型提供了一种通用化的解决方案，通过“预训练大模型+下游任务微调”的方式，可以有效地从大量标记和未标记的数据中捕获知识，极大地扩展了模型的泛化能力。
大模型可以用一个模型完成不同类型的任务，例如：写作，绘画、图像识别，以此可以实现通用人工智能(AGI)。
| 发布时间 | 研发机构 | 模型名称 | 参数量 | 数据规模 |
|---|---|---|---|---|
| 2018 | OpenAI | GPT | 110M | 4GB |
| 2018 | BERT | 330M | 16GB | |
| 2019 | OpenAI | GPT-2 | 1.5B | 40GB |
| 2019 | RoBERTa | 330M | 160GB | |
| 2019 | T5 | 11B | 800GB | |
| 2020 | OpenAI | GPT-3 | 1750亿 | 2TB英文文本 |
| 2021 | Switch Transformer | 万亿 | ||
| 2021 | 阿里达摩院 | M6 | 10万亿 |
主流AI框架
1. TensorFlow
发行公司：2015年11月由Google设计研发并开源
2. PyTorch
发行公司：2017年1月由Facebook人工智能研究院基于Torch推出
开源框架
1. Colossal-AI
单张消费级显卡+大内存进行AI大模型训练，一块英伟达3090单挑180亿参数大模型
官网：https://www.colossalai.org/
Github：https://github.com/hpcaitech/ColossalAI