AI人工智能&机器学习

mtain 2022年05月20日 152次浏览

一、概念

1. 人工智能

  1. 自然语言处理(NLP)
  2. 计算机视觉(CV)
  3. 语音识别

一般来说,主要是NLP和CV两个分类

NLP常见引用场景: 对话问答、机器翻译、常识推理、语言建模、文本补全、自动代码生成、自动新闻生成、国际象棋

计算机视觉(CV): 图像分类、目标检测、语义分割、实例分割

2. 预训练大模型

预训练模型: 相当于人类的基础教育,先学一些通用的知识,等到大学再分专业

AI大模型提供了一种通用化的解决方案,通过“预训练大模型+下游任务微调”的方式,可以有效地从大量标记和未标记的数据中捕获知识,极大地扩展了模型的泛化能力。

大模型可以用一个模型完成不同类型的任务,例如:写作,绘画、图像识别,以此可以实现通用人工智能(AGI)。

发布时间 研发机构 模型名称 参数量 数据规模
2018 OpenAI GPT 110M 4GB
2018 Google BERT 330M 16GB
2019 OpenAI GPT-2 1.5B 40GB
2019 Facebook RoBERTa 330M 160GB
2019 Google T5 11B 800GB
2020 OpenAI GPT-3 1750亿 2TB英文文本
2021 Google Switch Transformer 万亿
2021 阿里达摩院 M6 10万亿

主流AI框架

1. TensorFlow

发行公司:2015年11月由Google设计研发并开源

2. PyTorch

发行公司:2017年1月由Facebook人工智能研究院基于Torch推出

开源框架

1. Colossal-AI

单张消费级显卡+大内存进行AI大模型训练,一块英伟达3090单挑180亿参数大模型

官网:https://www.colossalai.org/
Github:https://github.com/hpcaitech/ColossalAI