说明
本地运行Ai大模型的环境Ollama,相当于docker。
一、Ollama安装
Github:https://github.com/ollama/ollama
-
运行Ollama
-
下载模型
ollama run llama2
- 安装WebUI
注册信息存储在本地
第三方的WebUI:https://github.com/open-webui/open-webui
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.16.135:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
二、常见模型
模型名称 | 用途 | 发布者 | 简介 |
---|---|---|---|
gemma | 大语言模型 | 谷歌 | Gemma 是由 Google DeepMind 构建的一系列轻量级、最先进的开放模型。 |
llama3 | 大语言模型 | Meta公司 | 迄今为止最有能力的公开可用的 LLM。 |
FineWeb | 多模态大模型 | LLaVA(Large Language and Vision Assistant),即大型语言和视觉助手,是一个端到端训练的大型多模态模型,将视觉编码器和大语言模型连接起来实现通用的视觉和语言理解。 | |
codegemma | 代码生成 | 估计是基于gemma二次预训练出来的模型 |
三、大语言模型-增量预训练
AI模型的训练训练过程分为如下三个阶段
第一个阶段叫做无监督学习(PreTraining),就是输入大量的文本语料让GPT自己寻找语言的规律, 这样一个巨大的词向量空间就形成了,但是话说的漂亮并不一定正确。
第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调),就是人工标注一些语料,教会GPT什 么该说,什么不该说。(训练数据集)
第三个阶段叫做强化学习(RM,也叫奖励模型训练),就是给GPT的回答进行打分,告诉他在他 的一众回答中,哪些回答更好。(验证数据集)
MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模、强化学习训练:https://www.zhihu.com/tardis/bd/art/646784472