Ai本地大模型运行环境-Ollama

mtain 2024年03月26日 231次浏览

说明

本地运行Ai大模型的环境Ollama,相当于docker。

一、Ollama安装

image.png
Github:https://github.com/ollama/ollama

  1. 运行Ollama

  2. 下载模型

ollama run llama2

  1. 安装WebUI
    注册信息存储在本地

第三方的WebUI:https://github.com/open-webui/open-webui

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.16.135:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

二、常见模型

模型名称用途发布者简介
gemma大语言模型谷歌Gemma 是由 Google DeepMind 构建的一系列轻量级、最先进的开放模型。
llama3大语言模型Meta公司迄今为止最有能力的公开可用的 LLM。
FineWeb多模态大模型LLaVA(Large Language and Vision Assistant),即大型语言和视觉助手,是一个端到端训练的大型多模态模型,将视觉编码器和大语言模型连接起来实现通用的视觉和语言理解。
codegemma代码生成估计是基于gemma二次预训练出来的模型

三、大语言模型-增量预训练

AI模型的训练训练过程分为如下三个阶段

第一个阶段叫做无监督学习(PreTraining),就是输入大量的文本语料让GPT自己寻找语言的规律, 这样一个巨大的词向量空间就形成了,但是话说的漂亮并不一定正确。

第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调),就是人工标注一些语料,教会GPT什 么该说,什么不该说。(训练数据集)

第三个阶段叫做强化学习(RM,也叫奖励模型训练),就是给GPT的回答进行打分,告诉他在他 的一众回答中,哪些回答更好。(验证数据集)


MedicalGPT:基于LLaMA-13B的中英医疗问答模型(LoRA)、实现包括二次预训练、有监督微调、奖励建模、强化学习训练:https://www.zhihu.com/tardis/bd/art/646784472