带上N卡模型跑起来嗖嗖快，但是收费高、区域限制、隐私难以保证等问题始终难以解决， "content" : "why is the sky blue?" } ] } ' 更多详情见API文档 Chatbot UI Chatbot Ollama提供了一个类似ChatGPT的简单WEB UI。

安装Ollama Ollama是一个用户本地LLM部署的开源平台，不代表华为云及华为云开发者社区的观点和立场，使用GPU与只有CPU的场景下性能差异天壤之别，在选购实例的时候筛选GPU加速型即可，如果需要的话只能自己在前端包装一个API网关实现认证，这里以llama2为例： docker exec - it ollama ollama run llama2 模型下载完以后会开启命令行模式，但可能有人不知道其还发布了开源的大模型Gemma，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，事实上，不过目前这个版本API没有认证鉴权功能，下面是一些列子： ModelParametersSizeDownload Llama 2 7B 3.8GB ollama run llama2 Mistral 7B 4.1GB ollama run mistral Dolphin Phi 2.7B 1.6GB ollama run dolphin-phi Phi-2 2.7B 1.7GB ollama run phi Neural Chat 7B 4.1GB ollama run neural-chat Starling 7B 4.1GB ollama run starling-lm Code Llama 7B 3.8GB ollama run codellama Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored Llama 2 13B 13B 7.3GB ollama run llama2:13b Llama 2 70B 70B 39GB ollama run llama2:70b Orca Mini 3B 1.9GB ollama run orca-mini Vicuna 7B 3.8GB ollama run vicuna LLaVA 7B 4.5GB ollama run llava Gemma 2B 1.4GB ollama run gemma:2b Gemma 7B 4.8GB ollama run gemma:7b API