会员制购物APP
让生活更精致更美好！
Hi，请  登录  或  注册
当前位置：嘟买买博客 互联网 人工智能 正文

如何在部署Llama 3，拥有自己的本地AI大模型 私有大模型

2024-06-18 分类：人工智能 阅读() 评论(0)

以下版本为 Win 系统

Mac 操作方式一致，命令需要在终端中运行；

Ollama Github 主页

GitHub – ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

首先需要下载安装一个 Ollama 平台

Ollama  https://www.ollama.com

下载后解压安装，安装过程就不展示了

搜索电脑里的 启用或关闭 windows 功能

打开适用于 linux 的 windows 子系统，并重启电脑

重启电脑后，安装 Docker 桌面

www.docker.com

安装好后，需要再次重启电脑
重启后。继续安装

安装完成后，启动电脑命令提示符，输入一下命令。进行安装（Win系统）

大概下载时间为，10分钟左右
其实这一步只是为了，可以有一个类似ChatGPT的对话UI界面
官方具体说明如下：
https://github.com/open-webui/open-webui
https://docs.openwebui.com/migration
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Mac 系统如下。在终端中运行
安装完成，打开地址 http://127.0.0.1:3000

任何邮箱都可以注册 OpenWebUI

登录后，可切换语言
切换到模型，搜索模型
目前国内外市场上主流开源模型这里都可以找到
选择模型版本号
复制模型名称
删除，模型名的前缀
开始进入下载
下载完成后，即可切换模型使用了
看到很多同学对于 Llama 3 中文理解不友好的问题，也找到了解决办法
是由 王慎执 博士微调后的中文版 Llama 3
以下为，huggingface主页
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat
在搜索框搜索 shenzhi 即可找到
演示结果，不会出现英文
二次启动只需要，启动 Docker 桌面即可，并且可以完全断网使用
AD：【供应链全球解决方案】SpiderSupply
赞(0) 打赏
未经允许不得转载：嘟买买博客 » 如何在部署Llama 3，拥有自己的本地AI大模型
分享到

龙玄机

会员制购物APP

相关推荐

作者介绍

龙玄机

    阅读作者的全部文章

    文章目录

    • Ollama Github 主页
    • 首先需要下载安装一个 Ollama 平台
    • 搜索电脑里的 启用或关闭 windows 功能
    • 重启电脑后，安装 Docker 桌面
    • 安装完成后，启动电脑命令提示符，输入一下命令。进行安装（Win系统）
    • 任何邮箱都可以注册 OpenWebUI

    快讯

    • 本地部署 Docker + Ollama + MaxKB 搭建属于个人的私有知识库 AI知识库

      准备文件：Docker Disk 、Ollama 、 MaxKB

      1、Docker 安装

      Docker 下载地址：www.docker.com

      2、Ollama 安装

      Ollama 下载地址：https://www.ollama.com

      3、MaxKB 安装

      MaxKB 官方地址：http://www.maxkb.cn 开源代码地址：https://gitee.com/fit2cloud-feizhiyun/MaxKB MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好； 无缝嵌入：支持零编码快速嵌入到第三方业务系统； 多模型支持：支持对接主流的大模型，包括本地私有大模型（如 Llama 2、Llama 3）、通义千问、OpenAI、Azure OpenAI、Kimi 和百度千帆大模型等。

      快速开始

      docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
      # 用户名: admin # 密码: MaxKB@123.. 你也可以通过 1Panel 应用商店 快速部署 MaxKB + Ollama + Llama 2，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。 你也可以在线体验：DataEase 小助手，它是基于 MaxKB 搭建的智能问答系统，已经嵌入到 DataEase 产品及在线文档中。

      重要问题：

      1、关于MaxKB UI内API域名设置问题：

      （▲注意：设置好后重启Ollama）（以下二选一） 
        1.必须设置系统 Windows 用户环境变量：
  变量名：OLLAMA_HOST
  变量值：:8000
  API域名：（本机IP）:8000
  
  2.必须设置系统 Windows 用户环境变量：
  变量名：OLLAMA_HOST
  变量值：0.0.0.0
  API域名：http://host.docker.internal:11434

      2、每次在Docker中重启MaxKB容器后，已配置的知识库和模型设置会被清空

      问题描述：

      使用 docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb 安装后，在docker中对容器maxkb重启后，通过localhost:80880访问，之前添加的知识库、模型设置等数据会全部清空。

      解决方法：

      Windows 系统，需要把docker 容器挂载到硬盘的某个位置就可以了。步骤： 删除现有容器，重新执行：

      docker run -d --name=maxkb -p 8080:8080 -v F:/MaxKB:/var/lib/postgresql/data 1panel/maxkb

      docker run -d --name=maxkb -p 8080:8080 -v F:/MaxKB:/var/lib/postgresql/data 1panel/maxkb 就可以了。

      我把它挂在了 F:/MaxKB 的目录里了

      说明：红色文字部分，替换为你设置的 MaxKB 文件夹路径，注意其他路径确保正确哦。

    • Stable Diffusion整合包v4.9发布！解压即用 防爆显存 三分钟入门AI绘画 秋葉整合包

      最好用的整合包！持续更新中~ 求个关注加一键三连！ 最近一次更新整合包是 【24年8月】不用担心，就是最新的！ 直接下载就好了 拿了资源就给个关注吧，绝对是全网最好的整合包~ 拿完不会用？肯定还得回来看我的教程 ====================================================== 本整合包基于开源项目Stable Diffusion WebUI制作，仅供学习AIGC相关技术。 任何使用整合包以及启动器，生成相关图片造成的后果以及责任都将由使用者承担。 ====================================================== 下载链接 -> https://pan.quark.cn/s/2c832199b09b 其他网盘以及具体解释请看顶置评论 最新一次更新整合包版本v4.9，24 年 8 月更新。 本整合包支持SDXL，预装多种必须模型。无需安装git、python、cuda等任何内容，无需任何配置解压即用 【下载链接】 网盘：https://pan.quark.cn/s/2c832199b09b 解压密码：bilibili-秋葉aaaki 一键三连+关注 私信发送『整合包』可额外获得超多常用推荐大模型、LoRA + 最新整合包 如需百度网盘也请私信『整合包』。 百度网盘的链接长期有效，会在同一个链接一直更新，无需重复私信 一定要用网盘官方客户端下载，否则压缩包极有可能损坏无法解压。 下载完毕一定要先测试压缩包是否完好再解压！！！ 【AMD显卡专用】 目前最新版整合包已支持 ZLUDA，自行前往 AMD 官网下载安装 HIP SDK 后即可和 N 卡一样用这个整合包，拥有最高性能。 又或者可以用 DirectML 版本的特制整合包（只能有N卡50%左右或更低性能）【AI绘画】Stable Diffusion A卡专用整合包（DirectML） 【关于有可能的报毒】 若启动器更新报毒，为日常误报，可以添加入信任区 【关于卸载】 整合包程序为绿色版，直接删除文件夹即可完整卸载 【报错解决】 遇到报错请前往启动器的 “疑难解答” 页面进行扫描，绝大部分问题都会有解决方法。 安装遇到问题咨询 → https://afdian.net/a/akibanzu 快速开始使用 →【AI绘画】一张图看懂新手入门文生图如何使用 新手最全教程 → 【AI绘画】从零开始的AI绘画入门教程——魔法导论【持续更新】 模型安装使用百科 → 【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论 23年4月模型推荐 → 【AI绘画】4月模型推荐榜 大模型/LoRA 看看AI都能画出哪些东西了？ 23年5-6月模型推荐 → 【AI绘画】5-6月模型推荐榜 大模型/LoRA 看看这俩月AI又有什么进化吗？ 23年7-9月模型推荐 → 【AI绘画】7-9月模型推荐榜 大模型/LoRA 刑！超绝可爱系专辑~ 24年1月模型分享： 【AI绘画】1月模型推荐榜 超多画风！表情包也是它画的？23年10月~24年1月 大模型/LoRA SDXL 模型分享

    • 【BT】在宝塔面板中修改网站名称最新方法 宝塔修改网站名称

      BT宝塔面板是一款安全高效的服务器运维面板，windows和Linux系统都可以使用，安装也很简单，相信很多开发者都在用这款面板。 但有时候，我们创建的网站更换域名的时候，面板中的网站名官方却没有给修改的方法，导致配置的新的域名后，网站名还是最开始的域名，很容易看错。 本人经过尝试，终于找到了修改的方法，步骤如下：

      修改前一定要先备份！

      1、修改存放站点名称的数据文件 /www/server/panel/data/db/site.db ，此文件为SQLlite数据库文件，修改表 sites 里面对应的 name 数据即可，例如修改为 gos.net.cn。 2、修改对应的站点配置文件名 /www/server/panel/vhost/nginx/原网站名.conf 修改为 /www/server/panel/vhost/nginx/gos.net.cn.conf 3、如果站点用了SSL，先修改SSL的路径名，cert目录为 /www/server/panel/vhost/cert ，找到原网站名的目录，修改目录名为 gos.net.cn 。如果没有用SSL，则可以省略这一步。 4、修改伪静态文件， /www/server/panel/vhost/rewrite/gos.net.cn.conf，内容为原网站名.conf 中的内容。 3、修改配置文件中的相关信息，双击刚修改的文件 /www/server/panel/vhost/nginx/gos.net.cn.conf ，修改文件中的相关目录和文件名，比如ssl_certificate、ssl_certificate_key、error_log、rewrite灯。 4、修改完成。记得重启一下宝塔服务并测试下相关修改是否成功。 ———————————————— 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.csdn.net/huafengjie/article/details/138963499

    • 10个Youtube数据分析工具 Chrome插件

      YouTube（中文也叫油管）是世界上排名前十的网站之一，继谷歌之后访问量第二大的网站，也是世界上用户访问量最多的视频网站。YouTube拥有近20亿用户，涵盖了不同国家的不同人口群体，视频营销潜力巨大。由于YouTube拥有如此庞大和多样化的用户群，它已成为品牌加强其在线存在的一个优秀平台。 伟大的视频不会偶然发生，也许在早期随便发一个视频都可以产生病毒式传播的效果。不过，目前已经没有那么简单了，我们需要对YouTube内容采取更多有效的制作策略。创建有价值的视频内容需要准备很多东西，从写视频脚本到拍摄视频，从设备到视频编辑，每个细节都要做的尽善尽美，才可以制作令人喜爱的视频。
      数据和分析对YouTube有效的内容战略始终很重要。还好，有大量的YouTube数据分析工具，可以让你全面了解你的视频内容表现。YouTube分析工具通过展示有价值的数据洞察力，帮助你深入了解你的潜在受众，例如：浏览量、订阅数、展示量、CTA以及其他各种数据，这些数据可以为你的内容生产和推广策略提供丰富的信息。 这些分析工具准确地指出了什么是有效的，什么是无效的，所以你可以持续不断地制作出杀手级的视频，最终帮助你发展你的视频频道。如果你想推广你的WordPress网站，或者是Shopify独立站可以好好的研究下Youtube这个平台，以下是一些可以帮助你更好的运营Youtube频道的工具。

      Youtube数据分析工具

      YouTube Analytics

      这是YouTube免费为用户提供的默认分析工具，对初学者分析监测视频内容非常有益，可以提供频道和内容所需的所有关键指标。你可以访问所有的初级分析，可以帮助你分析你的内容是如何表现的。你还可以使用YouTube Studio生成互动报告、观看时间报告和收入报告。所有这些报告都能帮助你分析你的频道，甚至是单个视频。 用户订阅数量会实时更新，概览部分会显示总体观看次数、观看时间（以小时为单位）和订阅者数量在特定时间段内的变化情况。其他重要的观众级别指标包括订阅者的观看时间、观众观看的其他频道和视频、年龄和性别、热门地区以及热门字幕等。你可以根据你的要求设置指标，以查看数据。内容选项工具可以访问过去28 天的观看次数、观众从哪些渠道找到你的视频、视频展示量以及它们如何带来观看时间等指标。 YouTube Analytics内置的关键字研究工具还可以用来了解某些搜索词在YouTube上的搜索量是怎样的，该工具甚至可以揭示你的受众正在搜索的内容，从而为你提供出色的内容创意。利用这些宝贵的见解，内容制作者可以从战略上优化YouTube营销方法，以更好地引起观众的共鸣。

      Vidiq

      Vidiq是一款SaaS产品，也是市场上领先的YouTube分析工具之一，旨在帮助YouTube创作者为其视频寻找主题和关键词。该工具还有一个强大的YouTube SEO功能，协助创建视频SEO友好的标题、描述和标签。Vidiq得到了Youtube官方认证，不用单独下载，可以直接作为浏览器插件进行安装，功能非常强大。 Vidiq是最好的YouTube分析Chrome扩展插件，为用户带来所有视频关键性能指标，包括观看人数、观看时间、用户订阅数、视频评论数量、视频用户来源、每个视频带来的收益多少等功能。Vidiq有多种高级功能，包括使用AI分析监控其他频道，跟踪分析频道数据，分析关键词趋势，查看表现最好的视频内容，甚至设置自动促销活动。 Vidiq还会根据视频内容哪些有效，哪些无效，为用户提供改进建议，并提供创意点子以激发内容创作，帮助优化频道和驱动更多的视频流量。Vidiq还提供强大的频道审核功能，以查看获得或失去的订阅者数量、观看次数的增加或减少以及观看时间的变化。Vidiq可以免费使用，对于刚起步且预算不多的创作者来说，这是一个不错的选择。

      Vidooly

      Vidooly的大数据系统对超过5亿视频用户进行分析，追踪来自5个社交平台的2.5亿个视频，包括YouTube, Facebook, Twitter, Vine, Instagram。Vidooly推出的在线视频智能分析系统帮助视频制作者，包括个人、广告公司、媒体等更方便地管理视频内容、改进视频分发策略以及寻找合作商。 Vidooly具有AI驱动的洞察力，有了这个YouTube分析工具，你将获得丰富的数字视频分析功能，帮助用户在YouTube上创建和运行成功的视频内容活动。除了目标受众分析，你还可以利用这个YouTube分析工具来制定内容战略，了解频道的观众哪些有效，哪些无效，及时修改视频制作内容。 作为内容创作者，你可以使用Vidooly来分析用户的访问趋势、视频用户来源、视频标签优化、上传最佳时间、搜索排名分析、竞争对手跟踪、用户行为分析等功能。对于个人用户来说，你可以通过Vidooly查询自己喜欢的频道。 Vidooly分析工具除了可以帮助内容创作者增加搜索流量，最大限度地提高视频收视率，还可以通过Youtube频道名称和视频名称来进行深层次分析，让你充分的了解和把握Youtube视频网站的观看趋势和受欢迎程度以及针对自己的频道进行优化。

      Tubebuddy

      Tubebuddy是一款可以在Chrome，Firefox和Safari上安装的免费扩展，帮助YouTube创作者优化他们的视频和频道，这个工具是业内用得最多的第三方工具。作为最有名的YouTube SEO可用的工具之一，它可以帮助YouTube创作者有效地管理、优化和扩展他们的 YouTube 频道。 TubeBuddy是一款YouTube营销利器，借助TubeBuddy工具，通过创建匹配目标用户搜索意图的相关内容，然后进行合理的优化。在用户搜索的时候，你的视频可以在搜索结果页得到更多的曝光机会。TubeBuddy会自动搜索/推荐要嵌入到视频中的最佳Tag，运行A/B测试根据结果推荐最佳标题、标签或缩略图，发布时间建议，提供竞争对手记分卡等丰富的视频分析功能。 Tubebuddy可以帮助你把你的YouTube主页提升到一个新的水平，一旦安装，它会自动链接到用户的YouTube帐户，为你的视频吸引更多的流量，为你的频道带来更多的粉丝，并辅助你选择频道的方向。通过令人难以置信的效果和无与伦比的支持为你的品牌视频频道提供领先于其他频道的优势，帮助你比以往更快地发展。

      Unbox Social

      Unbox Social是一个社交媒体分析工具，从关注者、覆盖范围、展示次数、点击次数、最佳发布时间和参与度等指标来评估活动和标签的表现。Unbox Social是最好的YouTube分析工具之一，当涉及到视频内容时，它将帮助用户改善内容营销策略。这个工具不仅负责YouTube分析，而且还关注Facebook、Instagram和Twitter等其他社交媒体。该产品的YouTube分析功能是专门开发的，为用户提供有关品牌在YouTube上获得成功的详细信息。 说到YouTube指标，Unbox Social为用户提供关于订阅用户、观众人口统计、卡片展示数量、卡片点击量、视频分享、互动、视频观看时间的数据分析等功能。这个YouTube分析工具还会告诉你什么时候是发布视频的最佳发布时间等指标。通过这个分析应用程序，还可能为你提供关于视频观看时间的数据和见解，你也将能够看到你的竞争对手的改变情况。

      Channel Meter

      ChannelMeter成立于2012年，总部位于美国加利福尼亚州旧金山，是高性能的视频内容分析工具之一，可以帮助用户访问视频指标和数据。ChannelMeter通过为用户提供有洞察力和可操作的数据，使YouTube分析更智能，是监测网络红人的最佳YouTube分析工具之一。 Channel Meter为成功的创作者提供技术，强大的社交视频分析，以及成功的社交视频所必需的强大销售工具，适用于内容创作者、品牌和代理机构。Channel Meter提供了一套来自顶级社交视频平台的直观、强大的数据指标。此外，这个YouTube分析工具还提供了发现、支付、会计、注册的软件，以及卓有成效的在线视频网络管理工具，帮助媒体公司和品牌利用在线视频网红及其大量受众的力量获得更多的流量曝光机会。 Channel Meter有助于快速和实时地生成报告，其直观的分析功能有助于简化复杂的数据。用户还可以使用这个工具每天、每周或每月跟踪自己的YouTube收入。你还可以跟踪和比较任何频道，以掌握YouTube上什么内容是有效的，找出吸引他们的因素是什么。

      BuzzSumo

      BuzzSumo是一个在线互联网内容筛选收集工具，主要有Discover、Research、Influencers、Monitoring等几个版块，可以帮助用户筛选互联网中最流行的话题内容。这是一个非常好的工具，还可以收集社会化媒体统计的内容数据，针对不同类型的内容进行过滤，排序等，非常适合使用SEO优化人员进行数据分析。 作为YouTube内容分析游戏的新成员，流行的内容营销工具BuzzSumo发布了他们的YouTube分析器。BuzzSumo提供一系列强大的功能，你可以用来跟踪你自己的表现，分析特定的视频，以及关注竞争对手的渠道。通过关注语言、受众规模、参与率以及对找到的流行网红的专业领域进行分析。 在为自己的视频寻找创意方面，你可以输入一个关键词，然后得到一个该主题最受欢迎的视频列表。具体来说，你可以通过浏览量、评论和向上或向下投票对它们进行排名。你也可以使用同样的功能，但对于一个特定的YouTube频道，也可以看到他们最受欢迎（或最不受欢迎）的视频。

      Social Blade

      Social Blade是一个强大的社交媒体分析平台，可为YouTube提供内容分析解决方案。Social Blade为用户提供内容上传数量、订阅者数量、视频观看次数、频道类型和每个频道所在国家/地区的基本数据。Social Blade还会根据频道订阅数量、视频观看次数和利基市场方面的表现对频道进行排名，频道在平台数据库中的整体表现对频道进行评级，帮助衡量竞争对手或潜在网络红人目前所处的位置。 Social Blade是一个免费的YouTube分析工具，完全基于浏览器，有很强大的洞察功能。Social Blade不仅限于分析用户自己的频道，还可以用于分析其他YouTube频道。输入要分析的任何YouTube频道名称，并详细了解其相关数据。你也可以根据你想选择的时间跨度，按周或按月检查用户数和视频浏览量。 此外，Social Blade 还为您提供了频道内容在观看、评级、评论和预估收入方面的表现的视频级概览。因此，您可以查看他们表现最好的内容，看看哪些有效，哪些无效。

      Quintly

      Quintly是一个分析工具，链接了七个社交媒体并汇集了所有数据便于查询分析。Quintly能够用于追踪Facebook、Twitter、Instagram、Pinterest、LinkedIn、YouTube及Google+的主要表现状况。有了Quintly使数据收集，分析内容信息和关注竞争对手变得快速和简单。数据收集可以为特定的结果定制，使分析尽可能准确。对于具体计划，还可以选择进行集中报告处理。 Quintly是市场上最强大的YouTube分析工具之一。它提供数以百计的指标，你可以跟踪这些指标，以全面了解你的视频表现，包括频道的订阅状态和流量来源，频道的播放位置和卡片指标。Quintly适合大型品牌和社交媒体机构，因为它们需要了解自己的社交媒体策略的影响，并根据自己的目标对其进行优化。

      Socialbakers

      Socialbakers是一个专门提供Facebook，Ins，Youtube，Twitter等社交媒体运营数据分析的网站，致力于为企业客户在社交媒体平台上的数据进行数据效果评估，是全球权威的社交媒体平台数据分析公司。 Socialbakers在100多个国家拥有超过2500名客户，是领先的社交媒体管理平台，可以跟踪所有主要社交平台上的1000万个社交资料，包括Facebook, Instagram, Twitter, YouTube, LinkedIn, Pinterest，谷歌+和VK.com。 Socialbakers提供三个强大的功能，包括内容智能工具：告诉用户发布视频的正确时间、视频内容的类型和质量；社交媒体监控工具：帮助用户从不同渠道收集更多数据从而超越竞争对手；观众分析工具：提供有关观众的所有必要信息。他们的位置，性别，更加准确的找出目标受众。

    • 不再为网站没有内容而烦恼，提供关键词轻松为网站快速批量写作文章 GetGenie AI

    • 国粤双语视频，在剪映里如何选择其中一种语言 视频剪辑

      在我们剪辑视频的时候，我们通常会发现，很多视频都是国粤双语或者国英双语，而且在视频添加进编辑轨道后，很多情况默认不是你想要的那种语言，这种情况是不是困扰了大家很久，其实剪映里可以很简单的解决这个问题。

      首先：我们打开剪映

      然后，我们鼠标右键点击在编辑轨道里的视频

      找到：轨道多音轨，然后选择音频1、音频2、音频3 这里面就是多语言音轨的选项，根据需要选择您需要的音轨就可以了  
    吐血推荐

    嘟买买虚拟资产交易平台

    tob 扁平化、简洁风、多功能配置，优秀的电脑、平板、手机支持，响应式布局，不同设备不同展示效果...

    标兵网，让商业更简单！

    tob主题 新一代主题

    tob 扁平化、简洁风、多功能配置，优秀的电脑、平板、手机支持，响应式布局，不同设备不同展示效果...

    默惠工业，轻松采购工业品

    tob主题 新一代主题

    tob 扁平化、简洁风、多功能配置，优秀的电脑、平板、手机支持，响应式布局，不同设备不同展示效果...

    热门标签

    雷都捷特人字梯WordPress小巨人梯小巨人梯子伸缩人字梯Littlegiant Ladder小巨人工业梯伸缩梯玻璃钢梯绝缘梯双侧伸缩梯多功能梯Stable Diffusion极致梯xTreme美标梯子罗辑思维罗振宇时间的朋友跨年演讲LittleGiant折叠梯工业安全梯安全梯黑马梯人字伸缩梯玻璃钢人字梯进口梯子

    热门推荐

    热门评论

    优秀读者

      网站统计

      • 日志总数：65
      • 标签总数：276
      • 分类总数：41
      • 用户总数：585
      • 最后更新：2024-09-14

      登录

      找回密码

      注册