status
date
slug
summary
type
tags
category
AI 摘要
icon
password
前言：PDF下载👇
枫云AI虚拟伙伴探索版
发表于2024-09-12更新于2025-02-13阅读次数39551
跨越虚拟与现实的界限，与虚拟伙伴共探大千世界
· 枫云AI虚拟伙伴探索版v3.0发布，跨越虚拟与现实的界限，与虚拟伙伴共探大千世界。新增了长期记忆、编程智能体、智能家居控制、AI游戏陪玩(黑神话、星铁、鸣潮)，优化了自定义唤醒词和语音识别灵敏度。
· 本软件为通过桌宠客户端或Web页面提供多模态主动感知对话、端侧AI游戏陪玩、实时拟真语音交互、电脑操控Agent智能体、云/边/端三模AI引擎等功能的全能型二次元AI数字人软件。AI Virtual Mate Explorer，加速全能型二次元数字人普惠人类。
① 多模态主动感知对话，包括视觉(摄像头画面、电脑屏幕)、听觉、硬件状态、环境状态。
② 多设备全平台访问，在Windows开启软件后，局域网内的安卓、Mac、iOS等均可访问网页版，支持派对模式，多人与虚拟伙伴互动。
③ 端侧AI游戏陪玩，支持游戏画面主动识别、上传游戏百科知识库、沉浸式语音操控游戏(支持黑神话、星铁、鸣潮)。
④ 实时拟真语音交互，可实时语音打断，支持SenseVoice语音识别和对接GPT-SoVITS、CosyVoice语音合成。
⑤ 自定义任意大语言模型进行角色扮演，包括Letta长期记忆、GLM、通义千问、Ollama、RWKV、AnythingLLM、Dify知识库等。
⑥ 自定义任意Live2D角色模型和修改虚拟伙伴的人设，支持桌宠模式。
⑦ 电脑操控Agent智能体，支持调用多种Function Call接口，可通过语音指挥AI操控电脑。
⑧ 搭载云/边/端三模AI引擎，支持完全私有化部署，拥有广泛的本地AI生态。
⑨ 智能家居控制，支持对接开源智能家居平台Home Assistant API控制灯类设备。
· 本软件绿色免费，宗旨是加速全能型二次元数字人普惠人类。欢迎大家持续关注，并提出宝贵的改进建议，让我们共同打造更棒的AI虚拟伙伴。角色模型和声音模型归版权方所有。
枫云AI虚拟伙伴探索版 更新日志
· v3.0 —— 新增：长期记忆、编程智能体、智能家居控制；优化自定义唤醒词和语音识别灵敏度
· v2.3 —— 新增：思维链大模型、本地AI绘画智能体、全局联网搜索；优化多模态主动感知对话和Live2D模型设置流程
· v2.2 —— 新增：端侧AI游戏陪玩、第二代主动感知引擎；优化语音识别逻辑和桌宠交互、丰富本地AI生态，增加Agent智能体数量
· v2.1 —— 新增：实时语音打断、Agent智能体、SenseVoice语音情感场景识别、亲密度系统；优化桌宠加载速度
· v2.0 —— 枫云AI虚拟伙伴探索版·软件发布
本地端侧AI引擎DLC指引发表于2024-03-13更新于2025-02-13阅读次数39552
· 在硬件条件充足的情况下，可采用本地部署AI的方案，具有低延迟、低风险、低依赖、低漏洞、低限制、低成本的优势。获取DLC，开启本地端侧AI引擎，数据无需上传云端。下述DLC均为免费的开源项目，不仅支持对接AI虚拟伙伴，也支持对接第三方软件，或遵循开源协议自由二次开发应用。
本地对话大语言模型类
Qwen整合包：整合了大语言模型API服务器、阿里的Qwen2.5-0.5B大语言模型和Python运行环境。仅支持CPU运行，速度较慢，供入门学习。
RWKV运行器整合包：RWKV为国产大语言模型架构，本整合包自带RWKV6-1.6B。支持CPU、GPU运行。
Ollama框架：支持用命令行一键下载安装市面上的主流大模型，无图形界面。支持CPU、N卡、A卡运行，智能动态分配计算资源，非常推荐。
LM Studio框架：支持运行市面上的主流的GGUF大模型，有图形界面，模型需手动下载。支持CPU、N卡运行。
OpenVINO框架整合包：整合了Intel的OpenVINO框架、面壁的MiniCPM-2B OV版大语言模型和Python运行环境。支持通用CPU、Intel GPU、Intel NPU运行，可供i卡和Intel Ultra系列AIPC用户尝鲜。
AnythingLLM知识库：允许用户上传知识库(任何文档、资源或内容片段)转化为大语言模型在聊天中可利用的相关上下文。支持对接Ollama。
Dify平台知识库：开源的LLM应用开发平台，支持用户上传知识库。功能强大，部署难度较高，需要熟悉虚拟机、Linux系统、Docker。开源地址
本地语音合成大模型类
GPT-SoVITS整合包：整合语音合成大模型API服务器、RVC-Boss(花儿不哭)大佬开发的GPT-SoVITS语音合成大模型v2-240807和Python运行环境。支持CPU、N卡运行。具有低显存占用且速度快的优势，非常推荐。
CosyVoice整合包：整合了语音合成大模型API服务器、阿里FunAudioLLM开发的CosyVoice语音合成大模型1代300M/2代0.5B和Python运行环境。支持CPU、N卡运行。
Kokoro-TTS整合包：整合了语音合成轻量级大模型API服务器、hexgrad开发的Kokoro-TTS语音合成轻量级大模型v1-82M和Python运行环境。仅支持CPU运行。由于轻量级，速度非常快，但中文效果一般，仅供尝鲜。
本地多模态图像识别类
Ollama VLM指引：下载安装大模型引擎Ollama后，在命令行输入“ollama pull minicpm-v:8b”，等待下载完成，然后在AI虚拟伙伴探索版软件的图像识别引擎中选择“本地Ollama VLM”。占用显存较高，效果较好，非常推荐。配置教程
Qwen-VL整合包：整合了多模态大模型API服务器、阿里的Qwen2-VL-2B多模态大模型和Python运行环境。仅支持N卡运行。占用显存较低，效果一般。
GLM-Edge-V整合包：整合了多模态大模型API服务器、智谱的GLM-Edge-V-2B多模态大模型和Python运行环境。支持CPU、N卡运行。占用显存中等，效果良好。
Janus-Pro整合包：整合了多模态大模型API服务器、DeepSeek的Janus-Pro-1B多模态大模型和Python运行环境。支持CPU、N卡运行。占用显存中等，效果良好。不仅支持图像识别，还支持图像生成AI绘画。
和我一起提升决策力，毁三观、树新生。
- 作者:雲風
- 链接:https://www.kang.ink/AI/19c7bc1c-6e4f-808c-84ce-d35c6a11aff4
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
