Shiina-Mahiru commited on
Commit
9105549
·
verified ·
1 Parent(s): 6dbd307

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +39 -3
README.md CHANGED
@@ -1,3 +1,39 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ base_model:
4
+ - Qwen/Qwen2.5-7B-Instruct-1M
5
+ pipeline_tag: audio-text-to-text
6
+ ---
7
+ # Firefly-Neko流萤猫酱
8
+
9
+ 这个是完整文件夹的压缩包,解压过后再把`GPT-SoVITS-v2-240821.zip`解压即可运行。
10
+
11
+ ## 项目简介
12
+
13
+ `Firefly-Neko` 是一个集成了live2d模型、语音转文字(STT)和大语言模型(LLM)处理的项目。该项目使用 PyTorch 和 Transformers 等库,通过并行处理实现实时语音转文字和文本生成。正如名字所见,本项目构建了一个流萤猫酱的形象。
14
+
15
+ ## 功能
16
+
17
+ - 实时语音转文字(STT)(使用`FunASR`)
18
+ - 文本生成和修正(LLM)(使用`Qwen2.5-7B-Instruct`模型)
19
+ - 并行处理 STT 和 LLM 任务
20
+ - 自动播放生成的语音文件(使用`GPT-SoVITS`,流萤语音模型使用的是b站白菜工厂1145号员工大佬的[GPT-SoVITS模型](https://www.bilibili.com/video/BV1sC411b7Ei/?spm_id_from=333.1387.upload.video_card.click&vd_source=76bb9f3f8ae762d5e5de82c84b34f583),🤗[Hugging Face地址](https://huggingface.co/baicai1145/GPT-SoVITS-STAR))
21
+ - 具有live2d模型(使用是b站依七哒大佬的[流萤前瞻小人模型](https://www.bilibili.com/video/BV1kJ4m1g7fs/?spm_id_from=333.1387.upload.video_card.click&vd_source=76bb9f3f8ae762d5e5de82c84b34f583))
22
+ - live2d可交互,可以点击头部、脸部、脚部、手部,还有欧派😋
23
+
24
+ ## 使用方法
25
+
26
+ - 下载仓库内所有内容;
27
+
28
+ - 下载到本地后先将`GPT-SoVITS-v2-240821.zip`解压;
29
+
30
+ - 然后在该目录下输入`pip install -r requirements.txt`安装依赖,其中一些模块的下载需要依赖Microsoft Visual Studio,可下载vs然后选择“C/C++桌面开发”安装完后再用`pip`下载这些模块就不会`build wheels error`了;
31
+
32
+ - 接着直接运行`firefly-neko-stt-live2d-multi.py`即可。
33
+
34
+ ## 注意事项
35
+ - 请确保在运行脚本前,所有依赖项和模型文件已正确安装和配置。
36
+ - 如果在运行过程中遇到任何问题,请检查依赖项版本和模型文件路径是否正确。
37
+ - 本仓库适用于开源学习、娱乐目的,在询问模型作者许可后方可用于商业用途,若使用者触犯法律以及危害模型作者的权益,本仓库概不负责。
38
+ ## 贡献
39
+ 欢迎在community中讨论来改进本项目。