首页 > Ai资讯 > Ai日报 > Streamer-Sales:一个直播卖货大模型 能自动卖货 实时回答客户任何问题

Streamer-Sales:一个直播卖货大模型 能自动卖货 实时回答客户任何问题

发布时间:2024年06月26日

Streamer-Sales 是一个直播卖货大模型,它能够帮助直播带货主播生成商品解说文案。能根据商品特点,自动生成吸引用户的介绍,提升销售效果。

它可以将语音转成文字和观众互动、也支持生成带情感的语音,以及生成数字人视频进行解说,甚至能实时查询快递信息。

主要功能

  1. 主播文案一键生成:根据商品特点自动生成吸引用户的解说文案,激发购买欲望。

  2. 推理加速:集成LMDeploy进行推理加速,显著提升推理效率,支持KV缓存和Turbomind。

  3. 检索增强生成 (RAG):结合商品说明书和相关文档,增强生成的文案内容,使其更加贴合实际。

  4. 语音转文字 (ASR):支持将语音输入转换为文字,便于主播在直播过程中与观众互动。

  5. 文字转语音 (TTS):生成带有情感的语音输出,使解说更加生动自然。

  6. 数字人生成:生成虚拟主播视频,用数字人进行商品解说,提升观众体验。

  7. 实时信息查询 (Agent):通过网络查询实时信息,如快递状态,提供给用户最新的数据。

Streamer-Sales 模型架构

模型用 xtuner 在 InternLM2 的基础上指令微调而来,部署集成了 LMDeploy 加速推理🚀,支持 ASR 语音生成文字 🎙️,支持 RAG 检索增强生成📚做到可以随时更新说明书指导主播生成文案,支持 Agent 通过网络查询快递信息 🌐,还加入带有感情的 TTS 文字转语音🔊生成,最后还会生成主播数字人视频🦸,让主播不止于文字介绍。

1. 总体架构

模型介绍

  1. streamer-sales-lelemiao-7b流媒体-销售-lelemiao-7b

    • 基座:internlm2-chat-7b
    • 数据量:大约40万 Token
    • 特点:这是一个基于 internlm2-chat-7b 微调的模型,专为直播带货生成解说文案。模型通过大量商品数据的训练,能够生成高质量的商品解说文案,精准激发用户购买欲望。
    • 适用场景:线上直播销售、线下门店推广、商品广告文案生成等。
    • 下载:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b
  2. streamer-sales-lelemiao-7b-4bit
    • 基座:internlm2-chat-7b
    • 数据量:大约40万 Token
    • 特点:这是 streamer-sales-lelemiao-7b 模型的 4bit 量化版本,进一步优化了推理速度和资源占用。量化后的模型在保持生成质量的同时,显著提升了推理效率,适合在计算资源有限的环境中使用。
    • 适用场景:需要高效推理和快速响应的直播带货场景,尤其是在资源受限的情况下。
    • 下载:https://modelscope.cn/models/HinGwenWoong/streamer-sales-lelemiao-7b-4bit

Streamer-Sales 项目通过多个模块和技术的集成,构建了一个全面的直播带货大模型系统。其主要架构包括以下几个部分:

  1. 数据生成与处理模块

    • 数据集生成:采用通义千问和文心一言生成数据集,包括商品文案和问答对话。
    • 数据清洗和合并:对生成的数据进行清洗,合并并转换为适合训练的格式。
    • RAG 数据库生成:创建向量数据库,以支持检索增强生成。
  2. 模型训练与微调

    • 基础模型:使用 InternLM2 作为基础模型。
    • 微调:使用 xtuner 对基础模型进行指令微调,以适应不同商品和用户需求。
    • 量化处理:使用 LMDeploy 进行4bit量化,提升推理效率。
  3. 推理与生成模块

    • 推理加速:集成 LMDeploy 和 Turbomind,支持 KV cache,显著提升推理速度。
    • 检索增强生成 (RAG):结合商品说明书和相关文档,增强生成的文案内容。
  4. 语音处理模块

    • ASR (语音转文字):支持语音输入转换为文字。
    • TTS (文字转语音):生成带有情感的语音输出,增强用户体验。
  5. 数字人生成模块

    • 使用 ComfyUI workflow 生成虚拟主播视频,提供生动的商品解说。
  6. 实时信息查询模块

    • Agent 集成:通过网络查询实时信息,如快递状态和天气信息,提供即时反馈。

GitHub:https://github.com/PeterH0323/Streamer-Sales

在线体验:https://openxlab.org.cn/apps/detail/HinGwenWong/Streamer-Sales

 

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。