首页 > Ai资讯 > Ai知识库
详解大模型RLHF过程(配代码解读)
详解大模型RLHF过程(配代码解读)

出自:https://zhuanlan.zhihu.com/p/624589622 一直都特别好奇大模型的强化 […]

大模型中的Top-k、Top-p、Temperature详细含义及解释
大模型中的Top-k、Top-p、Temperature详细含义及解释

Top-k & Top-p 选择输出标记的方法是使用语言模型生成文本的一个关键概念。有几种方法(也称为 […]

截至2023年5月份业界支持中文大语言模型开源总结及商用协议分析
截至2023年5月份业界支持中文大语言模型开源总结及商用协议分析

一、MetaAI开源的OPT - Open Pre-trained Transformer模型 二、Googl […]

语言大模型100K上下文窗口的秘诀
语言大模型100K上下文窗口的秘诀

上下文窗口(context window)是指语言模型在进行预测或生成文本时,所考虑的前一个词元(token) […]

工业、机械、AI、人工智能相关提示词
工业、机械、AI、人工智能相关提示词

A thought-provoking conceptual artwork exploring the th […]

AI、人工智能、机器人相关提示词
AI、人工智能、机器人相关提示词

A thought-provoking conceptual artwork exploring the th […]

风景类提示词
风景类提示词

风景类提示词 Tropical beach scene in geometric aesthetics, jo […]

建筑物提示词
建筑物提示词

建筑物提示词 Picture a gleaming, translucent structure, suspe […]

Pytorch安装(保姆级教学 真·满血·GPU版)CUDA更新?torch版本?一文全搞定!
Pytorch安装(保姆级教学 真·满血·GPU版)CUDA更新?torch版本?一文全搞定!

1. 检测方法 在cmd中进入自己的Python环境,输入: >>> import torc […]

ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略
ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略

ModelScope的简介         汇聚机器学习领域中最先进的开源模型,为开发者提供简单易用的模型构建 […]

如何从零开始训练专属 LoRA 模型?4600字总结送给你!
如何从零开始训练专属 LoRA 模型?4600字总结送给你!

目前 Stable Diffusion 主要有四种模型训练方法:Dreambooth、LoRA、Textual […]

零代码编程:用ChatGPT打造一个信息推送的微信机器人
零代码编程:用ChatGPT打造一个信息推送的微信机器人

很多时候,我们希望监控一些最新信息,能够第一时间在微信上看到。现在有很多这方面的消息推送工具,比如wxpush […]

让ChatGPT帮我写SQL
让ChatGPT帮我写SQL

推荐一个Github上Start超过3.4K,可将自然语言转化为SQL语句的开源项目。 项目简介 这是一个利用 […]

【一步一步引导】从零详细地梳理一个完整的 LLM 训练流程
【一步一步引导】从零详细地梳理一个完整的 LLM 训练流程

1.预训练阶段(Pretraining Stage) 工欲善其事,必先利其器。 当前,不少工作选择在一个较强的 […]

8个常用中文OCR数据集,附下载链接
8个常用中文OCR数据集,附下载链接

No.1 MSRA-TD500 (MSRA Text Detection 500 Database) 下载链接 […]

中文开源OCR框架对比及介绍
中文开源OCR框架对比及介绍

从严格定义来看,学字符识别(Optical Character Recognition, OCR)是指对文本资 […]

OCR是什么以及推荐几款开源中文OCR识别软件
OCR是什么以及推荐几款开源中文OCR识别软件

一、OCR是什么? 光学字符识别(Optical Character Recognition, OCR)是指对 […]

百川智能正式发布130亿参数通用大语言模型百川大模型(Baichuan-13B-Base)
百川智能正式发布130亿参数通用大语言模型百川大模型(Baichuan-13B-Base)

就在刚刚,王小川的开源大模型又有了新动作—— 百川智能,正式发布130亿参数通用大语言模型(Baichuan- […]

CLiB中文大模型能力评测榜单(持续更新)
CLiB中文大模型能力评测榜单(持续更新)

出自:https://zhuanlan.zhihu.com/p/634608422 目前已囊括19个大模型,覆 […]

ChatGPT Prompt提示词课程(斯坦福吴恩达 | OpenAl)指南篇 极简笔记
ChatGPT Prompt提示词课程(斯坦福吴恩达 | OpenAl)指南篇 极简笔记

对于大模型prompt的设计,近期斯坦福吴恩达伙同OpenAl出了一套视频教程(B站地址:https://ww […]

微调、训练大模型概念介绍及论文笔记:Tuning系列论文笔记
微调、训练大模型概念介绍及论文笔记:Tuning系列论文笔记

Tuning整体介绍 微调(Fine-tunning) 语言模型的参数需要一起参与梯度更新 轻量微调(ligh […]

【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践
【万字长文】LLaMA, ChatGLM, BLOOM的参数高效微调实践

原文:https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大 […]

玩转大模型必备:milvus向量数据库私有化安装部署及使用介绍
玩转大模型必备:milvus向量数据库私有化安装部署及使用介绍

1.安装 目前官方提供 单机模式、集群模式、离线模式三种安装方式,目前milvus都是基于docker 容器方 […]

如何用大语言模型构建一个知识问答系统
如何用大语言模型构建一个知识问答系统

需求描述 打造 特定领域知识(Domain-specific Knowledge) 问答 系统,具体需求有: […]

LangChain + ChatGLM2-6B 搭建私域专属知识库
LangChain + ChatGLM2-6B 搭建私域专属知识库

ChatGLM2-6B 介绍 ChatGLM2-6B 在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基 […]

谈谈LLM在推荐域的渗透,探索推荐新范式
谈谈LLM在推荐域的渗透,探索推荐新范式

来源|阿里开发者公众号https://developer.aliyun.com/article/1272112 […]

微调大型语言模型-核心思想和方法介绍
微调大型语言模型-核心思想和方法介绍

上下文学习和索引 自 GPT-2(Radford 等人)和 GPT-3(Brown 等人)以来,我们已经看到在 […]

人工智能大语言模型微调技术:SFT 、LoRA 、Freeze 监督微调方法
人工智能大语言模型微调技术:SFT 、LoRA 、Freeze 监督微调方法

人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freez […]

LLM大模型推理输出生成方式总结
LLM大模型推理输出生成方式总结

Greedy Search 方式:每一时间步都选择概率最大的词。 参数设置:do_sample = False […]

大语言模型综述<演进,技术路线,区别,微调,实践,潜在问题与讨论>
大语言模型综述<演进,技术路线,区别,微调,实践,潜在问题与讨论>

模型 训练数据 训练数据量 模型参数量 词表大小 LLaMA 以英语为主的拉丁语系,不包含中日韩文 1T/1. […]


1 6 7 8 9 10 42