大家经常把通用大模型比喻为高考前的学生，智商似乎达到了巅峰，天文地理历史生物无所不知，但是对某个行业的真实运作缺乏一定的了解。而行业大模型，就像专业的本科生、研究生、博士生或者是行业从业人员，对自己领域的知识能够快速理解，对业务能够迅速处理。行业大模型的训练过程，跟读书的过程很像，先获得通用知识并具备一定的逻辑推理能力，再到某个行业里进行”微调“深造。

BloombergGPT等金融机构发布的大模型，利用其对专业数据的独家访问来训练特定于金融的语言模型。然而，模型的数据收集和训练协议的可访问性和透明度受到限制，也有着密集的计算需求并产生高昂的适应成本，这加剧了对更开放和包容的替代方案的需求。

金融领域有大量的公开信息，例如上市企业年报，地区和国家的经济数据，公开市场的交易信息，这些高质量的数据非常有利于行业大模型的训练。因为受到监管的约束，大型金融机构的产品和运作模式也会比较趋同，一套通用的开源大模型也许可以覆盖不同机构90%的需求。

许多企业和研究机构开始推动开源金融大模型的发展，不仅仅提供开源的模型参数，有的项目还提供了训练的数据和测评的基准，降低了金融大模型开发的成本和门槛，使更多人能够利用这些模型进行金融分析、情感分析和预测等。

今天来介绍下金融行业中的开源AI大模型项目。

·

FinGPT

·

介绍：

FinGPT项目由AI4Finance-Foundation开发，是一个开源的金融大型语言模型（FinLLM），旨在开源领域实现互联网规模的金融数据民主化。哥伦比亚大学的Hongyang (Bruce) Yang等在FinGPT: Open-Source
Financial Large Language Models一文中介绍了该框架的内容。

FinGPT框架，资料来源：《FinGPT: Open-Source Financial Large Language Models》

与专有模型不同，FinGPT代表了一个创新的开源框架，采用以数据为中心的方法，专门为在金融领域应用大语言模型（LLMs）而设计。该项目通过五层全栈框架提供综合的市场覆盖，包括数据源层、数据工程层、LLMs层、任务层和应用层，旨在解决金融数据的高时效性和低信噪比问题。这些组件在维护FinGPT在处理动态金融数据和市场条件方面的功能和适应性方面发挥着至关重要的作用。

FinGPT通过专注于顶级开源LLMs的轻量级改编，它不仅提高了透明度，还允许用户定制，以适应个性化金融咨询服务的兴起趋势。FinGPT集成了多个模型，如Llama-2、Falcon、MPT、Bloom、ChatGLM2、Qwen和InternLM，每个模型都针对特定的语言市场和金融分析任务进行了优化。同时，FinGPT的成本效益高、灵活的框架有可能使金融语言建模民主化，提供了一种更容易访问的解决方案。

FinGPT的特色模块包括FinGPT-RAG，专门用于金融情感分析，通过外部知识检索优化信息深度和背景，以及FinGPT-FinNLP，提供金融领域LLM训练和微调的完整流程。FinGPT-Forecaster是一个股价预测工具，可以快速适应新数据，与传统模型相比具有较高的成本效益。

FinGPT提供了多种数据集和多任务金融LLM模型，用于情感分析、金融关系提取和问答等任务，并能够有效、低成本地适应金融领域的动态变化，并利用“人类反馈强化学习（RLHF）”技术进行个性化学习。此外，FinGPT引入了新的指令调整范式，增强了模型适应多样化金融数据集的能力，并促进了开源大型语言模型在金融数据集中的系统性基准测试和成本效益

论文地址：

https://arxiv.org/abs/2310.04793

项目地址：

https://github.com/AI4Finance-Foundation/FinGPT

Github
Star：9600

FinGLM项目还组织了与金融AI相关的竞赛，以探索和推动该领域的发展。其中SMP 2023 ChatGLM 金融大模型挑战赛（即SMP2023-ELMFT，即金融科技大模型评估）是在第十一届全国社会媒体处理大会（SMP2023）期间举办的。本次比赛要求参赛选手以ChatGLM2-6B模型为中心制作一个财务问答系统，回答用户的金融相关的问题。参赛选手可以使用其他公开访问的外部数据来微调模型，也可以使用向量数据库等技术。今年9月，SMP 2023 ChatGLM 金融大模型挑战赛进行了决赛答辩，并评选出冠亚季军共九支队伍。决赛答辩视频在B站上发布。同时，参赛队伍的答辩PPT和源代码也在Github上开源。

项目地址：https://github.com/MetaGLM/FinGLMGithub Star：978

介绍：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。千亿级BLOOM-176B的模型已可以在Huggingface中申请下载。2023年9月22日，度小满宣布“轩辕70B”金融大模型开源，所有用户均可自由下载和试用，并公布了“轩辕70B”在C-Eval、CMMLU两大权威大语言模型评测基准的成绩。轩辕70B（度小满中文金融对话大模型）是由度小满金融开发的中文金融对话大模型，基于Llama2-70B模型进行中文增强。该模型融合了大量中英文语料的增量预训练，包括底座模型和使用高质量指令数据对齐的聊天模型。特别针对金融场景中的长文本业务，它将上下文长度扩展到了8k和16k。轩辕70B大模型在保持中英文通用能力的同时，显著提高了金融理解能力。该项目还包括了通用能力评测和金融领域评测，使用多种客观评测基准，以确保模型在金融领域的有效性和通用性。

项目地址：

https://github.com/Duxiaoman-DI/XuanYuan

·

·

·

Auto-GPT MetaTrader，量化交易插件

·

介绍：Auto-GPT-MetaTrader-Plugin是一款连接MetaTrader交易账户至Auto-GPT的软件工具，使交易者能够利用GPT-4的强大功能进行金融交易。该插件支持执行和管理交易、获取账户信息、提供市场数据等功能，为交易者提供自动化和智能化的交易体验。这不仅展示了AI技术在金融交易中的应用潜力，还为交易者带来了更加高效、便捷的交易方式，进一步推动了金融科技领域的发展。

·

PIXIU貔貅：开源金融大语言模型

·

介绍：PIXIU貔貅是一个面向金融领域的综合性框架。它包括基于LLaMA模型微调得到的首个金融领域大型语言模型（FinMA）、首个包含136K数据样本的指令数据，以及一个涵盖5个任务和9个数据集的评估基准。FinMA模型经过多任务指令调整，能够处理各种金融任务。与此同时，研究团队提出了一个标准化的金融语言模型评估基准，涵盖关键的金融任务，包括五个金融自然语言处理（NLP）任务和一个金融预测任务。实验结果表明FinMA在大多数任务上性能优于现有的LLMs，如BloombergGPT、ChatGPT和GPT-4，尤其是在金融情感分析、新闻标题分类、命名实体识别和股票运动预测方面。这证明了专为金融领域量身定制的LLMs的重要性。此外，所有相关的模型、数据集、基准和实验结果都已开源，以便于未来金融AI的研究。

·

·

介绍：DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源。这个项目通过集成四个模组——金融咨询、金融文本分析、金融计算、金融知识检索问答，构成了一个多专家智慧金融系统。每个模组专注于不同的金融NLP任务，包括与用户就金融话题进行多轮对话、在金融文本上完成信息抽取、情感分析、文本分类、文本生成等任务，以及帮助用户完成数学计算和提供基于金融新闻、研报的投资建议等

·

·

介绍：这是一个专为金融领域设计的智能对话系统。该系统采用了经过大量金融相关文本调整的GPT架构大型语言模型。这一项目由蚂蚁集团、芝加哥大学和TTIC的研究人员共同开发。这个项目的意义在于为金融领域提供了一个高度专业化和定制化的智能对话系统，有助于提高金融决策的效率和准确性，推动金融科技领域的发展。

·

·

·

介绍：FLANG (Financial LANGuage model) 是一个针对金融领域特定的预训练语言模型。该项目旨在利用金融关键词和短语进行更有效的掩码处理，同时采用跨度边界目标和内部填充目标。FLANG的架构基于ELECTRA训练策略，使用金融特定数据集和常规英语数据集（如Wikipedia和BooksCorpus）。该项目还包括FLUE（Financial Language Understanding
Evaluation），这是一个综合性且多样化的金融领域基准测试，由5个不同的金融领域特定数据集构成。

总结与思考

目前来看，金融行业的开源大模型的进展还并不是特别理想，更多的AIGC应用还是用大模型来间接赋能过去已经有的应用，从而给用户提供更好的 金融服务。

也许行业的开源大模型，应该先从开源的行业数据集开始，当足够高质量的数据被收集被整理被应用的时候，当数据不再被个体垄断，而成为社会的公共财富，才有机会诞生理想的行业大模型，从而解放行业”打工者“的桎梏。

出自：https://mp.weixin.qq.com/s/NiyIDFzSiyvN45aQe8TUig