令人惊艳的开源图标生成AI模型：ChartLlama （南洋理&腾讯）

你是否经常需要处理各种数据，比如销售额、股票价格、人口统计等？

你是否想要用图表的形式来展示你的数据，让它们更加直观和有说服力？

制作图表是一件既费时又费力的事情，需要掌握各种软件和技巧

那么，能否使用AI大语言模型来生成图标呢？答案是可以的！

今天就介绍一个能够生成各类型图标的开源AI大模型：ChartLlama ！

下图是ChartLlama 生成的各种图表

ChartLlama 是什么？

ChartLlama是一个由南洋理工大学和腾讯联合开发的多模态语言模型，它可以根据你的指令来理解和生成图表。

ChartLlama是一个专门针对图表的多模态语言模型，它可以从图表中提取信息，也可以根据数据和要求来创建图表。它能够理解和生成各种类型的图表，包括柱状图、饼图、折线图、散点图等等。

ChartLlama的优势在于它可以使用自然语言来与你交互，你不需要学习复杂的语法或者编程，只需要用你平时说话的方式来告诉它你想要做什么，它就会尽力满足你的需求。比如，你可以问它：“这个饼图中，哪个部分占比最大？”或者让它：“用柱状图来显示这些数据，并用红色突出最高的那一栏。”ChartLlama会根据你的指令来分析图表或者生成图表，并给出相应的回答或者结果。

ChartLlama 如何实现的？

目前AI大语言模型生成图表的困难点：

多模态大语言模型在大多数视觉语言任务上表现出了令人印象深刻的性能。然而，该模型通常缺乏对特定领域数据的理解能力，特别是在解释图表数据时。这主要是由于缺乏相关的多模态指令调优数据集。

ChartLlama如何解决的？

ChartLlama的团队构思出了一种巧妙的多元化数据收集策略，通过GPT-4生成特定主题、分布和趋势的数据，来确保数据集的多样性。他们开发了一个多步骤的数据生成过程，其中不同的步骤分别负责生成表格数据、创建图表和设计指令调整数据。

他们的方法的灵活性使我们能够在低资源消耗的情况下持续高效地生成多样化、高质量的指令调整数据。

此外，它还允许我们纳入更多尚未在现有数据集中出现的图表和任务类型。

ChartLlama 能力如何？

ChartLlama在ChartQA、Chart-to-text和Chart-extraction评估基准中均优于所有先前的方法。

下面是一些官方给的实际例子。

ChartLlama 如何使用？

ChartLlama目前已开源，可以去下面的地址下载体验。

代码地址：

https://github.com/tingxueronghua/ChartLlama-code

论文地址：

https://arxiv.org/pdf/2311.16483.pdf

出自：https://mp.weixin.qq.com/s/Dl-pcruy78u1BAw1HATW7Q