Magi

Magi模型，可以自动将漫画转录成文字并自动生成剧本，还可以通过识别漫画页面上的面板、文字块和角色，重新排序和关联，输出连贯的对话内容，准确地为每幅漫画生成文本记录，从而保证输出文本的逻辑性，使整个流程更加高效。Magi模型由牛津大学工程科学系的视觉几何组开发。

Magi适用于那些需要将漫画图片自动化生成文本的研究人员、开发者或者漫画爱好者。它为这些用户提供了方便快捷的工具，从而帮助他们轻松进行数字化漫画内容及索引。

Magi GitHub源码：https://github.com/ragavsachdeva/magi

Magi论文：https://arxiv.org/abs/2401.10224

Magi模型主要功能：

• 面板检测：精确识别漫画页面上的各个面板,即画家绘制的独立矩形画框,这是理解漫画页面布局和内容的第一步。

• 文本检测：在每个面板内部定位文字区域，提取包含重要对话或叙述的文本块，这是理解面板内容的基础。

• 角色检测：检测每个面板内出现的角色，获取其在图像中的边界框、姿态、表情等视觉信息，这对后续分析至关重要。

• 角色识别：基于检测结果，识别每个角色的身份信息，如名字、称呼等，这可以帮助跟踪故事中的人物。

• 角色聚类：根据面部特征、服装特征等信息，将同一角色的不同姿态图片聚类到一起，从而区分页面上的不同角色。

• 语音分配：判断文本块属于页面上哪个角色的对话，将语音正确分配给对应的角色，这对生成精确的剧本必不可少。

• 阅读排序：根据面板位置、阅读顺序,将分散的文本块重新排序和连接，输出连贯的对话内容，从而保证输出文本的逻辑性。

Magi如何使用?

1、上传漫画图片

2、系统自动识别并提取漫画图片相关信息生成文本

3、用户根据需要对文本进行编辑和修改

通过Magi的这些功能，Magi能够自动将漫画页面转化为详细的文字剧本，解决漫画页面的自动理解和剧本生成问题，包含角色对话和相应的动作或情境描述，这使得漫画内容的数字化处理变得轻松快捷，使读者能够通过阅读文本来完整地体验漫画故事。