中科院自动化所和武汉人工智能研究院推出新一代大模型，从三模态走向全模态，支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务，拥有更强的认知、理解、创作能力，带来全新互动体验。
紫东太初是由中科院自动化所和武汉人工智能研究院联合推出的一个全模态大模型，它是在千亿参数多模态大模型“紫东太初1.0”基础上升级打造的2.0版本。紫东太初大模型支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务，具有强大的认知、理解、创作能力，能够带来全新的互动体验。
紫东太初的主要功能
一、图像能力
图像描述：基于用户上传的图片素材，准确理解并回答图片识别类问题
目标检测：支持丰富品类的目标检测任务，能够判定目标类型、数量和对应的位置信息
图像检索：基于海量的高质图片素材库，能为用户搜索出关联度高的精致图片素材
图像生成：针对用户指令诉求，生成对应的精致图片，并可以修改描述微调图片内容
文字识别：基于图片内容，支持多场景、多语种、高精度的文字检测与识别服务
二、语言能力
中文问答：准确理解用户输入的问题语境，并能做出准确的知识性问答
文本续写：基于用户输入的故事引导自动续写丰富故事内容
文本创作：准确理解用户输入意图,并生成语意连贯、逻辑通顺的文本内容
标题生成：基于对文章或者长文本的理解，快速聚合生成精简且概括的标题文案
语法分析：准确理解并分析中英文句子的语法，提醒语法错误并修改等
机器翻译：帮助用户翻译各类型文本素材，包括中英文互译、文言文和白话文互译等
古诗创作：基于用户给到的主题或引导内容即兴创作诗歌、绝句等
代码理解：理解C语言、Python、JAVA等绝大部分编程语言、算法和数据结构，快速给出所需的解答
代码编写：能帮助用户快速编写简单的代码片段，例如函数、类或循环等
数学计算：既能处理常规数学计算问题，也能处理如《孙子算经》上记录的鸡兔同笼数学应用问题等
逻辑推理：支持处理复杂的逻辑推理类问题，包括科学推理、常识推理、时空推理等
三、视频能力
视频描述：基于用户上传的视频素材，准确理解并回答视频识别、视频描述类问题
视频检索：基于海量的高质视频素材库，能为用户搜索出关联度高的精致视频素材
视频问答：基于用户上传的视频素材，准确理解并回答视频相关的问题，同时支持上下文信息理解和多轮问答
四、音乐能力
音乐生成：通过给定的文本提示可控生成高保真的音乐，并支持即兴创作多种风格类型和多种乐器演奏的音乐
音乐多模问答：基于对用户上传的音乐素材的理解，可完成相关多模态问答任务
五、音频能力
音频鉴伪：紫东太初能判断当前音频是真人说话还是机器合成
音频事件分类：可检测当前音频中所包含的声音事件类型，目前支持11种单一声音事件和混合声音事件
语音识别：可将语音快速准确识别为文字，支持手机应用语音交互、语音内容分析多个场景
语音合成：提供高度拟人、流畅自然的语音合成服务，满足文本阅读、语音播报等各类型场景需求
六、3D能力
3D场景描述：紫东太初2.0具备基于点云数据的3D场景理解和物体感知能力
七、信号类能力
信号识别：支持雷达信号鉴别与知识交互，可借助模型快速掌握信号基本来源及参数等