一种视频可视化处理方法及系统的制作方法
【专利摘要】本发明公开了一种视频可视化处理方法及系统，其中该方法包括：获取视频中的视频信息，对所述视频信息进行结构化处理，获取所述视频信息对应的视频结构信息；获取视频中的音频信息，对所述音频信息进行处理，获取所述音频信息对应的音频内容信息；根据所述视频结构信息和所述音频内容信息对所述视频进行显示处理；在本发明实施例中，通过多层次、多角度、集中地呈现视频内容和整体结构，有效突出视频的重点内容、中心主题，友好地与用户进行交互，能有效的帮助用户快速理解视频内容，提高用户使用体验感。
【专利说明】
一种视频可视化处理方法及系统
技术领域
[0001] 本发明涉及视频显示技术领域，尤其涉及一种视频可视化处理方法及系统。
【背景技术】
[0002] 近年来，为了满足信息时代快速有效的获取或筛选信息的需求，越来越多的人开 始关注信息可视化，并开始探索可视化在各个领域中的应用，各种创新型可视化案例纷纷 涌现，数据信息可视化的理论研究和实践也趋于成熟，可视化已然成为各个领域处理数据 信息的一种高效方法。
[0003] 在数据信息爆炸的信息时代中，随着网络技术和多媒体技术的高速发展，视频成 为获取信息的重要来源，视频作为承载信息内容最丰富的一种媒介形式，相对于其他的媒 介而言，视频传递的信息内容更为生动、直观和有效，因此，用户更加青睐于在视频中获取 信息内容。
[0004] 但是，网络技术和多媒体技术相对较为成熟，视频的数量呈爆炸式增长，各类视频 资源也非常的丰富，而视频存在数据结构复杂、视频数据单元关系不明确、视频内容提取困 难、视频数据语义理解模糊、存在语义鸿沟的问题;大多数的视频都是通过标题和一张图片 信息来表示该视频的主要内容摘要，往往会无法将视频中的内容简介完整、清晰的展示给 用户，用户也会因为通过视频标题或视频的一张图片信息无法准确无误的快速找到需要的 视频信息，加大了用户寻找合适的视频信息的难度，极大的降低了用户使用体验度。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，本发明提供了一种视频可视化处理方法 及系统，通过多层次、多角度、集中地呈现视频内容和整体结构，有效突出视频的重点内容、 中心主题，用户交互友好，能有效的帮助用户快速理解视频内容，提高用户使用体验感。
[0006] 为了解决上述技术问题，本发明提供了一种视频可视化处理方法，所述方法包括：
[0007] 获取视频中的视频信息，对所述视频信息进行结构化处理，获取所述视频信息对 应的视频结构信息；
[0008] 获取视频中的音频信息，对所述音频信息进行处理，获取所述音频信息对应的音 频内容信息；
[0009] 根据所述视频结构信息和所述音频内容信息对所述视频进行显示处理。
[0010] 优选地，所述根据所述视频结构信息和所述音频内容信息对所述视频进行显示处 理的步骤，包括：
[0011] 构建视频可视化框架；
[0012] 将所述视频结构信息和所述音频内容信息填入所述视频可视化框架，获取填入完 成的视频可视化框架；
[0013] 将所述填入完成的视频可视化框架进行显示。
[0014] 优选地，所述视频可视化框架为环形层次框架，所述环形层次框架至少包括两层。
[0015] 优选地，所述构建视频可视化框架的步骤，包括：
[0016] 获取所述视频可视化框架各层之间的距离关系；
[0017] 根据所述距离关系构建五层视频可视化框架；
[0018] 所述五层视频可视化框架包括：中心层、第二层、第三层、第四层和外层;所述视频 可视化框架中各层的距离关系为：
[0020]其中，中心层、第二层、第三层、第四层和外层的到中心的距离分别为rhrhrhlu、 r5; m为中心层到第二层内圈的距离，cn、(^为心的倍数参数，β!、β2为m的倍数参数。
[0021 ]优选地，所述获取视频中的视频信息，对所述视频信息进行结构化处理，获取所述 视频信息对应的视频结构信息步骤，包括：
[0022]根据视频库获取所述视频或根据用户关键字检索的方式获取所述视频；
[0023]获取所述视频中的视频信息；
[0024] 对所述视频信息进行镜头切割、关键帧提取和场景检测处理，获取所述视频信息 对应的视频结构信息；
[0025] 其中，所述视频结构信息包括主题信息、帧率信息、关键帧信息和时间线信息。
[0026] 优选地，所述获取视频中的音频信息，对所述音频信息进行处理，获取所述音频信 息对应的音频内容信息的步骤，包括：
[0027]获取所述视频中的音频信息；
[0028]对所述音频信息进行分类处理，将所述音频信息分为人物音频信息、环境音频信 息和背景音乐信息；
[0029]对所述人物音频信息进行文字转化处理，获取处理后的文字信息；
[0030]对所述文字信息进行语义分析，对所述文字信息进行预处理，获取预处理文字信 息；
[0031 ]根据所述预处理文字信息获取所述文字信息中的主题信息和关键词信息；
[0032] 其中，所述音频信息内容基本信息包括:主题信息、关键词信息、环境音频信息和 背景音乐信息。
[0033] 优选地，所述根据所述预处理文字信息获取所述文字信息中的主题和关键词的步 骤，包括：
[0034] 对所述预处理文字信息进行主题抽取以及主题的词频统计，获取统计结果；
[0035] 根据所述统计结果采用结合主题词库对主题进行分类和注释，获取结构化文档，
[0036] 根据所述结构文档，获取所述文字信息中的主题信息和关键词信息。
[0037] 优选地，所述将所述视频结构信息和所述音频内容信息填入所述视频可视化框 架，获取填入完成的视频可视化框架的步骤，包括：
[0038] 向所述中心层填入主题信息和人物图片信息；
[0039] 向所述第二层填入关键帧信息、向所述第三层填入帧序列信息；
[0040]向所述第四层填入时间轴信息；
[0041 ]向所述外层填入主题信息和关键字信息。
[0042]另外，本发明还提供了一种视频可视化处理系统，所述系统包括：
[0043]视频信息处理模块：用于获取视频中的视频信息，对所述视频信息进行结构化处 理，获取所述视频信息对应的视频结构信息；
[0044]音频信息处理模块:用于获取视频中的音频信息，对所述音频信息进行处理，获取 所述音频信息对应的音频内容信息；
[0045]显示处理模块:用于根据所述视频结构信息和所述音频内容信息对所述视频进行 显示处理。
[0046] 优选地，所述显示处理模块包括：
[0047] 构建单元:用于构建视频可视化框架；
[0048] 内容填入单元:用于将所述视频结构信息和所述音频内容信息填入所述视频可视 化框架，获取填入完成的视频可视化框架；
[0049] 显示单元:用于将所述填入完成的视频可视化框架进行显示。
[0050] 在本发明实施例中，通过对视频进行可视化处理，将视频数据的结构简单化、明确 视频数据之间的关系和提取视频的关键内容，采用多层次、多角度集中地呈现视频内容和 整体结构，有效突出视频的重点内容、中心主题，将视频的重点内容和中心主题显示给用 户，帮助用户快速准确了解视频的主要内容，使用户快速找到合适自己的视频信息，增加了 用户在获取视频信息时的交互友好度，提高用户使用体验感。
【附图说明】
[0051] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其它的附图。
[0052] 图1是本发明实施例中视频可视化处理方法的方法流程示意图；
[0053]图2是本发明实施例中对音频信息处理的流程示意图；
[0054]图3是本发明实施例中视频可视化显示的流程示意图；
[0055]图4是本发明实施例中视频可视化框架填入完成的效果图；
[0056]图5是本发明实施例中视频可视化处理系统的系统结构组成示意图；
[0057]图6是本发明实施例中音频处理模块的结构组成示意图；
[0058]图7是本发明实施例中显示模块的结构组成示意图；
[0059] 图8是本发明实施例中内容填入单元的结构组成示意图。
【具体实施方式】
[0060] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0061] 图1是本发明实施例中视频可视化处理方法的方法流程示意图，如图1所示，该方 法包括：
[0062] s11:获取视频中的视频信息，对视频信息进行结构化处理，获取视频信息对应的 视频结构信息；
[0063] s12:获取视频中的音频信息，对音频信息进行处理，获取音频信息对应的音频内 容信息；
[0064] s13:根据视频结构信息和音频内容信息对视频显示处理。
[0065] 对s11作进一步说明：
[0066] 通过网络爬虫的方式在视频数据库中获取数据库中的视频或者按照用户的要求 检索的方式获取到视频，对获取到的视频进行处理，获取视频信息对应的视频结构信息;对 视频信息进行视频结构化处理;结构化处理是通过镜头切割、关键帧提取和场景检测等方 法见视频的结构分为视频、场景、镜头和图像帧四个级别，提取视频特征;利用基于全局特 征的检测等镜头分割方法对镜头进行分割，利用基于镜头边界等关键帧提取法对关键帧进 行提取，利用基于hmm和bayes等统计方法的场景检测算法视频信息场景检测，获取到视频 信息中的视频主题信息、帧率信息、关键帧信息和时间线信息等信息。
[0067] 对获取的关键帧信息采用knn算法进行聚类，将关键帧信息进行分类将杂乱的关 键帧信息进行3-5个甚至多个类别的划分，得到符合要求的关键帧序列信息;例如划分出任 务帧信息、环境帧信息以及主题信息要点相关的帧信息。
[0068] 对s12作进一步说明：
[0069] 首先对视频进行音频分离处理，获取视频中的音频信息，然后对音频信息进行分 类处理，将音频信息分类为:人物音频信息、环境音频信息和背景音乐信息;采用asr技术对 人物音频信息进行处理，将人物音频信息转化成文字信息，对该文字信息进行语义分析，通 过分词技术和词干提取的方法对文字信息进行预处理，获取预处理的文字信息，对预处理 的文字信息进行主题抽取以及主题的词频统计，对获取的预处理文字信息采用结合主题词 库对主题进行分类和注释，形成结构化文档，获取主题词和关键词；该主题词库是指针对特 定类别的视频建立的相应的主题词库。
[0070] 其中，该音频信息内容基本信息包括:主题信息、关键词信息、环境音频信息和背 景音乐信息。
[0071] 在本实施例中采用asr技术对音频信息进行处理，能够更完整的获取到音频信息 中的内容信息并转化为文字信息。
[0072] 图2是本发明实施例中对音频信息处理的流程示意图，结合图2对s12进行说明： [0073] s121:获取视频中的音频信息；
[0074] s122:对音频信息分类处理，将该音频信息分为人物音频信息、环境音频信息和背 景音乐信息；
[0075] s123:对人物音频信息进行文字转化处理，获取处理后的文字信息；
[0076] s124:对文字信息进行语义分析，对该文字信息进行预处理，获取预处理文字信 息；
[0077] s125:根据该预处理文字信息获取文字信息中的主题信息和关键词信息；
[0078] 对s121作进一步说明：
[0079] 采用音频过滤的方式，在视频中将音频信息过滤出来，获取音频信息。
[0080] 对s122作进一步说明：
[0081 ]对获取到音频信息，采用音频分类器将音频信息分类为:人物音频信息、环境音频 信息和背景音乐信息。
[0082] 对s123作进一步说明：
[0083] 采用asr技术(或其他的音频文字转换技术)对人物音频信息进行处理，将人物音 频信息转化为文字信息，从而获取到文字信息。
[0084] 对s124作进一步说明：
[0085] 对获取的文字信息进行语义分析，分析之后通过分词方式和词干提取的方法对文 字信息进行预处理，获取预处理文字信息。
[0086] 对s125作进一步说明：
[0087]对预处理文字信息进行主题抽取以及主题的词频统计，对获取的预处理文字信息 采用结合主题词库对主题进行分类和注释，形成结构化文档，获取主题词和关键词；该主题 词库是指针对特定类别的视频建立的相应的主题词库。
[0088] 对s13作进一步说明：
[0089] 首先是构建视频可视化框架，该视频可视化框架视频可视化框架为环形层次框 架，该环形层次框架至少包括两层，然后将视频结构信息和音频内容信息填入视频可视化 框架，获取填充完成的视频可视化框架，最后将该填充完成的视频可视化框架进行显示。
[0090] 图3是本发明实施例中视频可视化显示的流程示意图，结合图3对s13进行说明：
[0091] s131:构建视频可视化框架；
[0092] s132:将视频结构信息和音频内容信息填充至视频可视化框架，获取填充完成的 视频可视化框架；
[0093] s133:将填充完成的视频可视化框架进行显示。
[0094] 对s131作进一步说明：
[0095] 构建的视频可视化框架为环形层次框架，该环形层次框架至少包括两层;该环形 层次框架可以是圆环形、方环形和其他规则或不规则的环形层次框架。
[0096] 在本实施例中，构建层次视频可视化展示框架在本实施例中所构建的层数为5层， 并且构建的框架为圆环形。
[0097] 本框架的构建可以根据用户的需求进行设计，并不仅仅局限于圆环形，在本实施 例中，采用圆环形层次框架是因为圆环形层次框架具有更好的显示效果。
[0098]首先获取视频可视化框架各层之间的距离关系;然后根据该距离关系构建五层视 频可视化框架；
[0099]所构建的层次视频可视化展示框架中的框架分为：中心层(第一层）、第二层、第三 层、第四层和外层(第五层），其中，假设构建该框架的中心层、第二层、第三层、第四层和外 层的到中心的距离分别为ri、r 2、r3、r4、r5，其对应关系为：
[0101 ] 其中，m为中心层到第二层内圈的距离，通过设定ri、m以及与ri、m相关的倍数 为1^的倍数参数，的倍数参数，即可确定各层到中心的距离关系；当
，在该次视频可视化展示框架展示的视频的视觉效 果更好。
[0102] 对s132作进一步说明：
[0103]确定中心层填入主题信息与人物图片信息、第二层填入关键帧信息、第三层填入 帧序列信息、第四层填入时间轴信息以及外层填入主题信息和关键字信息;根据视频结构 信息和音频内容信息向视频可视化框架各层填入对应的内容信息。
[0104] 其中，向该中心层填入主题信息与人物图片信息包括：
[0105] 采用基于色彩提取的方法在关键帧信息中获取人物图片信息的关键帧信息;在人 物图片信息的关键帧信息中截取人物图片信息，将人物图片信息放缩至中心层到中心距离 一半的大小，获取放缩人物图片信息；将在视频信息中获取的主题信息和音频信息提取到 的主题信息作为显示主题信息；将放缩人物图片信息填充至中心层中间，将显示主题信息 填充至放缩人物图片信息外围的中心层中。
[0106] 向该第二层填入关键帧信息，重点突出以主题内容对应的关键帧信息，使用户能 够快速的把握视频主要内容，了解视频内容的形式和风格;为了快速准确的填入关键帧学 习，本实施例提出了一种利用包围盒优化呈现关键帧内容的方法向第二层填入关键帧信 息，该方法的步骤包括：
[0107] 步骤1:采用直线按顺序连接第二层边界各个顶点，获取长度分别为&1、&2、 &3、&4的 边界，其中a2 = a4 = airi;
[0108] 步骤2:根据上述连接形成包围盒的长为第二层边界成的长度a3,宽为边界顶点到 边界最远点的距离：
[0109]步骤3:当&1>&2时，关键帧的长与包围盒的长对应，等比例放缩，并将放缩后的关 键帧置于边界区域内；
[0110] 步骤4:当包围盒的长大宽时，且长宽比大于16:9,将关键帧的宽定为，并将关 键帧放置于圆弧中心区域，对区域进行覆盖；
[0111] 步骤5:当&1<&2时，将关键帧的长与包围盒的宽对应，等比例放缩，并将放缩关键 帧放置于边界区域内；
[0112] 步骤6:保存放置有关键帧的边界区域，将边界外的多余信息删除。
[0113] 其中，d为边界顶点到边界最远点的距离，是中心层到中心的距离，r2是第二层到 中心的距离，m为中心层到第二层内圈的距离，(^为心倍数参数，仏为!!!的倍数参数。采用上述 步骤就能快速准确的将关键帧填入第二层中。
[0114] 向第三层填入帧序列信息，通过对视频帧的色彩提取的方式获取帧序列变化信 息，根据帧序列变化信息向第三层填入详细帧序列;本实施例提出了一种基于固定区域的 色彩分层表现详细帧序列的算法，实现详细帧序列填入，该算法流程包括：
[0115] 步骤1:设第二层的关键帧序列长度为x，那么获取的第三层关键帧对应的详细帧 序列长度为y，每一关键帧xi对应的详细帧序列长度为yi;
[0116] 步骤2:设定在圆弧区域色彩化表现每帧画面的大小。设表现大小为内环对应圆弧 的度数θ，其中，# e ρπ360°/ζ]，则详细帧的数量μ? = υ?/υ*23?/θ;
[0117] 步骤3:对这些关键帧序列做rgb的色彩提取，获得每个关键帧的rgb的分布，得到 各色的色彩比例；
[0118]步骤4:把每个关键帧获取的rgb比例划分第三层圆弧的宽，其中心为中心层到 中心的距离，α2为ri的倍数参数；
[0119]步骤5:最后通过已知角度θ和第三层圆弧的宽得到相关区域以及可以画的详细帧 数量mi，填充对应的颜色即可。
[0120] 根据上述算法，即可将详细帧序列填入第三层。
[0121] 向第四层填入时间轴信息，既是向第四层填入以时间轴为载体的信息呈现，在时 间轴上以颜色的方式对视频内容进行标注。
[0122] 以视频的时间轴为切割主线，以镜头的切割为依据，将切割的镜头再一次分类，以 此将时间轴切割后分为几类，用几种不同的颜色表示。例如，红色表示主要人物、蓝色为背 景、黑色为主题内容展示画面、通过黄色表示精彩点；根据对与平行线的处理，对获取的背 景音乐和环境信息(如掌声)通过不同的圆圈亮点和颜色的方式在第四层上标注显示;时间 轴与其它层之间存在层层对应的关系，通过点击其它层的内容，时间轴上会显示相关的时 间段或时间点，有助于用户之间把握相关内容呈现在视频中的位置;该时间轴还能标注视 频的长度，同时还能控制视频的播放进度。
[0123] 向外层填入主题信息和关键字信息包括将获取的主题信息和关键字信息在时间 轴上出现的时间点相关联，并将主题信息和关键字信息根据时间轴上的时间填入外层。
[0124] 进一步是外层则展现通过提取的音频对视频语义进行分析后得到的主题内容以 及关键词，让用户通过简单的文字阅读，加深用户对视频内容的理解;通过对音频信息的处 理，将获取的主题内容与出现的时间点关联，将其环绕于第四层圆环;主题内容的提取也将 根据视频的类型确定展现思路。例如，以演讲类视频为例，主题内容的展现流程:提出问题_ 例子-观点-总结-反思(或例子)等这种形式，又如新闻类视频，主题内容展现流程:事件发 生的时间-地点-人物-时间-态度等这些内容;通过语句里面的关键词及其词频，作为辅助 展现;外层主要是通过文字的方式去展现整个视频的主题内容与结构，是更高层的语义分 析。
[0125] 在本实施例中，通过不同的方式将不同的信息内容填入该环形层次框架中，方便 用户通过该环形层次框架了解其对应的视频的主要内容信息。
[0126] 将需要填入的信息填入该视频可视化框架之后获取到的框架效果图如图4所示， 其中a表示主要人物，b表示精彩点，c表示主题要点，d表示环境。
[0127] 图5是本发明实施例中视频可视化处理系统的系统结构组成示意图，如图5所示， 本发明实施例还提供了一种视频可视化处理系统，系统包括：
[0128] 视频信息处理模块11:用于获取视频中的视频信息，对视频信息进行结构化处理， 获取视频信息对应的视频结构信息；
[0129] 音频信息处理模块12:用于获取视频中的音频信息，对音频信息进行处理，获取音 频信息对应的音频内容信息；
[0130]显示处理模块13:用于根据视频结构信息和音频内容信息对视频进行显示处理。
[0131] 优选地，如图7所示，显示处理模块13包括：
[0132] 构建单元131:用于构建视频可视化框架；
[0133] 内容填入单元132:用于将视频结构信息和音频内容信息填入视频可视化框架，获 取填入完成的视频可视化框架；
[0134] 显示单元133:用于将填入完成的视频可视化框架进行显示。
[0135] 需要说明的是，首先采用构建单元131构建视频可视化框架，在构建好视频可视化 框架后，采用内容填入单元132将视频结构信息和音频内容信息填入该视频可视化框架中， 最后采用显示单元133将填入完成的视频可视化框架进行显示。
[0136] 优选地，视频可视化框架为环形层次框架，该环形层次框架至少包括两层。
[0137] 在具体实施过程中，所构建的视频可视化框架为环形层次框架，该环形层次框架 至少包括两层，该环形层次框架可以是圆环形、方环形和其他规则或不规则的环形层次框 架。
[0138] 本框架的构建可以根据用户的需求进行设计，并不仅仅局限于圆环形，在本实施 例中，采用圆环形层次框架是因为圆环形层次框架具有更好的显示效果。
[0139] 优选地，构建单元131包括：
[0140]距离获取子单元:用于获取视频可视化框架各层之间的距离关系；
[0141]框架构建子单元:用于根据距离关系构建五层视频可视化框架；
[0142]需要说明的是，该五层视频可视化框架包括：中心层、第二层、第三层、第四层和外 层;该视频可视化框架中各层的距离关系为：
[0144] 其中，中心层、第二层、第三层、第四层和外层的到中心的距离分别为心、1?2、1?3、1? 4、 r5 ;m为中心层到第二层内圈的距离，ch、(^为心的倍数参数，βχ、β2为m的倍数参数，g卩可确定 各层到中心的距离关系；
，在该次视频可视化展示 框架展示的视频的视觉效果更好。优选地，视频信息处理模块11包括：
[0145] 视频获取单元：用于根据视频库获取视频或根据用户关键字检索的方式获取视 频；
[0146] 视频信息获取单元:用于根据视频获取视频中的视频信息；
[0147] 处理单元:用于对视频信息进行帧分割、关键帧提取和场景检测处理，获取视频信 息对应的视频结构信息；
[0148] 其中，视频结构信息包括主题信息、帧率信息、关键帧信息和时间线信息。
[0149] 需要说明的是，通过视频获取单元获取到数据库中的视频或获取到根据用户检索 关键字检索反馈的视频，采用视频信息获取单元来获取视频中的视频信息，采用处理单元 对获取到的视频信息进行视频结构化处理，利用特征提取的方式对视频信息进行视频特征 提取，对视频信息进行镜头帧分割、关键帧提取和视频信息场景检测，获取到视频信息中的 视频主题信息、帧率信息、关键帧信息和时间线信息等信息。
[0150] 进一步的，对获取的关键帧信息采用knn算法进行聚类，将关键帧信息进行分类将 杂乱的关键帧信息进行3-5个甚至多个类别的划分，得到符合要求的关键帧序列信息;例如 划分出任务帧信息、环境帧信息以及主题信息要点相关的帧信息。
[0151] 优选地，如图6所示，音频信息处理模块12包括：
[0152] 音频信息获取单元121:用于根据视频获取视频中的音频信息；
[0153]分类处理单元122:用于对视音频信息进行分类处理，将音频信息分为人物音频信 息、环境音频信息和背景音乐信息；
[0154]文字转化单元123:用于对人物音频信息进行文字转化处理，获取处理后的文字信 息；
[0155] 预处理单元124:用于对文字信息进行语义分析，对文字信息进行预处理，获取预 处理文字信息；
[0156] 信息获取单元125:用于根据预处理文字信息获取文字信息中的主题信息和关键 词信息；
[0157] 其中，音频信息内容基本信息包括:主题信息、关键词信息、环境音频信息和背景 音乐信息。
[0158] 需要说明的是，首先采用音频信息获取单元121对视频进行音频分离处理，获取视 频中的音频信息，将该音频信息传递至分类处理单元122,采用分类处理单元122对音频信 息进行分类处理，将音频信息分类为:人物音频信息、环境音频信息和背景音乐信息;将分 类获取到的人物音频信息传至文字转化单元123,在文字转化单元123中采用asr技术对人 物音频信息进行处理，将人物音频信息转化成文字信息，将文字信息传至预处理单元124， 对该文字信息进行语义分析，分析之后通过分词方式和词干提取的方法对文字信息进行预 处理，获取预处理文字信息；最后采用信息获取单元125对对预处理文字信息进行主题抽取 以及主题的词频统计，对获取的预处理文字信息采用结合主题词库对主题进行分类和注 释，形成结构化文档，获取主题词和关键词;该主题词库是指针对特定类别的视频建立的相 应的主题词库。
[0159] 优选地，信息获取单元包括：
[0160] 统计子单元:用于对预处理文字信息进行主题抽取以及主题的词频统计；
[0161] 分类注释子单元：用于对预处理文字信息采用结合主题词库对主题进行分类和注 释，形成结构化文档；
[0162] 信息获取子单元:用于获取文字信息中的主题信息和关键词信息。
[0163] 需要说明的是，采用统计子单元对预处理文字信息进行主题抽取以及主题的词频 统计，采用分类注释子单元对进行词频统计的预处理文字进行结合主题词库对主题进行分 类和注释，形成结构化文档，采用信息获取子单元获取文字信息中的主题信息和关键词信 息。
[0164] 优选地，如图8所示，内容填入单元132包括：
[0165] 第一填入单元1321:用于向中心层填入主题信息和人物图片信息；
[0166] 第二填入单元1322:用于向第二层填入关键帧信息；
[0167] 第三填入单元1323:用于向第三层填入帧序列信息；
[0168] 第四填入单元1324:用于向第四层填入时间轴信息；
[0169] 第五填入单元1325:用于向外层填入主题信息和关键字信息；
[0170] 需要说明的是，采用第一填入单元1321向中心层填入主题信息和人物图片信息， 采用第二填入单元1322向第二层填入关键帧信息，采用第三填入单元1323向第三层填入帧 序列信息，采用第四填入单元1324向第四层填入时间轴信息，采用第五填入单元1325向第 五层填入主题信息和关键字信息。
[0171] 优选地，第一填入单元包括：
[0172] 人物图片信息获取子单元：用于对关键帧信息进行色彩提取处理，获取关键帧信 息中的人物图片信息；
[0173] 人物图片信息处理子单元:用于在人物图片信息的关键帧信息中提取人物图片信 息，将人物图片信息放缩至中心层到中心距离一半的大小，获取放缩人物图片信息；
[0174] 填入主题信息获取子单元:用于将视频信息中的主题信息和音频信息提取到的主 题信息作为中心层填入主题信息；
[0175] 填入子单元：用于将放缩人物图片信息填充至中心层中间，将填入主题信息填充 至放缩人物图片信息外围的中心层中。
[0176]需要说明的是，采用人物图片信息获取子单元对关键帧信息进行色彩提取处理， 在人物图片信息的关键帧信息中截取人物图片信息，采用人物图片信息处理子单元将人物 图片信息放缩至中心层到中心距离一半的大小，获取放缩人物图片信息，采用填入主题信 息获取子单元将在视频信息中获取的主题信息和音频信息提取到的主题信息作为显示主 题信息，采用填入子单元将放缩人物图片信息填充至中心层中间，将填入主题信息填充至 放缩人物图片信息外围的中心层中。
[0177]优选地，第二填入单元包括：
[0178]长度获取子单元：用于采用直线按顺序连接第二层边界各个顶点，获取长度分别 为 ai、a2、a3、a4 的边界，其中a2 = a4 = airi;
[0179] 包围盒形成子单元:用于根据上述连接形成包围盒的长为第二层边界形成的长度 a3,宽为边界顶点到边界最远点的距离
[0180] 第一判断子单元:用于当ai>a2时，关键帧的长与包围盒的长对应，等比例放缩，并 将放缩后的关键帧置于边界区域内；
[0181] 第二判断子单元:用于当包围盒的长大宽时，且长宽比大于16:9,将关键帧的宽定 为，并将关键帧放置于边界中心区域，对区域进行覆盖；
[0182] 第三判断子单元:用于当&1<&2时，将关键帧的长与包围盒的宽对应，等比例放缩， 并将放缩关键帧放置于边界区域内；
[0183] 保存子单元:用于保存放置有关键帧的边界区域，将边界外的多余信息删除。
[0184] 其中，d为边界顶点到边界最远点的距离，是中心层到中心的距离，r2是第二层到 中心的距离，m为中心层到第二层内圈的距离，倍数参数，扮为!!!的倍数参数。
[0185] 优选地，第三填入单元包括：
[0186] 帧序列变化获取单元:用于通过对视频帧的色彩提取的方式获取详细的帧序列变 化信息；
[0187] 填入子单元:用于根据详细的帧序列变化信息向第三层填入帧序列信息。
[0188] 优选地，第四填入单元包括：
[0189] 填入呈现子单元:用于呈现向第四层填入以时间轴为载体的信息；
[0190] 标注子单元:用于在时间轴上以颜色的方式对视频内容进行标注。
[0191] 需要说明的是，采用填入呈现子单元呈现向第四层填入以时间轴为载体的信息， 采用标注子单元在时间轴上以颜色的方式对视频内容进行标注。
[0192] 进一步的，以视频的时间轴为切割主线，以镜头的切割为依据，将切割的镜头再一 次分类，以此将时间轴切割后分为几类，用几种不同的颜色表示。例如，红色表示主要人物、 蓝色为背景、黑色为主题内容展示画面、通过黄色表示精彩点；根据对与平行线的处理，对 获取的背景音乐和环境信息（如掌声)通过不同的圆圈亮点和颜色的方式在第四层上标注 显示;时间轴与其它层之间存在层层对应的关系，通过点击其它层的内容，时间轴上会显示 相关的时间段或时间点，有助于用户之间把握相关内容呈现在视频中的位置;该时间轴还 能标注视频的长度，同时还能控制视频的播放进度。
[0193] 优选地，第五填入单元包括：
[0194] 关联获取子单元:用于将获取的主题和关键字在时间轴上出现的时间点相关联；
[0195] 填入子单元:用于并将主题和关键字根据时间轴上的时间填入外层。
[0196] 需要说明的是，采用关联获取子单元将获取的主题和关键字在时间轴上出现的时 间点相关联，采用填入子单元将主题和关键字根据时间轴上的时间填入外层。
[0197] 进一步的，外层则展现通过提取的音频对视频语义进行分析后得到的主题内容以 及关键词，让用户通过简单的文字阅读，加深用户对视频内容的理解;通过对音频信息的处 理，将获取的主题内容与出现的时间点关联，将其环绕于第四层圆环;主题内容的提取也将 根据视频的类型确定展现思路。例如，以演讲类视频为例，主题内容的展现流程:提出问题_ 例子-观点-总结-反思(或例子)等这种形式，又如新闻类视频，主题内容展现流程:事件发 生的时间-地点-人物-时间-态度等这些内容;通过语句里面的关键词及其词频，作为辅助 展现;外层主要是通过文字的方式去展现整个视频的主题内容与结构，是更高层的语义分 析。
[0198] 在本发明实施例中，通过对视频进行可视化处理，将视频数据的结构简单化、明确 视频数据之间的关系和提取视频的关键内容，采用多层次、多角度集中地呈现视频内容和 整体结构，有效突出视频的重点内容、中心主题，将视频的重点内容和中心主题显示给用 户，帮助用户快速准确了解视频的主要内容，使用户快速找到合适自己的视频信息，增加了 用户在获取视频信息时的交互友好度，提高用户使用体验感。
[0199] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储 介质可以包括：只读存储器（r〇m，read only memory)、随机存取存储器（ram，random access memory)、磁盘或光盘等。
[0200]另外，以上对本发明实施例所提供的视频可视化处理方法及系统进行了详细介 绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只 是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发 明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本发明的限制。
【主权项】
1. 一种视频可视化处理方法，其特征在于，所述方法包括： 获取视频中的视频信息，对所述视频信息进行结构化处理，获取所述视频信息对应的 视频结构信息； 获取视频中的音频信息，对所述音频信息进行处理，获取所述音频信息对应的音频内 容信息； 根据所述视频结构信息和所述音频内容信息对所述视频进行显示处理。2. 根据权利要求1所述的视频可视化处理方法，其特征在于，所述根据所述视频结构信 息和所述音频内容信息对所述视频进行显示处理的步骤，包括： 构建视频可视化框架； 将所述视频结构信息和所述音频内容信息填入所述视频可视化框架，获取填入完成的 视频可视化框架； 将所述填入完成的视频可视化框架进行显示。3. 根据权利要求2所述的视频可视化处理方法，其特征在于，所述视频可视化框架为环 形层次框架，所述环形层次框架至少包括两层。4. 根据权利要求3所述的视频可视化处理方法，其特征在于，所述构建视频可视化框架 的步骤，包括： 获取所述视频可视化框架各层之间的距离关系； 根据所述距离关系构建五层视频可视化框架； 所述五层视频可视化框架包括：中心层、第二层、第三层、第四层和外层;所述视频可视 化框架中各层的距离关系为：其中，中心层、第二层、第三层、第四层和外层的到中心的距离分别为mrhrmm 为中心层到第二层内圈的距离，αι、(^为办的倍数参数，β:、β2为m的倍数参数。5. 根据权利要求1所述的视频可视化处理方法，其特征在于，所述获取视频中的视频信 息，对所述视频信息进行结构化处理，获取所述视频信息对应的视频结构信息步骤，包括： 根据视频库获取所述视频或根据用户关键字检索的方式获取所述视频； 获取所述视频中的视频信息； 对所述视频信息进行镜头切割、关键帧提取和场景检测处理，获取所述视频信息对应 的视频结构信息； 其中，所述视频结构信息包括主题信息、帧率信息、关键帧信息和时间线信息。6. 根据权利要求1所述的视频可视化处理方法，其特征在于，所述获取视频中的音频信 息，对所述音频信息进行处理，获取所述音频信息对应的音频内容信息的步骤，包括： 获取所述视频中的音频信息； 对所述音频信息进行分类处理，将所述音频信息分为人物音频信息、环境音频信息和 背景音乐信息； 对所述人物音频信息进行文字转化处理，获取处理后的文字信息； 对所述文字信息进行语义分析，对所述文字信息进行预处理，获取预处理文字信息； 根据所述预处理文字信息获取所述文字信息中的主题信息和关键词信息； 其中，所述音频信息内容基本信息包括:主题信息、关键词信息、环境音频信息和背景 音乐信息。7. 根据权利要求6所述的视频可视化处理方法，其特征在于，所述根据所述预处理文字 信息获取所述文字信息中的主题和关键词的步骤，包括： 对所述预处理文字信息进行主题抽取以及主题的词频统计，获取统计结果； 根据所述统计结果采用结合主题词库对主题进行分类和注释，获取结构化文档， 根据所述结构文档，获取所述文字信息中的主题信息和关键词信息。8. 根据权利要求4或7所述的视频可视化处理方法，其特征在于，所述将所述视频结构 信息和所述音频内容信息填入所述视频可视化框架，获取填入完成的视频可视化框架的步 骤，包括： 向所述中心层填入主题信息和人物图片信息； 向所述第二层填入关键帧信息、向所述第三层填入帧序列信息； 向所述第四层填入时间轴信息； 向所述外层填入主题信息和关键字信息。9. 一种视频可视化处理系统，其特征在于，所述系统包括： 视频信息处理模块:用于获取视频中的视频信息，对所述视频信息进行结构化处理，获 取所述视频信息对应的视频结构信息； 音频信息处理模块:用于获取视频中的音频信息，对所述音频信息进行处理，获取所述 音频信息对应的音频内容信息； 显示处理模块:用于根据所述视频结构信息和所述音频内容信息对所述视频进行显示 处理。10. 根据权利要求9所述的视频可视化处理系统，其特征在于，所述显示处理模块包括： 构建单元:用于构建视频可视化框架； 内容填入单元：用于将所述视频结构信息和所述音频内容信息填入所述视频可视化框 架，获取填入完成的视频可视化框架； 显示单元:用于将所述填入完成的视频可视化框架进行显示。
【文档编号】g06f17/30gk105868292sq201610171422
【公开日】2016年8月17日
【申请日】2016年3月23日
【发明人】李玉三, 林淑金, 林格
【申请人】中山大学