以往的媒体信息处理模型往往只针对某种单一形式的媒体数据进行推理分析,比如图像识别、语音识别、文本识别等,而越来越多的任务需要像人一样能够协同综合处理多种形式(文本、音频、视频、图像等)的信息,这就是跨媒体分析与推理。跨媒体是一个比较广义的概念,既表现为包括网络文本、图像、音频、视频等复杂媒体对象混合并存,又表现为各类媒体对象形成复杂的关联关系和组织结构,还表现在具有不同模态的媒体对象跨越媒介或平台高度交互融合。通过“跨媒体”能从各自的侧面表达相同的语义信息,能比单一的媒体对象及其特定的模态更加全面地反映特定的内容信息。相同的内容信息跨越各类媒体对象交叉传播与整合,只有对这些多模态媒体进行融合分析,才能尽可能全面、正确地理解这种跨媒体综合体所蕴涵的内容信息。
跨媒体分析推理技术主要包括跨媒体检索、跨媒体推理、跨媒体存储几个研究范畴,可应用于网络内容监管、舆情分析、信息检索、智慧医疗、自动驾驶、智能穿戴设备等场景。
近年来,跨媒体分析推理技术在产业界和学术界也不断取得突破。
IBM的智能问答系统
谷歌利用搜索模式来 预测流感的传播情况
百度的知识图谱
百度知识图谱依托海量的日志数据、互联网数据和垂类数据,综合运用语义理解、知识挖掘、知识整合与补全等技术,提炼出高精度知识,并组织成图谱,进而基于知识图谱进行理解、推理和计算等,帮助人工智能更好地理解和建模客观世界。
字节跳动成立于2012年,公司的主要产品“今日头条”“抖音”“tiktok”都是基于数据挖掘技术做个性化推荐引擎的产品,致力于帮助用户在移动互联网上方便快捷地获取最有价值的信息,它会根据用户的兴趣为其推荐内容,这是对传统信息分发方式的一次巨大颠覆。
Netflix提供互联网随选 流 媒 体 播 放 , 定 制 DVD、蓝光光碟在线出 租业务。Netflix解构了 几乎所有的电影,用精 细、准确的微标签和评 级推荐系统去给电影重 新分类,形成个性化推 荐。