1、多媒体检索
多媒体获取技术的进步和互联网的发展给人们带来巨大的多媒体信息海洋。如何高效地管理和访问多媒体海量数据一直以来是多媒体技术研究中的重点。多媒体检索技术主要研究海量多媒体数据的索引技术,多模态查询的自适应融合技术。
2、多媒体问答
与检索技术不同,多媒体问答致力于直接返回给用户精确的答案而非根据相关性排序的列表。在Web2.0下,文本问答的研究从自动分析文本数据集产生答案转向挖掘网络知识库(雅虎问答)和利用“人计算(Human Computation)”得到问题的最佳答案。而类似的多媒体问答知识库还在不断构建之中,因此目前的多媒体问答技术仍利用多媒体检索、重排序、多模态信息摘要等技术自动生成答案。
3、多媒体标注
多媒体标注又称概念检测,通过机器学习模型建立图像视觉内容和高层语义概念(concept)之间的联系。因为底层特征与高层语义概念之间存在的语义鸿沟,多媒体标注仍然是极具挑战的研究课题。在社会化媒体广泛兴起的今天,如何充分利用用户提供的标签等信息提高多媒体标注的精度和效率是研究的关键。
4、移动多媒体
随着手机和其他移动设备的迅猛增长,基于移动设备的多媒体处理与检索成为一大热点问题。移动多媒体的研究主要包括挖掘个人信息和通讯信息以实现移动平台上的个性化检索、基于移动设备摄像头的视觉化检索等。
代表性论文:
1. Meng Wang, Xiansheng Hua, Richang Hong, Jinhui Tang, Guojun Qi, Yan Song. Unified Video Annotation via Multi-Graph Learning. IEEE trans. On Circuit System and Video Technology. 19(5), 2009.
2. Meng Wang, Xiansheng Hua, Jinhui Tang, Richang Hong. Beyond Distance Measurement: Constructing Neighborhood Similarity for Video Annotation. IEEE trans. On Multimedia. 11(3), 2009.
3. Meng Wang, Richang Hong, Guangda Li, Shuicheng Yan, Tat-Seng Chua. Event Driven Web Video Summarization by Tag Localization and Key-Shot Identification. IEEE trans. on Multimedia. In Press.