如何评价李飞飞团队的论文 Dense-Captioning Events in Videos？
刚读完李飞飞的 Dense-Captioning Events in Videos，说一下我的理解，初入CV，见识比较浅显，欢迎赐教！ 先理一下思路： 整个框架主要分成两部分：proposal module和captioning module。 模型如下： 1.给定视频，生成特征序列。实验中以16帧为单位，输入C3D提取特征。 2.proposal module。proposal module是在DAPs的基础上做了一点修改，即在每一个time step输出K个proposals。采用LSTM结构，输入上述C3D特征序列，用不同的strides提取特征序列，strides={1,2,4,8}。生成的proposal在时间上会有重叠。每检测出一个event，就将当前的隐藏层状态作为视频描述。 3.captioning module。利用相邻事件的context来生成event caption。采用LSTM结构。 将所有的事件相对于当前事件分成两个桶：past events和future events。并发事件则依据结束时间分成past events和future events。计算公式如原文，不在此列出。 4.损失函数由两部分组成： 都采用cross-entropy。 5.实验：baseline：LSTM-YT、S2VT、H-RNN、full model和online model。其中full model是本文中模型，online model是在full model中只采用past events，而不采用future events。 6.评估：分别对proposal module和captioning module进行评估。 proposal model：recall，依赖两个条件：(1) the number of proposals and (2) the IoU with ground truth events。同时也测试不同的strides在event localization中的效果。 captioning module：采用video retrieval。即给定视频不同部分的描述，在测试集中检测出正确的视频。 本文模型解决的问题： 1.视频长短不一致。 2.事件之间的相互联系。 我认为本文的主要贡献有以下几点： 1.提出proposals module+captioning module，只处理一次视频就能同时生成short和long event。 2.利用neighboring events的context生成current event caption。 3.提出ActivityNet Captioning数据集