現(xiàn)有自然語(yǔ)言問(wèn)答的視頻理解研究大多采用離線特征提取方式來(lái)進(jìn)行問(wèn)答推理，然而這種離線的處理方式存在一些缺陷：（1）視頻或文本特征提取器通常是在其他任務(wù)上進(jìn)行訓(xùn)練的，與目標(biāo)任務(wù)存在差異，如將行為識(shí)別數(shù)據(jù)集上訓(xùn)練的特征提取器直接用于視頻問(wèn)答任務(wù)顯然不是最優(yōu)的。（2）各個(gè)特征提取器通常是在各自領(lǐng)域數(shù)據(jù)集上單獨(dú)進(jìn)行訓(xùn)練，得到的模態(tài)特征之間缺乏聯(lián)系。（3）為提升問(wèn)答推理表現(xiàn)，這類(lèi)方法通常需借助于復(fù)雜的特征提取器或文本分析工具以更有效地處理視頻或問(wèn)題。因此，采取端到端的方式來(lái)對(duì)自然語(yǔ)言問(wèn)題和視頻內(nèi)容進(jìn)行學(xué)習(xí)是解決上述缺陷的一種有效途徑。盡管近年來(lái)提出的端到端方法通過(guò)同時(shí)學(xué)習(xí)特征提取與多模態(tài)信息交互，并在問(wèn)答推理上取得了優(yōu)異的識(shí)別表現(xiàn)。然而，這些方法主要關(guān)注于構(gòu)建參數(shù)量龐大的模型以及探索如何利用大規(guī)模視覺(jué)文本語(yǔ)料庫(kù)的預(yù)訓(xùn)練來(lái)提升任務(wù)性能，而這通常需要耗費(fèi)大量的計(jì)算資源，且在數(shù)據(jù)標(biāo)注和模型訓(xùn)練上具有較高的人力成本。

我院研究團(tuán)隊(duì)針對(duì)現(xiàn)有研究方法存在的上述問(wèn)題，提出了一種高效的端到端視頻和語(yǔ)言聯(lián)合學(xué)習(xí)方法。該方法結(jié)合了現(xiàn)有研究中所驗(yàn)證的局部空間信息和時(shí)間動(dòng)態(tài)特性對(duì)于提升問(wèn)答推理準(zhǔn)確性的幫助，通過(guò)設(shè)計(jì)金字塔式視頻和語(yǔ)言交互結(jié)構(gòu)，將視頻分解成具有不同粒度的空間和時(shí)間特征，并堆疊多個(gè)多模態(tài) Transformer層提取其與問(wèn)題之間的交互，實(shí)現(xiàn)了視頻和文本之間的局部和全局依賴(lài)關(guān)系提取。此外，為更充分地利用各層上的局部和全局交互特征，該方法設(shè)計(jì)了一種基于上下文匹配的橫向連接操作以及多步損失約束，以逐步地實(shí)現(xiàn)局部和全局語(yǔ)義完整的交互特征的提取。

方法框架圖

本研究方法能夠在無(wú)需建立參數(shù)量龐大的特征提取以及交互模型，且在不借助于大規(guī)模視覺(jué)文本數(shù)據(jù)對(duì)預(yù)訓(xùn)練的情況下，取得與現(xiàn)有方法相比更好或相當(dāng)?shù)耐评肀憩F(xiàn)。同時(shí)在模型參數(shù)量和計(jì)算效率上具有顯著優(yōu)勢(shì)。相關(guān)成果發(fā)表在人工智能頂會(huì)議AAAI Conference on Artificial Intelligence（CCF A類(lèi)）上。上述工作得到國(guó)家自然科學(xué)基金項(xiàng)目的支持。相關(guān)論文鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/25296