亞馬遜Alexa AI研究人員推QUADRo:超過(guò)44萬(wàn)個(gè)標(biāo)注示例，增強(qiáng)QA系統(tǒng)的突破性資源

　　人工智能(AI)和機(jī)器學(xué)習(xí)(ML)的能力使它們成功地滲透到幾乎每個(gè)可能的行業(yè)。隨著大語(yǔ)言模型(LLMs)和問(wèn)答系統(tǒng)的引入，尤其是近年來(lái)，AI社區(qū)取得了巨大的進(jìn)展。在自動(dòng)問(wèn)答(QA)系統(tǒng)的開發(fā)中，從包含問(wèn)題-答案對(duì)的預(yù)先計(jì)算數(shù)據(jù)庫(kù)中高效檢索答案是一個(gè)常見的步驟。

　　研究指出了兩種主要的QA范式:開放式書本和閉合式書本。開放式書本采用檢索和閱讀的兩步過(guò)程，從龐大的文檔語(yǔ)料庫(kù)(通常是互聯(lián)網(wǎng))中獲取相關(guān)材料，然后通過(guò)應(yīng)用不同的模型和方法從獲取的內(nèi)容中提取解決方案。閉合式方法則更為最新，依賴于訓(xùn)練中學(xué)到的技能，這些模型通常基于Seq2Seq模型(如T5)，在不使用外部語(yǔ)料庫(kù)的情況下生成結(jié)果。

　　盡管閉合式技術(shù)表現(xiàn)出色，但它們對(duì)許多工業(yè)應(yīng)用來(lái)說(shuō)過(guò)于資源密集，對(duì)系統(tǒng)性能構(gòu)成重大風(fēng)險(xiǎn)。數(shù)據(jù)庫(kù)問(wèn)答(DBQA)是另一種方法，它從預(yù)生成的問(wèn)題-答案對(duì)數(shù)據(jù)庫(kù)中檢索答案，而不依賴于模型或大型語(yǔ)料庫(kù)參數(shù)中包含的信息。

　　然而，DBQA技術(shù)在檢索和排名模型開發(fā)方面面臨著重要的問(wèn)題，主要是由于現(xiàn)有資源在范圍和內(nèi)容上的不足。為了克服這些挑戰(zhàn)，一組研究人員提出了一個(gè)名為QUADRo的數(shù)據(jù)集和模型，用于問(wèn)答數(shù)據(jù)庫(kù)檢索。這是一個(gè)新的、開放領(lǐng)域的標(biāo)注資源，專門用于訓(xùn)練和評(píng)估模型。

　　QUADRo包含15，211個(gè)輸入問(wèn)題的每個(gè)問(wèn)題都有30個(gè)相關(guān)的問(wèn)答對(duì)，總計(jì)超過(guò)44萬(wàn)個(gè)標(biāo)注樣本。對(duì)每對(duì)的重要性進(jìn)行了二進(jìn)制指示，與輸入查詢的關(guān)系明確標(biāo)記。

　　研究團(tuán)隊(duì)進(jìn)行了深入的實(shí)驗(yàn)，評(píng)估了該資源在與QA系統(tǒng)組件的幾個(gè)重要方面的質(zhì)量和特性。這些元素包括培訓(xùn)方法、輸入模型配置和答案的相關(guān)性。實(shí)驗(yàn)證明了該方法在檢索相關(guān)響應(yīng)方面的出色表現(xiàn)，通過(guò)檢查在該數(shù)據(jù)集上訓(xùn)練的模型的行為和性能。

　　總的來(lái)說(shuō)，這項(xiàng)研究通過(guò)引入一個(gè)有用的資源并對(duì)其屬性進(jìn)行仔細(xì)評(píng)估，解決了自動(dòng)質(zhì)量保證系統(tǒng)中訓(xùn)練和測(cè)試數(shù)據(jù)不足的問(wèn)題。對(duì)培訓(xùn)策略和答案相關(guān)性等重要元素的強(qiáng)調(diào)有助于更全面地了解這一領(lǐng)域。