深度學(xué)習(xí)領(lǐng)域的新技術(shù)近日在HuggingFace的大模型排行榜中嶄露頭角,由Upstage AI提出的深度擴(kuò)展方法(DUS)在SOLAR10.7B大模型上取得了令人矚目的成績(jī)。該技術(shù)通過(guò)創(chuàng)新性地拼接兩個(gè)7B羊駝,并采用DUS方法刪除中間層次,使得新模型不僅超越了傳統(tǒng)擴(kuò)展方法如MoE,還能與基礎(chǔ)大模型相同的基礎(chǔ)設(shè)施高效集成。

在技術(shù)實(shí)現(xiàn)方面,DUS技術(shù)通過(guò)巧妙選擇Mistral7B作為底材,實(shí)現(xiàn)了對(duì)原版和MoE版的超越。團(tuán)隊(duì)深入權(quán)衡性能與模型尺寸,在拼接方式上選擇性刪除層次,經(jīng)過(guò)繼續(xù)預(yù)訓(xùn)練,模型性能得以迅速恢復(fù)。對(duì)齊的Instruct版本也在技術(shù)實(shí)踐中取得了顯著的進(jìn)展。
為保障數(shù)據(jù)安全,團(tuán)隊(duì)回應(yīng)了網(wǎng)友對(duì)測(cè)試數(shù)據(jù)泄露的質(zhì)疑,提供了數(shù)據(jù)污染測(cè)試結(jié)果,并顯示出低水平的可能性。而SOLAR10.7B基礎(chǔ)模型和微調(diào)模型以Apache2.0協(xié)議開(kāi)源,得到了科研社區(qū)的廣泛關(guān)注。
在用戶(hù)反饋方面,試用者對(duì)該技術(shù)在從JSON格式數(shù)據(jù)中提取數(shù)據(jù)的表現(xiàn)表示滿(mǎn)意。這一實(shí)際應(yīng)用的反饋?zhàn)C明了該技術(shù)在處理實(shí)際數(shù)據(jù)時(shí)的優(yōu)越性。


產(chǎn)品與服務(wù)
聯(lián)系站長(zhǎng)
關(guān)于我們