SOLAR10.7B大模型屠榜HuggingFace 創(chuàng)新性拼接兩個(gè)羊駝，高效集成

　　深度學(xué)習(xí)領(lǐng)域的新技術(shù)近日在HuggingFace的大模型排行榜中嶄露頭角，由Upstage AI提出的深度擴(kuò)展方法(DUS)在SOLAR10.7B大模型上取得了令人矚目的成績(jī)。該技術(shù)通過(guò)創(chuàng)新性地拼接兩個(gè)7B羊駝，并采用DUS方法刪除中間層次，使得新模型不僅超越了傳統(tǒng)擴(kuò)展方法如MoE，還能與基礎(chǔ)大模型相同的基礎(chǔ)設(shè)施高效集成。

　　在技術(shù)實(shí)現(xiàn)方面，DUS技術(shù)通過(guò)巧妙選擇Mistral7B作為底材，實(shí)現(xiàn)了對(duì)原版和MoE版的超越。團(tuán)隊(duì)深入權(quán)衡性能與模型尺寸，在拼接方式上選擇性刪除層次，經(jīng)過(guò)繼續(xù)預(yù)訓(xùn)練，模型性能得以迅速恢復(fù)。對(duì)齊的Instruct版本也在技術(shù)實(shí)踐中取得了顯著的進(jìn)展。

　　為保障數(shù)據(jù)安全，團(tuán)隊(duì)回應(yīng)了網(wǎng)友對(duì)測(cè)試數(shù)據(jù)泄露的質(zhì)疑，提供了數(shù)據(jù)污染測(cè)試結(jié)果，并顯示出低水平的可能性。而SOLAR10.7B基礎(chǔ)模型和微調(diào)模型以Apache2.0協(xié)議開(kāi)源，得到了科研社區(qū)的廣泛關(guān)注。

　　在用戶(hù)反饋方面，試用者對(duì)該技術(shù)在從JSON格式數(shù)據(jù)中提取數(shù)據(jù)的表現(xiàn)表示滿(mǎn)意。這一實(shí)際應(yīng)用的反饋?zhàn)C明了該技術(shù)在處理實(shí)際數(shù)據(jù)時(shí)的優(yōu)越性。