度小滿“軒轅70B”金融大模型開源

　　度小滿推出全新的金融行業大模型“軒轅70B”，標志著金融大模型邁向新的高度。該模型在通用能力和專業金融領域表現出色，名列各項開源模型評測榜單前列，特別在中文任務評測和金融領域十大類權威考試方面提供專業支持。

　　“軒轅70B”是一個重要的金融對話大模型項目，旨在提供卓越的自然語言處理能力。該項目構建在Llama2-70B模型的基礎上，經過中文增強和大量通用與金融領域的預訓練，形成了一系列強大的金融大模型。

　　“軒轅70B”是首個擁有70B參數量級和上下文長度可達8k以上的開源大模型。它在預訓練階段融入了大量的專業金融語料，旨在提高通用能力的同時顯著增強金融專業性能。模型訓練采用了一系列加速優化策略，具備出色的訓練效率。

　　這一模型已經在開源社區全面開放，包括模型權重和訓練語料，為金融行業提供了一個高效的中文基座模型，用戶還可以根據需要進行自定義的微調。這一創新將有助于金融領域的自然語言處理和信息抽取等任務，為行業發展帶來新的機遇。

　　核心功能:

　　1. 中文增強:XuanYuan-70B基于Llama2-70B模型進行了中文增強，通過大量通用與金融領域數據的預訓練，擴充了中文詞表，大幅提升了金融領域的理解能力。

　　2. 上下文長度擴展:為滿足金融領域的長文本需求，XuanYuan-70B在預訓練階段將上下文長度擴展到了8k和16k，這是首個在70B參數級別上實現如此高上下文長度的開源大模型。

　　3. 通用能力:該模型在通用能力評測中表現出色，不僅在英文評測數據上表現優秀，還在多種中文評測數據集上表現出眾，涵蓋了STEM、人文學科、社會科學等領域。

　　4. 金融領域應用:XuanYuan-70B在金融領域評測中取得顯著的提升，這使得它成為處理金融領域文本的理想選擇。

　　5. 對話能力:XuanYuan-70B-Chat模型經過通用和金融指令微調，具備出色的對話生成能力，可以用于生成金融領域的文本摘要以及回答各種問題。