基于Llama 2的日語LLM發布，參數量達70億、可與GPT3.5匹敵

　　最近，日本的人工智能初創公司ELYZA宣布發布了一款基于Meta的「Llama2」的日本語言模型(LLM)，該模型被命名為「ELYZA-japanese-Llama-2-7b」，擁有70億參數。此舉使得該模型能夠與開放AI領域的巨頭GPT3.5相媲美。

　　為了達到這一性能水平，ELYZA采用了多重學習策略。首先，他們進行了日本語的追加事前學習，然后進行了獨特的事后學習。此外，通過增加日本語詞匯表，他們實現了模型的高速化，進一步提高了性能。這一系列措施使得「ELYZA-japanese-Llama-2-7b」成為一個強大的日本語言模型。

　　性能方面，ELYZA使用了「ELYZA Tasks100」數據集，進行了5級手動評估。評測時，三人進行盲測，隱藏型號名稱、打亂順序，通過得分平均來計算分數。

　　結果顯示，「ELYZA-japanese-Llama-2-7b-instruct」在與其他已公開的日本語模型進行比較時，獲得了最高分。雖然它還沒有達到閉源LLM的水平，但已經能夠與GPT3.5相匹敵。

　　值得注意的是，ELYZA在模型的開發中采用了一種聰明的方法，將其他語言的LLM能力引入到了日語中，從而減少了日語學習的難度和成本。這一策略為模型的性能提升做出了重要貢獻。

　　ELYZA的「ELYZA-japanese-Llama-2-7b」模型標志著日本語LLM領域的一項重要突破。雖然目前在參數數量上仍不及一些國際級模型，但這一進展為日本語自然語言處理和生成領域帶來了更多可能性，未來可望進一步提高日本語LLM的性能。