?Nvidia 推出小型開放模型 Nemotron-Nano-9B-v2：可切換的推理功能

　　近日，Nvidia 正式發布了一款新型小型語言模型 Nemotron-Nano-9B-v2，標志著小型模型的熱潮再度升溫。

　　該模型具備9億個參數，雖然相較于其他數百萬參數的小型模型而言規模更大，但較原始的12億參數已大幅縮減，旨在能夠在一臺 Nvidia A10GPU 上高效運行。Nvidia 的 AI 模型后訓練總監 Oleksii Kuchiaev 在社交平臺上表示，減少參數的目的在于更好地適應部署需求，并且該模型采用了混合架構，可以在處理較大批量時比類似尺寸的變換模型快6倍。

　　Nemotron-Nano-9B-v2支持多種語言，包括英語、德語、西班牙語、法語、意大利語、日語等，適用于指令跟隨和代碼生成等任務。該模型的設計還包括一項創新功能 —— 用戶可以通過簡單的控制令牌來切換 AI 的 “推理” 過程，即在給出答案之前進行自我檢查。系統默認會生成推理痕跡，但用戶可通過如 /think 或 /no_think 等命令來控制此過程。此外，模型還引入了 “思考預算” 管理機制，允許開發者設定推理過程中所使用的標記數量，以在準確性與響應速度之間取得平衡。

　　根據測試結果，Nemotron-Nano-9B-v2在多個基準測試中表現優異。在 “推理開啟” 模式下，該模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等測試中都取得了令人滿意的成績。此外，它在指令跟隨和長上下文基準測試中同樣表現出色，顯示出相較于其他開放小型模型更高的準確性。

　　Nvidia 為這一模型設定了開放許可協議，允許開發者在商業上自由使用與分發，并明確不對生成的輸出聲索所有權。這意味著企業可以在無需額外協商的情況下立即將該模型投入生產，而不必擔心使用門檻或費用。

　　Nvidia 的 Nemotron-Nano-9B-v2模型為需要在小規模上實現推理能力與高效部署的開發者提供了新工具。其運行預算控制和推理切換功能為系統構建者提供了靈活性，旨在提高準確性和響應速度，進一步推動小型語言模型的發展。