在人工智能快速發(fā)展的背景下,Kimi公司與清華大學(xué)MADSys實(shí)驗(yàn)室合作推出了基于KVCache的Mooncake推理系統(tǒng),旨在解決高推理負(fù)載和降低推理成本的問題。
Mooncake項(xiàng)目在GitHub上開源,致力于構(gòu)建高性能內(nèi)存語義存儲(chǔ)的標(biāo)準(zhǔn)接口。
Kimi與清華大學(xué)聯(lián)合發(fā)布Mooncake推理系統(tǒng),顯著提升AI推理效率。
Mooncake項(xiàng)目已在GitHub上開源,目標(biāo)是構(gòu)建高性能內(nèi)存語義存儲(chǔ)的標(biāo)準(zhǔn)接口。
期待更多企業(yè)和研究機(jī)構(gòu)參與,共同推動(dòng)AI技術(shù)的進(jìn)步。


產(chǎn)品與服務(wù)
聯(lián)系站長(zhǎng)
關(guān)于我們