2月4日,騰訊混元AI Infra團(tuán)隊(duì)正式推出開源生產(chǎn)級(jí)高性能LLM推理核心算子庫(kù)HPC-Ops。騰訊混元稱,在真實(shí)場(chǎng)景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同時(shí),在單算子性能方面,HPC-Ops實(shí)現(xiàn)Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。
騰訊混元AI Infra核心技術(shù)開源
界面快報(bào) · 來(lái)源:界面新聞
騰訊
5.3k
- 騰訊元寶澄清:不存在“靜默監(jiān)控”、“默認(rèn)開啟AI”、“自動(dòng)舉報(bào)”情況
- QQ經(jīng)典農(nóng)場(chǎng)2月6日正式回歸,曾創(chuàng)下同時(shí)在線人數(shù)1.2億紀(jì)錄
評(píng)論
暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!
熱門排行February 05
- 事關(guān)隱藏式汽車門把手,強(qiáng)制性國(guó)家標(biāo)準(zhǔn)將于明年1月起實(shí)施
- 2月制造業(yè)PMI有望回升,力度受節(jié)后復(fù)工節(jié)奏與外需影響|宏觀晚6點(diǎn)
- 直通部委|去年1.49萬(wàn)戶失信企業(yè)被列入“黑名單” 我國(guó)嚴(yán)重犯罪呈持續(xù)下降趨勢(shì)
- 海南省人大常委會(huì)原副主任肖杰被查,曾任“中國(guó)最大地級(jí)市”市長(zhǎng)
- 事關(guān)外商投資、擴(kuò)大進(jìn)口,商務(wù)部回應(yīng)多個(gè)熱點(diǎn)話題
- 不當(dāng)點(diǎn)評(píng)特斯拉潮州事故,智己汽車聯(lián)席CEO劉濤道歉
- 中方領(lǐng)導(dǎo)人將于今年年底訪問(wèn)美國(guó)?外交部回應(yīng)
- 俄總統(tǒng)助理稱普京擬于今年上半年訪華,外交部回應(yīng)
- 日本強(qiáng)降雪已致300多人死傷,中國(guó)大使館多次提醒避免前往
- 海南島內(nèi)居民消費(fèi)進(jìn)境商品將享“零關(guān)稅”,每人每年免稅額度1萬(wàn)元