中電信人工智慧科技申請並行推理方法專利,提高模型推理效率

國家智慧財產權局資訊顯示,中電信人工智慧科技(北京)有限公司申請一項名為“並行推理方法、裝置、非易失性儲存介質及電子裝置”的專利,公開號CN121480716A,申請日期為2025年11月科技

專利摘要顯示,本申請公開了一種並行推理方法、裝置、非易失性儲存介質及電子裝置科技。該方法包括:將生成式模型的推理過程劃分為多個計算階段,在至少一個計算階段設定早退出點;模型推理流水線中的每個計算階段序列執行計算,並在計算推進至早退出點的情況下,觸發並行執行模式;在並行執行模式下,設定有早退出點的當前計算階段透過早退輸出層生成投機草稿令牌,並將投機草稿令牌與已生成的輸出令牌序列進行拼接;同時,當前計算階段的後續計算階段執行後續網路層的前向計算,以對投機草稿令牌進行驗證;判斷是否將投機草稿令牌確定為有效輸出。本申請解決了由於基於早退出的自投機解碼在生成令牌時無法即時驗證正確性,造成的模型推理效率較低的技術問題。

天眼查資料顯示,中電信人工智慧科技(北京)有限公司,成立於2023年,位於北京市,是一家以從事電信、廣播電視和衛星傳輸服務為主的企業科技。企業註冊資本300000萬人民幣。透過天眼查大資料分析,中電信人工智慧科技(北京)有限公司共對外投資了1家企業,參與招投標專案978次,專利資訊514條,此外企業還擁有行政許可1個。

宣告:市場有風險,投資需謹慎科技。本文為AI基於第三方資料生成,僅供參考,不構成個人投資建議。

來源科技:市場資訊

本站內容來自使用者投稿,如果侵犯了您的權利,請與我們聯絡刪除。聯絡郵箱:[email protected]

本文連結://mobile.jlhslvjian.com/post/12335.html

🌐 /