DoNews10月27日消息,高通公司今日發(fā)布其新一代數(shù)據(jù)中心 AI 推理優(yōu)化解決方案:基于高通 AI200 和 AI250 芯片的加速卡和機架。
高通 AI200 推出一款專為機架級 AI 推理設(shè)計的解決方案,旨在提供低擁有總成本(TCO)和優(yōu)化的性能,用于大型語言和多模態(tài)模型(LLM、LMM)推理和其他 AI 工作負(fù)載。每張卡支持 768GB 的 LPDDR 內(nèi)存,以實現(xiàn)更高的內(nèi)存容量和更低的成本。
高通 AI250 解決方案將采用基于近內(nèi)存計算(near-memory computing)的創(chuàng)新內(nèi)存架構(gòu),通過提供超過 10 倍的內(nèi)存帶寬提升和降低功耗,為 AI 推理工作負(fù)載帶來更高的效率與性能。
這兩種機架解決方案均采用直接液冷技術(shù)以提高散熱效率,支持 PCIe 擴展、以太網(wǎng)擴展、機密計算以保障 AI 工作負(fù)載安全,以及 160 kW 的機架級功耗。
高通 AI200 和 AI250 預(yù)計分別于 2026 年和 2027 年商用。截至發(fā)文,高通公司股價大漲 20%。