亚博体育(中国)官方网站

苹果在 AI 限制也在不停发奋，但愿作念的更好。苹果和英伟达谐和，告示通过开源 Recurrent Drafter（ReDrafter）时候，这是一种意象解码门径，省略显赫培植 AI 大谈话模子（LLM）的推理速率。苹果公司示意 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加快框架中，在 NVIDIA GPU 上，每秒生成 Tokens 速率最高培植 2.7 倍，有用缩小了用户蔓延和筹算资本。在昔时，创建大型谈话模子的经过频繁卓绝耗时和耗资源，企业经常需要购买无数的硬件开采，进而加多了运营资本。

苹果的机器学习辩论东说念主员指出，LLM 越来越多地用于运转分娩诈欺要道，提高推理后果对缩小筹算资本和用户蔓延至关要害。这次谐和省略在缩小蔓延的同期减少所需硬件数目，带来更为经济的科罚决策。苹果也示意他们正在接头使用亚马逊的 Trainium2 芯片来培植模子训练后果亚博体育(中国)官方网站，瞻望使用 Trainium2 进行预训练的后果将比现存的硬件培植 50%。