谷歌推出TPU 8i和TPU 8t以支持代理AI工作负载
谷歌发布了两个新的张量处理单元:tpu 8i用于快速推理和自主代理,tpu 8t利用海量内存池训练复杂模型。这些芯片支持多步推理和规划工作流。谷歌表示该基础设施将把高响应性的代理ai带给大众。
谷歌推出了两款专为代理时代设计的专用张量处理单元。TPU 8i 优先考虑自主代理所需的推理速度,这些代理需要推理、规划和多步骤执行,而 TPU 8t 通过在一个大内存池中运行复杂模型来优化训练。这些芯片与谷歌的全栈基础设施集成,以实现高度响应的代理 AI。