
AWS 于 11 月 13 日公开了 AssemblyAI 的语音转文字推理架构:将按需实例与可能被回收的 EC2 Spot GPU 实例混合使用,通过 SQS 队列和任务重试处理实例中断,并分散使用多个 GPU 实例系列。
文章称,这套方案的推理计算成本较按需价格节省 70%。这是该公司在其工作负载下报告的结果,不能直接推广到所有场景;借鉴时还需要评估中断带来的处理延迟、数据驻留要求和重试能力。
来源:AWS 架构案例
- 收藏支持反对
- 暂无回复
AWS 于 11 月 13 日公开了 AssemblyAI 的语音转文字推理架构:将按需实例与可能被回收的 EC2 Spot GPU 实例混合使用,通过 SQS 队列和任务重试处理实例中断,并分散使用多个 GPU 实例系列。
文章称,这套方案的推理计算成本较按需价格节省 70%。这是该公司在其工作负载下报告的结果,不能直接推广到所有场景;借鉴时还需要评估中断带来的处理延迟、数据驻留要求和重试能力。
来源:AWS 架构案例