Skip to content

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

4 条精选近 30 天 4 条共收录 28 条

更新

部署工程的精选

  1. AWS Machine Learning Blog63

    Claude Fable 5.2 与 Mythos 5.2 在 Amazon Bedrock 上线,配套 Migration 技能

    Amazon Bedrock 正式提供 Claude Fable 5.2 和 Mythos 5.2,前者面向编码、数学与科学等通用技术负载,后者仅在合规验证后可用于网络安全和生命科学等高敏场景。

    推荐理由:官方给出了各模型定位、数据保留策略与 claude-api 迁移技能的实操指引,有助于评估上床风险并平滑升级现有代码。

  1. AWS Machine Learning Blog66

    SageMaker Inference 支持 GPU Partitioning,利用 NVIDIA MIG 提升实例利用率

    Amazon SageMaker Inference 推出 GPU Partitioning 功能,基于 NVIDIA MIG 将单个物理 GPU 划分为最多七个独立分区,每个分区提供固定份额的计算单元和专属显存,并在硬件层面强制隔离。

    推荐理由:明确列出了各实例族的可用分区规格和API配置示例,读者可直接对照自身流量特征选择合适尺寸。

  1. Google DeepMind61

    Google DeepMind 发布 Genie 4 世界模拟模型

    Google DeepMind 发布 Genie 4,一种新世模式型,原生支持视觉、音频和交互对话的同步生成,基于 Gemini 模型提供复杂推理能力,用户可通过自然语言实时修改场景并操控物理仿真与人像行为。该模型已作为研究预览面向受信任测试者开放,后续将逐步向 Google AI Ultra 订阅用户及 Gemini API 和 Google AI Studio 早期合作伙伴开放。

    推荐理由:Google DeepMind 发布 Genie 4 世界模拟模型,支持实时自然语言操控与原生音频生成,目前向受信任测试者开放研究预览。