• 中文
    • English
  • 注册
  • 查看作者
  • Go运行时:4年之后

    自2018年以来,
    GC,以及更广泛的Go运行时,一直在稳步改进。近日,
    社区总结了4年来Go运行时的一些重要变化。

    这些重要变化主要是:

    • sync.Pool是一种GC感知的重用内存的工具,具有较低的延迟影响,并且能够比之前更有效地回收内存。(Go 1.13)

    • Go运行时能够更主动地将不需要的内存返回给操作系统,减少了内存消耗和出现内存不足的可能性。这将减少最高20%的空闲内存消耗。(Go 1.13和1.14)

    • 在许多情况下,Go运行时能够更容易地抢占goroutine,最高可减少90%的stop-the-world延迟。(Go 1.14)

    • Go运行时能够比以前更有效地管理计时器,特别是在拥有多核CPU的机器上。(Go 1.14)

    • 在大多数情况下,现在使用defer语句的函数调用的开销与常规函数调用一样少。点击这里观看Gophercon 2020的相关演讲。(Go 1.14)

    • 内存分配器的慢路径对CPU核心的伸缩性更好,将吞吐量提升了最多10%,并将尾部延迟降低了最多30%,特别是在高度并行的程序中。(Go 1.14和1.15)

    • Go内存统计数据现在可以通过更细粒度、更灵活、更高效的API(runtime/metrics包)来访问。这将获取运行时统计信息的延迟减少了两个数量级(从毫秒到微秒)。(Go 1.16)

    • Go调度器在寻找新任务时花费的CPU时间减少了30%。(Go 1.17)

    • Go代码现在在amd64、arm64和ppc64上遵循基于寄存器的调用约定,将CPU效率提升了最多15%。(Go 1.17和1.18)

    • Go GC的内部审计和调度已经进行了重新设计,解决了长期存在的各种与效率和健壮性相关的问题。对于goroutine占内存使用很大一部分的应用程序来说,这显著降低了应用程序的尾部延迟(最高达66%)。(Go 1.18)

    • Go GC现在在应用程序空闲时会限制自己的CPU使用。这将空闲应用程序的GC周期的CPU使用降低了75%,从而减少可能导致作业调度器混淆的CPU峰值。(Go 1.19)

    这些变化对用户来说大多是看不见的——他们只需要升级Go,就可以看到他们所熟悉和喜爱的Go代码运行得更好了。

    一个新的“旋钮”

    Go 1.19带来了一个期待已久的特性,使用这个特性需要做一些额外的工作,但它具备很大的潜力:Go运行时的软内存限制。

    多年来,Go GC只有一个调优参数——GOGC。GOGC允许用户在CPU开销和内存开销之间做出权衡。多年来,这个“旋钮”为Go社区提供了很好的服务,被用在各种各样的场景中。

    Go运行时团队一直不愿意在Go运行时中添加新的旋钮,他们的理由很充分——每个新的旋钮代表了配置空间中的一个新的维度,我们需要对其进行测试和维护,而且可能要永远持续下去。旋钮的激增也给Go开发人员增加了理解和使用它们的负担,随着旋钮的增多,情况会变得愈加困难。因此,Go运行时总是倾向于用最小配置实现合理的行为。

    那么为什么要添加内存限制旋钮呢?

    内存不像CPU时间那么具有可互换性。对于CPU时间,如果稍等片刻,将来总会得到更多的CPU时间。但对于内存,你所拥有的总是有限的。

    内存限制解决了两个问题。

    首先,当应用程序的内存使用峰值不可预测时,仅靠GOGC几乎无法防止内存被耗尽。如果只使用GOGC,Go运行时根本不知道它有多少可用的内存。通过设置内存限制,运行时能够意识到什么时候需要更努力地工作以减少内存开销,从而使运行时能够健壮地应对瞬时的、可恢复的负载峰值。

    第二是为了避免不使用内存限制时出现的内存不足。我们必须根据内存峰值调优GOGC,而为了保持较低的内存开销会导致更高的GC CPU开销,即使应用程序没有处于内存使用峰值且有足够的可用内存。这在容器化的环境中尤其重要。在容器化的环境中,程序被部署在具有独立预留内存的容器中。设置内存限制可以为峰值负载提供保护,并可以针对CPU开销更主动地调优GOGC。

    内存限制的设计旨在易用性和健壮性。例如,它是对应用程序中Go部分的整个内存占用的限制,而不仅仅是Go的堆,因此用户不需要额外计算Go运行时的开销。运行时还会根据内存限制调整其内存清除策略,以便在内存出现压力时更主动地将内存返回给操作系统。

    虽然内存限制是一个强大的工具,但在使用时仍然要谨慎。其中一个需要注意的地方是,它会让你的程序陷入GC抖动状态——在这种状态下,程序运行GC的时间过多,导致没有足够的时间来处理其他任务。例如,如果内存限制设置得比程序实际需要的内存少,Go程序可能会崩溃。以前不太可能出现GC抖动,除非显式对GOGC进行了大量调优。我们选择让内存耗尽而不是陷入抖动状态,因此作为一种缓解措施,运行时将GC限制为总CPU时间的50%,即使这样会超过内存限制。

    所有这些都需要慎重考虑,因此,作为这项工作的一部分,我们发布了一个新的GC指南,其中包含了交互式可视化的图表,以帮助你们理解GC成本以及如何操作它们。

    更多可以查看GC指南:

    原文链接:

  • 0
  • 0
  • 0
  • 48
  • 请登录之后再进行评论

    登录
  • 任务
  • 实时动态
  • 发布
  • 单栏布局 侧栏位置: