Tradução pendente. Esta definição ainda não foi traduzida para o português brasileiro. Ler a versão em inglês.

Activation Function

The nonlinear function applied to each layer's weighted inputs before passing the result forward. Without nonlinearity a stack of layers collapses to one linear function and cannot learn complex patterns. ReLU is the workhorse for most deep networks; GELU and SwiGLU are common in transformer blocks.

Definição editorial da DecipherU. Para definições técnicas autorizadas, consulte NIST AI RMF, ISO/IEC 42001, ou as publicações oficiais dos laboratórios de IA.