CodeViệt

Layer Normalization

Trung bình

Transformerchuẩn hóaAI4 test · 12 giây · sai số 1e-5

Khác Batch Norm, Layer Norm chuẩn hóa từng token theo chiều đặc trưng (trục cuối) — dùng trong mọi khối Transformer:

  • μ, σ² = trung bình và phương sai (ddof = 0) theo trục cuối
  • out = gamma · (x − μ) / √(σ² + eps) + beta

Viết hàm

layer_norm(x, gamma, beta, eps)

Tham số

  • x: mảng (…, d) — vd (T, d) hoặc (B, T, d)
  • gamma: (d,)
  • beta: (d,)
  • eps: số nhỏ

Trả về

Mảng cùng shape với x.

Ví dụ

Tham số

x = [[1,2,3]]
gamma = [1,1,1]
beta = [0,0,0]
eps = 0.00001

Kết quả

[[-1.224735686,0.0,1.224735686]]

≈ [−1.2247, 0, 1.2247]

Tham số

x = [[2,2],[0,4]]
gamma = [1,2]
beta = [0,1]
eps = 0.00001

Kết quả

[[0.0,1.0],[-0.99999875,2.9999975]]

Hàng đầu có phương sai 0 → x̂ = 0

Bài tiếp theo: Scaled Dot-Product Attention →

Python · NumPy

Bấm “Chạy thử” để gọi layer_norm() với 2 ví dụ trong đề và so sánh kết quả. Dùng print() thoải mái để gỡ lỗi.