Batch Normalization (lúc huấn luyện)
Trung bìnhAIchuẩn hóamạng nơ-ron4 test · 12 giây · sai số 1e-5
Batch Norm chuẩn hóa mỗi đặc trưng theo thống kê của lô hiện tại rồi co giãn lại:
- μ = mean(x, axis=0), σ² = var(x, axis=0) (phương sai tổng thể, ddof = 0)
- x̂ = (x − μ) / √(σ² + eps)
- out = gamma · x̂ + beta
Viết hàm
batch_norm(x, gamma, beta, eps)Tham số
x: (n, d)gamma: (d,)beta: (d,)eps: số nhỏ, vd 1e-5
Trả về
Ma trận (n, d).
Ví dụ
Tham số
x = [[1],[3]] gamma = [1] beta = [0] eps = 0.00001
Kết quả
[[-0.999995],[0.999995]]
Tham số
x = [[1,2],[3,2]] gamma = [2,1] beta = [0.5,0.5] eps = 0.00001
Kết quả
[[-1.49999,0.5],[2.49999,0.5]]
Bài tiếp theo: Tích chập 2D (padding valid) →
Python · NumPy
Bấm “Chạy thử” để gọi batch_norm() với 2 ví dụ trong đề và so sánh kết quả. Dùng print() thoải mái để gỡ lỗi.