Bước feedforward: Với toàn bộ dữ liệu (batch) hoặc một nhóm dữ liệu (mini-batch) đầu vào \\(\\mathbfX\\), tính giá trị đầu ra của network, trong quá trình tính toán, lưu lại các activation \\(\\mathbfA(l)\\) tại mỗi layer. Mỗi cột của \\(\\mathbfA(l)\\) tương ứng với một bốc cứt cột của \\(\\mathbfX\\), tức một điểm dữ liệu đầu vào.