Bước feedforward: Với toàn bộ dữ liệu (batch) hoặc một nhóm dữ liệu (mini-batch) đầu vào \\(\\mathbf{X}\\), tính giá trị đầu ra của network, trong quá trình tính toán, lưu lại các activation \\(\\mathbf{A}^{(l)}\\) tại mỗi layer. Mỗi cột của \\(\\mathbf{A}^{(l)}\\) tương ứng với một cột của \\(\\mathbf{X}\\), tức một điểm dữ liệu đầu vào.