Це виражається у визначенні послідовності значень функцій V1, V2, …, Vn, з аргументом y, котрий позначає стан системи в моменти часу i від 1 до n. Визначенням Vn(y) є значення, отримане в стані y в кінцевий момент часу n. Значення Vi в попередні моменти часу i = n −1, n − 2, …, 2, 1 можуть бути знайдені рухаючись назад, використовуючи рекурсивну залежність, названу рівняння Беллмана. Для i = 2, …, n, значення Vi−1 для будь-якого стану y визначається з Vi через максимізацію значення простої функції (зазвичай, суми) виграшу від рішення в момент часу i − 1 і функції Vi у новому стані системи, якби це рішення було втілено.