Математична теорія ймовірностей постала з досліджень ігор випадку, хоч поняття ймовірності й було вже досліджено в середньовічному праві, та філософами, такими як Хуан Карамуель. Метод найменших квадратів було вперше описано Адрієном-Марі Лежандром 1805 року.