З кінця 1890-х років головним предметом досліджень вченого стала теорія ймовірностей. Тут він продовжив роботу свого вчителя П. Л. Чебишова і ввів новий об'єкт дослідження — послідовності залежних випадкових величин, що отримали надалі назву ланцюгів Маркова. Так називають послідовності випадкових величин, для яких ймовірність появи того чи іншого значення на (k + 1)-му кроці залежить лише від того, яке значення ця величина прийняла на k-му кроці, і не залежить від значень величини на 1-му, 2-му,…, (k — 1)-му кроках.