У того спортсмена был номер "4".  

Спортсмен под номером "4" первым достиг цели.  

Номер "4", подойдите, пожалуйста, к стойке регистрации.
['https://rus.stackexchange.com/questions/430943', 'https://rus.stackexchange.com', 'https://rus.stackexchange.com/users/185870/']
В каких случаях нужны кавычки?
В современном русском языке кавычки выполняют следующие функции:

1. Выделение безабзацной прямой речи и цитат.
2. Выделение условных (собственных) наименований.
3. Выделение слов, которые употребляются в необычном, ироническом, особом значении.

([Грамота.ру](http://new.gramota.ru/spravka/letters/53-kav1)).

**Номер 4** из Вашего вопроса не относится ни к одному из перечисленных пунктов, поэтому кавычки не нужны.
Кавычки не нужны. Иначе все номера писались бы в кавычках. Чем отличается номер спортсмена от номера дома или квартиры?