Завдання лексичного аналізатора — виокремити лексеми токенів і повідомити синтаксичний аналізатор про тип токена та його лексичне значення. Ієрархічний аналіз називають розбором () чи синтаксичним аналізом, у ході якого відбувається групування токенів програми. В синтаксичному аналізі символом називають токени (термінали) та групи токенів, об'єднаних у логічне ціле в процесі аналізу (нетермінали).