pdf = pd.DataFrame({'city': {(0): 'one', (1): 'one', (2): 'one', (3): 'two',
    (4): 'three', (5): 'three'}, 'population': {(0): 100, (1): 100, (2): 
    100, (3): 200, (4): 1000, (5): 1000}, 'rate': {(0): 0.1, (1): 0.11, (2):
    0.12, (3): 0.1, (4): 0.21, (5): 0.22}, 'year': {(0): 1, (1): 2, (2): 3,
    (3): 1, (4): 2, (5): 3}})
Как рассчитать столбец в строке, используя два столбца предыдущей строки в кадре данных Spark?