workBook = load_workbook('example.xlsx')
sheet = workBook.get_sheet_by_name('sheet')
a = sheet.cell(row=i, column=j)
a.value = 'nuevo valor'
Используйте OpenPyXL для перебора листов и ячеек и обновления ячеек с помощью связанной строки.