temp = (
    '\nk1[a-token]\nv1\nv2\nk2[a-token]\nv1\'\nk3[a-token]\nv1"\nv2"\nv3"\n')
df = pd.read_csv(StringIO(temp), sep='|', names=['B'])
print(df)
Pandas: анализ значений в структурированном нетабличном тексте