if len(lst) >= max_len:
    store_and_clear(lst, key)
lst.append(d)

def store_and_clear(lst, key):
    """
    Convert key's cache list to a DataFrame and append that to HDF5.
    """
df = pd.DataFrame(lst)
with pd.HDFStore(STORE) as store:
    store.append(key, df)
lst.clear()
Как обрабатывать входящие данные в реальном времени с помощью python pandas