with open('sample.txt', 'r') as f:
    data = re.sub('\\s*[#\\$].*\\n', '', f.read())
data = np.genfromtxt(StringIO(data), dtype=int, delimiter=',')
Использование numpy для фильтрации нескольких символов комментариев