<jupyter_start><jupyter_text>前言通过 Pandas 可以方便的读取 CSV 文件。 什么是 CSV 文件？CSV是最通用的一种文件格式，它可以非常容易地被导入各种PC表格及数据库中，你在 EXCEL 里面就可以导出这样一个文件，我们可以试试。而我们熟悉的XLS则是EXCEL专用格式。 CSV文件一行即为数据表的一行，生成数据表字段用半角逗号隔开。因此 Comma Separated Value即是CSV的全称，你可以尝试用记事本打开CSV和XLS文件看看。 操作-读取用 Pandas 读取 CSV 非常特别简单。1. 导入 pandas 包2. 一行代码`pd.read_csv()`+文件地址，再赋值给一个变量，我们习惯命名为 `df`3. 打印出来看看结果<jupyter_code># 如何获取绝对路径
# import os
# os.getcwd( ) # 获取现在目录

%pwd
import pandas as pd 

# 读取 CSV，这个 stock_basic.csv 文件是从 tushare 直接下载的股票基本数据，读取一下试试
## 如何获取文件的位置？
### 绝对位置：/Users/davidfnck/Downloads/CSVFiles/stock_basic.csv
### 相对位置：CSVFiles/stock_basic.csv  # 在本程序所在文件夹开始算位置，同一级是 ./ ，上一级是 ../
df = pd.read_csv('CSVFiles/stock_basic.csv')
print(df)


print(df.info()) # 我们也可以看一下这张 DataFrame 的基本属性<jupyter_output><class 'pandas.core.frame.DataFrame'>
RangeIndex: 3724 entries, 0 to 3723
Data columns (total 7 columns):
Unnamed: 0    3724 non-null int64
ts_code       3724 non-null object
symbol        3724 non-null int64
name          3724 non-null object
area          3722 non-null object
industry      3722 non-null object
list_date     3724 non-null int64
dtypes: int64(3), object(4)
memory usage: 203.8+ KB
None<jupyter_text>问题解读我们看上面打印出来的结果有什么问题？1. pandas 识别到 CSV 的第一行包含列名，并自动使用它们2. pandas 也在 DataFrame 中使用从零开始的整数索引，那是因为没有告诉它我们的索引应该是什么3. 第一列（我们这里的 index 不算一列）的标题，是`Unnanmed: 0`，这是什么？打开源文件看一下，我们发现这是我们当时将 DataFrame 写入文件的时候，index 同时写入留下的4. 第三列`symbol`原先的`000001`变成了`1`，前面的`0`全部被省略了5. 最后一列`list_date`是表示时间，但是格式却是数字让我们接下来解决这些问题。要使用其他列作为 DataFrame 的索引，添加 index_col 可选参数<jupyter_code>df = pd.read_csv('CSVFiles/stock_basic.csv',index_col=0)
print(df)<jupyter_output>ts_code  symbol  name area industry  list_date
0     000001.SZ       1  平安银行   深圳       银行   19910403
1     000002.SZ       2   万科A   深圳     全国地产   19910129
2     000004.SZ       4  国农科技   深圳     生物制药   19910114
3     000005.SZ       5  世纪星源   深圳     环境保护   19901210
4     000006.SZ       6  深振业A   深圳     区域地产   19920427
...         ...     ...   ...  ...      ...        ...
3719  688366.SH  688366  昊海生科   上海     生物制药   20191030
3720  688368.SH  688368  晶丰明源   上海      半导体   20191014
3721  688369.SH  688369  致远互联   北京     软件服务   20191031
3722  688388.SH  688388  嘉元科技   广东      元器件   20190722
3723  688389.SH  688389  普门科技   深圳     医疗保健   20191105

[3724 rows x 6 columns]<jupyter_text>接下来，我们看到`symbol`字段的数据类型是`int`，我们希望它是字符串格式从文件中原封不动地读取出来，这样才不会省略前面的`0`。<jupyter_code>df = pd.read_csv('CSVFiles/stock_basic.csv',index_col=0,dtype={'symbol':'str'})
print(df)<jupyter_output>ts_code  symbol  name area industry  list_date
0     000001.SZ  000001  平安银行   深圳       银行   19910403
1     000002.SZ  000002   万科A   深圳     全国地产   19910129
2     000004.SZ  000004  国农科技   深圳     生物制药   19910114
3     000005.SZ  000005  世纪星源   深圳     环境保护   19901210
4     000006.SZ  000006  深振业A   深圳     区域地产   19920427
...         ...     ...   ...  ...      ...        ...
3719  688366.SH  688366  昊海生科   上海     生物制药   20191030
3720  688368.SH  688368  晶丰明源   上海      半导体   20191014
3721  688369.SH  688369  致远互联   北京     软件服务   20191031
3722  688388.SH  688388  嘉元科技   广东      元器件   20190722
3723  688389.SH  688389  普门科技   深圳     医疗保健   20191105

[3724 rows x 6 columns]<jupyter_text>接下来，让我们修复`list_date`字段的数据类型。可以使用 `parse_dates` 可选参数强制 pandas 将数据作为日期读取，该参数定义为要作为日期处理的列名列表：<jupyter_code>df = pd.read_csv('CSVFiles/stock_basic.csv',index_col=0,dtype={'symbol':'str'},parse_dates=['list_date'])
print(df)<jupyter_output>ts_code  symbol  name area industry  list_date
0     000001.SZ       1  平安银行   深圳       银行 1991-04-03
1     000002.SZ       2   万科A   深圳     全国地产 1991-01-29
2     000004.SZ       4  国农科技   深圳     生物制药 1991-01-14
3     000005.SZ       5  世纪星源   深圳     环境保护 1990-12-10
4     000006.SZ       6  深振业A   深圳     区域地产 1992-04-27
...         ...     ...   ...  ...      ...        ...
3719  688366.SH  688366  昊海生科   上海     生物制药 2019-10-30
3720  688368.SH  688368  晶丰明源   上海      半导体 2019-10-14
3721  688369.SH  688369  致远互联   北京     软件服务 2019-10-31
3722  688388.SH  688388  嘉元科技   广东      元器件 2019-07-22
3723  688389.SH  688389  普门科技   深圳     医疗保健 2019-11-05

[3724 rows x 6 columns]<jupyter_text>如果 CSV 文件的第一行中没有列名，则可以使用 `names` 可选参数来提供列名的列表。 如果要覆盖第一行中提供的列名，也可以使用此选项。 在这种情况下，还必须使用`header = 0`可选参数告诉 `pandas.read_csv()`忽略现有列名：<jupyter_code>df = pd.read_csv('CSVFiles/stock_basic.csv', 
            index_col=0, 
            dtype={'股票代码':'str'},
            parse_dates=['上市时间'], 
            header=0, 
            names=['市场编号', '股票代码','股票名称', '所在城市','行业','上市时间'])
print(df)<jupyter_output>市场编号    股票代码  股票名称 所在城市    行业       上市时间
0     000001.SZ  000001  平安银行   深圳    银行 1991-04-03
1     000002.SZ  000002   万科A   深圳  全国地产 1991-01-29
2     000004.SZ  000004  国农科技   深圳  生物制药 1991-01-14
3     000005.SZ  000005  世纪星源   深圳  环境保护 1990-12-10
4     000006.SZ  000006  深振业A   深圳  区域地产 1992-04-27
...         ...     ...   ...  ...   ...        ...
3719  688366.SH  688366  昊海生科   上海  生物制药 2019-10-30
3720  688368.SH  688368  晶丰明源   上海   半导体 2019-10-14
3721  688369.SH  688369  致远互联   北京  软件服务 2019-10-31
3722  688388.SH  688388  嘉元科技   广东   元器件 2019-07-22
3723  688389.SH  688389  普门科技   深圳  医疗保健 2019-11-05

[3724 rows x 6 columns]<jupyter_text>请注意，由于列名称已更改，因此还必须更改`symbol`和`parse_dates`可选参数中指定的列。  代码解读当然，我们解决这些问题最根本的方法，还是回到`pd.read_csv`这句代码上去，正好我们也借此机会再来读一读源码。查看代码参数的方法：`pandas.read_csv`+`shift+tab`链接：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html术语参照：https://docs.python.org/zh-cn/3.7/glossary.html```pythonpandas.read_csv(    filepath_or_buffer: Union[str, pathlib.Path, IO[~AnyStr]],     str，pathlib。str, pathlib.Path, py._path.local.LocalPath or any object with a read() method (such as a file handle or StringIO)     可以是URL，可用URL类型包括：http, ftp, s3和文件。对于多文件正在准备中。本地文件读取实例：://localhost/path/to/table.csv     参数名字本身反映了功能         + 这里可以接受一个文件名，或者一个URL，         + 也可以接受一个打开的文件句柄，         + 或者其他任何提供了read方法的对象，         + 举个栗子：某个URL输出CSV，但是需要验证密码，那么就没法让 read_csv 直接读取URL，但是可以使用 urlopen 发送附带了验证信息的Request，并把返回的 Response 对象传给 read_csv 函数，进而通过 Response 对象的 read 方法加载数据；        sep=',',    str, default ‘,’     指定分隔符。如果不指定参数，则会尝试使用逗号分隔。（分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。正则表达式例子：'\r\t'。不想适可而止的同学，要去学习一下正则表达式。）        delimiter=None,    str, default None     定界符，备选分隔符（如果指定该参数，则sep参数失效）     `delimiter`是`sep`的别名；如果指定为 `\t（制表符）`的话，就可以实现 `read_table` 的默认功能；支持使用正则表达式来匹配某些不标准的CSV文件；         Column and Index Locations and Names     列和索引的位置和名称    header='infer',   int or list of ints, default ‘infer’     指定行数用来作为列名，数据开始行数。如果文件中没有列名，则默认为0，否则设置为None。如果明确设定header=0 就会替换掉原来存在列名。header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉（例如本例中的2；本例中的数据1,2,4行将被作为多级标题出现，第3行数据将被丢弃，dataframe的数据从第5行开始。）。注意：如果skip_blank_lines=True 那么header参数忽略注释行和空行，所以header=0表示第一行数据而不是文件的第一行。        names=None,   array-like, default None     用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。默认列表中不能出现重复，除非设定参数mangle_dupe_cols=True。         index_col=None,     int or sequence or False, default None     用作行索引的列编号或者列名，如果给定一个序列则有多个行索引。如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。        usecols=None,    array-like, default None     返回一个数据子集，该列表中的值必须可以对应到文件中的位置（数字可以对应到指定的列）或者是字符传为文件中的列名。例如：usecols有效参数可能是 [0,1,2]或者是 [‘foo’, ‘bar’, ‘baz’]。使用这个参数可以加快加载速度并降低内存消耗。        squeeze=False,    boolean, default False     如果文件只包含一列，则返回一个Series        prefix=None,    str, default None     在没有列标题时，给列添加前缀。例如：添加‘X’ 成为 X0, X1, ...        mangle_dupe_cols=True,   boolean, default True     重复的列，将‘X’...’X’表示为‘X.0’...’X.N’。如果设定为false则会将所有重名列覆盖。         General Parsing Configuration     常规解析配置    dtype=None,    Type name or dict of column -> type, default None     每列数据的数据类型。例如 {‘a’: np.float64, ‘b’: np.int32}        engine=None,   {‘c’, ‘python’}, optional     使用的分析引擎。可以选择C或者是python。C引擎快但是Python引擎功能更加完备。        converters=None,   dict, default None     列转换函数的字典。key可以是列名或者列的序号。        true_values=None,   list, default None     Values to consider as True        false_values=None,   list, default None     Values to consider as False        skipinitialspace=False,   boolean, default False     忽略分隔符后的空白（默认为False，即不忽略）        skiprows=None,   list-like or integer, default None     需要忽略的行数（从文件开始处算起），或需要跳过的行号列表（从0开始）。        skipfooter=0,   int, default 0     从文件尾部开始忽略。 (c引擎不支持)        nrows=None,   int, default None     需要读取的行数（从文件头开始算起）。         NA and Missing Data Handling     空值和缺失数据处理    na_values=None,   scalar, str, list-like, or dict, default None     一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.IND’, ‘1.QNAN’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘nan’`.        keep_default_na=True,   bool, default True     如果指定na_values参数，并且keep_default_na=False，那么默认的NaN将被覆盖，否则添加。        na_filter=True,   boolean, default True     是否检查丢失值（空字符串或者是空值）。对于大文件来说数据集中没有空值，设定na_filter=False可以提升读取速度。        verbose=False,   boolean, default False     是否打印各种解析器的输出信息，例如：“非数值列中缺失值的数量”等。        skip_blank_lines=True,   boolean, default True     如果为True，则跳过空行；否则记为NaN。         Datetime Handling     日期时间处理    parse_dates=False,    boolean or list of ints or names or list of lists or dict, default False。这个参数指定对CSV文件中日期序列的处理方式：     boolean. True -> 解析索引，默认为False，原样加载，不解析日期时间，可以为True，尝试解析日期索引，     list of ints or names. e.g. If [1, 2, 3] -> 可以为数字或 names 的列表，解析指定的列为时间序列，解析1,2,3列的值作为独立的日期列；     list of lists. e.g. If [[1, 3]] -> 可以为以列表为元素的列表，解析每个子列表中的字段组合为时间序列，合并1,3列作为一个日期列使用     dict, e.g. {‘foo’ : [1, 3]} -> 可以为值为列表的字典，解析每个列表中的字段组合为时间序列，并命名为字典中对应的键值；将1,3列合并，并给合并后的列起名为"foo"         infer_datetime_format=False,   boolean, default False     如果设定为True并且 parse_dates 可用，那么pandas将尝试转换为日期类型，如果可以转换，转换方法并解析。在某些情况下会快5~10倍。        keep_date_col=False,   boolean, default False     如果连接多列解析日期，则保持参与连接的列。默认为False。     解析出日期序列后，是否保留原来的列；        date_parser=None,   function, default None     用于解析日期的函数，默认使用dateutil.parser.parser来做转换。Pandas尝试使用三种不同的方式解析，如果遇到问题则使用下一种方式。     1.使用一个或者多个arrays（由parse_dates指定）作为参数；     2.连接指定多列字符串作为一个列作为参数；     3.每行调用一次date_parser函数来解析一个或者多个字符串（由parse_dates指定）作为参数。        dayfirst=False,   boolean, default False     DD/MM格式的日期类型        cache_dates=True,               Iteration     迭代    iterator=False,   boolean, default False     返回一个TextFileReader 对象，以便逐块处理文件。        chunksize=None,   int, default None     文件块的大小         Quoting, Compression, and File Format     引用，压缩和文件格式    compression='infer',   {‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}, default ‘infer’     直接使用磁盘上的压缩文件。如果使用infer参数，则使用 gzip, bz2, zip或者解压文件名中以‘.gz’, ‘.bz2’, ‘.zip’, or ‘xz’这些为后缀的文件，否则不解压。如果使用zip，那么ZIP包中国必须只包含一个文件。设置为None则不解压。新版本0.18.1版本支持zip和xz解压        thousands=None,   str, default None     千分位分割符，如“，”或者“."        decimal=b'.',   str, default ‘.’     字符中的小数点 (例如：欧洲数据使用’，‘).        lineterminator=None,   str (length 1), default None     行分割符，只在C解析器下使用。        quotechar='"',    str (length 1), optional     引号，用作标识开始和解释的字符，引号内的分割符将被忽略。        quoting=0,   int or csv.QUOTE_* instance, default 0     控制csv中的引号常量。可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)        doublequote=True,   boolean, default True     双引号，当单引号已经被定义，并且quoting 参数不是QUOTE_NONE的时候，使用双引号表示引号内的元素作为一个元素使用。        escapechar=None,   str (length 1), default None     当quoting 为QUOTE_NONE时，指定一个字符使的不受分隔符限值。        comment=None,   str, default None     标识着多余的行不被解析。如果该字符出现在行首，这一行将被全部忽略。这个参数只能是一个字符，空行（就像skip_blank_lines=True）注释行被header和skiprows忽略一样。例如如果指定comment='' 解析‘empty\na,b,c\n1,2,3’ 以header=0 那么返回结果将是以’a,b,c'作为header。        encoding=None,   str, default None     指定字符集类型，通常指定为'utf-8'.        dialect=None,  str or csv.Dialect instance, default None     如果没有指定特定的语言，如果sep大于一个字符则忽略。具体查看csv.Dialect 文档         Error Handling     错误处理    error_bad_lines=True,   boolean, default True     如果一行包含太多的列，那么默认不会返回DataFrame ，如果设置成false，那么会将改行剔除（只能在C解析器下使用）。        warn_bad_lines=True,   boolean, default True     如果error_bad_lines =False，并且warn_bad_lines =True 那么所有的“bad lines”将会被输出（只能在C解析器下使用）。         Internal     内部    delim_whitespace=False,     low_memory=True,   boolean, default True     分块加载到内存，再低内存消耗中解析。但是可能出现类型混淆。确保类型不被混淆需要设置为False。或者使用dtype 参数指定类型。注意使用chunksize 或者iterator 参数分块读入会将整个文件读入到一个Dataframe，而忽略类型（只能在C解析器中有效）    memory_map=False,   boolean, default False     如果使用的文件在内存内，那么直接map文件使用。使用这种方式可以避免文件再次进行IO操作。    float_precision=None   string, default None     Specifies which converter the C engine should use for floating-point values. The options are None for the ordinary converter, high for the high-precision converter, and round_trip for the round-trip converter.)```  实例演示<jupyter_code># 演示分隔符

## 如果不明确的话，原始读出来是多行一列，没有分割开
# df_sep = pd.read_csv('CSVFiles/read_csv_header.csv')

## 在文件中间隔随意添加 # 作为间隔
df_sep = pd.read_csv('CSVFiles/read_csv_sep.csv',sep='#',delimiter=',')

print(df_sep)
print(df_sep.shape)
print(df_sep.info())
# 演示列和索引的位置和名称

## 如果不明确的话，原始读出来是多行一列，没有分割开
# df_header = pd.read_csv('CSVFiles/read_csv_header.csv',header=[1,4],skip_blank_lines=False)

## 如果跳过空行，默认是跳过，则是数据的第一行
df_header = pd.read_csv('CSVFiles/read_csv_header.csv',names=['one','two','three','twoa','threea'],skip_blank_lines=False)

print(df_header)
print(df_header.shape)
print(df_header.info())
# 如果文件只包含一列，则返回一个Series
df_squeeze = pd.read_csv('CSVFiles/read_csv_squeeze.csv',squeeze=False)

print(df_squeeze)
print(type(df_squeeze))
print(df_squeeze.shape)
print(df_squeeze.info())<jupyter_output>1
0  2
1  3
2  4
3  5
<class 'pandas.core.frame.DataFrame'>
(4, 1)
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 4 entries, 0 to 3
Data columns (total 1 columns):
1    4 non-null int64
dtypes: int64(1)
memory usage: 160.0 bytes
None<jupyter_text>操作-写入用 Pandas 写入 CSV 非常特别简单。<jupyter_code>import pandas as pd
df = pd.read_csv('CSVFiles/stock_basic.csv', 
            index_col=0, 
            dtype={'股票代码':'str'},
            parse_dates=['上市时间'], 
            header=0, 
            names=['市场编号', '股票代码','股票名称', '所在城市','行业','上市时间'])
print(df)

# 写入
df.to_csv('CSVFiles/stock_basic_new.csv',header=0,index=0)<jupyter_output>市场编号    股票代码  股票名称 所在城市    行业       上市时间
0     000001.SZ  000001  平安银行   深圳    银行 1991-04-03
1     000002.SZ  000002   万科A   深圳  全国地产 1991-01-29
2     000004.SZ  000004  国农科技   深圳  生物制药 1991-01-14
3     000005.SZ  000005  世纪星源   深圳  环境保护 1990-12-10
4     000006.SZ  000006  深振业A   深圳  区域地产 1992-04-27
...         ...     ...   ...  ...   ...        ...
3719  688366.SH  688366  昊海生科   上海  生物制药 2019-10-30
3720  688368.SH  688368  晶丰明源   上海   半导体 2019-10-14
3721  688369.SH  688369  致远互联   北京  软件服务 2019-10-31
3722  688388.SH  688388  嘉元科技   广东   元器件 2019-07-22
3723  688389.SH  688389  普门科技   深圳  医疗保健 2019-11-05

[3724 rows x 6 columns]
{'fraction_non_alphanumeric': 0.1052304719845432, 'fraction_numerical': 0.0883245928788297, 'mean_word_length': 3.3798730734360833, 'pattern_counts': {'":': 0, '<': 25, '<?xml version=': 0, '>': 30, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '7', 'dir': 'jupyter-structured-clean-dedup', 'id': '490910', 'license': 'MIT', 'n_tokens_mistral': 8450, 'n_tokens_neox': 8268, 'n_words': 1116, 'path': '003-学习 Pandas/读写CSV文件.ipynb', 'repo_name': 'imcda/Python-Tutorial-for-Humans', 'size': '14492'}