20文件IO_csv_ini
csv、ini
csv：
配置信息，ini、xml、json（可映射为dict）；
结构化：DB，用schema来描述数据是干什么的，人可理解；
半结构化：json，html，xml，人可理解；
非结构化：video，image等二进制数据，机器理解；
结构化和半结构化数据，人可理解；
非结构化数据，机器理解；
comma separated values，逗号分隔值；
csv是一个被行分隔符、列分隔符划分成行和列的文本文件；
没有指定的字符编码，参考RFC 4180 http://www.ietf.org/rfc/rfc4180.txt；
行分隔符为\r\n，最后一行可以没有换行符；
列分隔符常为逗号或制表符；
每一行称为一条record记录；
字段可以使用双引号括起来，也可以不使用；如果字段中出现了双引号、逗号、换行符，必须用双引号括起来；如果字段的值是双引号，使用两个双引号表示一个转义（通常一个特殊字符重复两次，表示其本身）；
表头可选，和字段列对齐就行；
csv模块：
csv.reader(csvfile,dialect='excel',**fmtparams)，
**fmtparams，解字典；
返回DictReader的实例，是个行迭代器；
delimiter，列分隔符，逗号，也可用:冒号；
lineterminator，行分隔符\r\n；
quotechar，字段的引用符号，缺省为"双引号，如果使用其它符号，如^，则内容中有双引号则不用处理；
双引号的处理：
doublequote，默认为True，如果和quotechar为同一个，True则使用2个双引号表示，False表示使用转义字符将作为双引号的前缀；
excapechar，一个转义符，默认为None；
quoting，指定双引号的规则，QUOTE_ALL所有字段；QUOTE_MINIMAL默认，特殊字符字段，不冲突不加双引号，冲突加双引号；QUOTE_NONNUMERIC，非数字字段；QUOTE_NONE，都不使用双引号；
csv.writer(csvfile,dialect='excel',**fmtparams)，返回DictWriter的实例，主要方法有csv.write(f).writerow()，csv.write(f).writerows()；
例：
s = '''
1,tom,20,
2,jerry,16,
3,,,
'''
with open('test.csv','w') as f:
for line in s.splitlines():
f.write(line + '\n')
In [31]: cat test.csv
1,tom,20,
2,jerry,16,
3,,,
注：
结果中第一行为空白，解决办法：
1）
s = '''1,tom,20,
2,jerry,16,
3,,,
'''
2）
s = '''\ #通常用此种
1,tom,20,
2,jerry,16,
3,,,
'''
例：
from pathlib import Path
p = Path('/home/python/magedu/projects/cmdb/test1/test.csv')
parent = p.parent
#print(parent)
if not parent.exists():
parent.mkdir(parents=True)
csv_body = '''\
1,tom,20,
2,jerry,16,
3,jowin,18,
'''
p.write_text(csv_body)
In [34]: cat test1/test.csv
1,tom,20,
2,jerry,16,
3,jowin,18,
例：
from pathlib import Path
import csv
path = '/home/python/magedu/projects/cmdb/test.csv'
p = Path(path)
if not p.parent.exists():
p.parent.mkdir(parents=True)
line1 = [1,'tom',20,'']
line2 = [2,'jerry',18,'']
line3 = [line1,line2]
with open(path,'w') as f:
writer = csv.writer(f)
writer.writerow(line1)
writer.writerow(line2)
writer.writerows(line3)
with open(path) as f:
reader = csv.reader(f)
for line in reader:
if line:
print(line)
ini文件：
作为配置文件，ini文件格式很流行；
例：
]$ egrep -v '^#|^$|[[:space:]]' my.cnf
[client]
[mysqld]
skip-external-locking
log-bin=mysql-bin
binlog_format=mixed
[mysqldump]
quick
[mysql]
no-auto-rehash
[myisamchk]
[mysqlhotcopy]
interactive-timeout
中括号部分称为section，每一个section内，都是key=value形式的kv对，key称为option选项；
字典套字典，配置文件应独立出来，而不是放在代码中；
configparser模块的ConfigParser类：
from configparser import ConfigParser
cfg=ConfigParser()
cfg.read(filenames,encoding=None)，读取ini文件，可以是单个文件（一般仅读一个文件），也可以是文件列表，可指定文件编码；
cfg.sections()，返回section列表，缺省section不在内；
cfg.add_section(section_name)，增加一个section；
cfg.has_section(section_name)，判断section是否存在；
cfg.options(section)，返回section的所有option；
cfg.has_option(section,option)，判断section是否存在这个option；
cfg.get(section,option,*,raw=False,vars=None[,fallback])，从指定的段的选项上取值，如果找到返回，如果没有找到去找DEFAULT段有没有；
cfg.getint(section,option,raw=False,vars=None[,fallback])
cfg.getfloat(section,option,raw=False,vars=None[,fallback])
cfg.getboolean(section,option,raw=False,vars=None[,fallback])
同cfg.get()
cfg.items(raw=False,vars=None)，一般不用，没有section，则返回所有section名字及其对象；
cfg.items(section,raw=False,vars=None)，section存在的情况下，写入option=value，要求option、value必须是字符串；
cfg.remove_section(section)，移除section及其所有option；
cfg.remove_option(section,option)，移除section下的option；
cfg.write(fileobject,space_around_delimiters=True)，等号前后有无空格，取默认即可；
例：
]$ vim my.cnf
[DEFAULT]
a=test
[mysql]
default-character-set=utf8
[mysqld]
log-bin=mysql-bin
binlog_format=mixed
datadir=/mydata/data
port=3306
character-set-server=utf8
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
In [1]: from configparser import ConfigParser
In [2]: cfg=ConfigParser()
In [3]: cfg.read('my.cnf')
Out[3]: ['my.cnf']
In [4]: cfg.sections()
Out[4]: ['mysql', 'mysqld']
In [5]: cfg.add_section('newsection')
In [6]: cfg.sections()
Out[6]: ['mysql', 'mysqld', 'newsection']
In [9]: cfg.options('mysql')
Out[9]: ['default-character-set', 'a']
In [10]: cfg.options('mysqld')
Out[10]:
['log-bin',
'binlog_format',
'datadir',
'port',
'character-set-server',
'sql_mode',
'a']
In [11]: for section in cfg.sections():
...: for option in cfg.options(section):
...: print(section,option)
...:
mysql default-character-set
mysql a
mysqld log-bin
mysqld binlog_format
mysqld datadir
mysqld port
mysqld character-set-server
mysqld sql_mode
mysqld a
newsection a
In [12]: cfg.items('mysqld')
Out[12]:
[('a', 'test'),
('log-bin', 'mysql-bin'),
('binlog_format', 'mixed'),
('datadir', '/mydata/data'),
('port', '3306'),
('character-set-server', 'utf8'),
('sql_mode', 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES')]
In [13]: for section in cfg.sections():
...: for k,v in cfg.items(section):
...: print(section,k,v)
...:
mysql a test
mysql default-character-set utf8
mysqld a test
mysqld log-bin mysql-bin
mysqld binlog_format mixed
mysqld datadir /mydata/data
mysqld port 3306
mysqld character-set-server utf8
mysqld sql_mode NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
newsection a test
In [14]: cfg.has_section('newsection')
Out[14]: True
In [15]: if not cfg.has_section('test'):
...: cfg.add_section('test')
...:
In [16]: cfg.sections()
Out[16]: ['mysql', 'mysqld', 'newsection', 'test']
In [17]: cfg.set('test','test1','123') #往指定section里添加option=value，'123'是字符，configparser要求的
In [18]: cfg.set('test','test2','abc')
In [19]: cfg.options('test')
Out[19]: ['test1', 'test2', 'a']
In [27]: with open('my.cnf','w') as f:
...: cfg.write(f) #ini文件更多的是读取，读完后常驻内存，而不是写
...:
In [28]: example=cfg.get('test','test1')
In [29]: type(example)
Out[29]: str
In [30]: example
Out[30]: '123'
In [31]: example1=cfg.getint('test','test1') #隐藏有强制类型转换，读出后是int类型可直接用于计算
In [32]: example1
Out[32]: 123
In [33]: type(example1)
Out[33]: int
In [34]: example2=cfg.get('test','a') #找默认段的不是强制的
In [35]: type(example2)
Out[35]: str
In [36]: example2
Out[36]: 'test'