Pandas資料讀寫

讀寫CSV

• csvframe=pd.read_csv('myCSV01.csv') 將CSV檔案轉換為frame
  檔案的第一行預設為列標題。如果不指定列標題可以新增引數，也可以自己制定：read_csv('myCSV01.csv',header=None)
  read_csv('myCSV01.csv',names=['','',..])
• 指定索引
  read_csv('',index_col=[]) 可以制定列成為左邊的索引(主要用於多級索引存在的情況)
  frame.to_csv('目標檔案')
  需要注意的是，寫入到目標檔案後的NaN值變成了空字元，可以用引數來填充:
  frame.to_csv('目標檔案',na_rep='NaN')

TXT檔案

用RegExp解析TXT檔案

有時需要解析的資料檔案不是以逗號或者分好分割的，對於這種情況，正規表示式就能派上用場。指定對應的正規表示式應用在函式read_table()中。

• . 換行符以外的單個字元
• \d 　數字
• \D　 非數字字元
• \s 　空白字元
• \S 非空白字元
• \n 　換行符
• \t 製表符
  pd.read_table('test01.txt',sep='\s') 　\s的意思是一個或多個非空字元
  多餘行的處理：
  read_table('test01.txt',sep='\s*',skiprows=[0,1,2,5,6])
  skiprows用來指定忽略哪一行，　skiprows=5表示忽略前五行

HTML

read_html() 和to_html() 都針對的是html中的表格結構。個人感覺意義不是很大。略過

從XML讀取資料

<?xml version="1.0"?>
<Catalog>
    <Book id="ISBN01">
    <Author>Mark </Author>
    <Title>XML CookBook</Title>
    <Genre>Computer</Genre>
    <Price>13.4</Price>
    <PublishDate>2017-08-08</PublishDate>
    </Book>

    <Book id="ISBN02">
    <Author>Babara </Author>
    <Title>XML C++Book</Title>
    <Genre>Computer</Genre>
    <Price>35.95</Price>
    <PublishDate>2017-08-07</PublishDate>
    </Book>
</Catalog>

import pandas as pd
from lxml import objectify

xml=objectify.parse('test01.xml')
root=xml.getroot()

def etree2frame(root):
    column_names=[]
    for i in range(len(root.getchildren()[0].getchildren())):
        column_names.append(root.getchildren()[0].getchildren()[i].tag)
    xml_frame=pd.DataFrame(columns=column_names)
    for j in range(len(root.getchildren())):
        text=[]
        obj=root.getchildren()[j].getchildren()
        for k in range(len(column_names)):
            text.append(obj[k].text)
        row=dict(zip(column_names,text))
        row_s=pd.Series(row)
        row_s.name=j
        xml_frame=xml_frame.append(row_s)
    return xml_frame

print(etree2frame(root))

結果顯示：

Excel

準確來講是　MicroSoft Excel
pd.read_excel('data.excel','sheet1')
frame.to_excel('data2.xlsx')

JSON

javascript object notation
frame.to_json('frame.json') 生成json的檔案
pd.read_json('frame.json')

[
    {
        "writer":"Mark Ross",
        "nationality":"USA",
        "books":[
            {"title":"XML cookbook","price":25.56},
            {"title":"javascript leaning","price":15.56},
            {"title":"json book","price":21.56}
        ]
    },
    {
        "writer":"Mark Ross",
        "nationality":"USA",
        "books":[
            {"title":"XML cookbook","price":25.56},
            {"title":"javascript leaning","price":15.56},
            {"title":"json book","price":21.56}
        ] 
    }
]

首先載入json檔案及其內容，並將其轉換為一個字串
file=open('books.json')
text=file.read()
text=json.loads(text)
from pandas.io.json import json_normalize
json_normalize(text,'books')
第二個引數指定books就可以讀取所有以books作為鍵的元素的值。元素中所有屬性將會轉換為DataFrame元素。
第三個引數可以用與books同級別的鍵：
json_normalize(text,'books',['nationality','writer'])

讀寫資料庫

通用資料庫連線方法：from sqlalchemy import create_engine
engine=create_engine('資料庫所在路徑')
frame.to_sql('資料庫名',engine)
pd.read_sql('colors'資料庫名,engine)
pd.read_sql_query('SQL查詢語句',engine)

讀寫MongoDB

上面所說都是關係型資料庫,那麼讀寫以MongoDB為代表的NoSQL需要藉助資料庫本身的庫。
pymongo