簡介

1912年4月15日，號稱永不沉沒的泰坦尼克號因為和冰山相撞沉沒了。因為沒有足夠的救援裝置，2224個乘客中有1502個乘客不幸遇難。事故已經發生了，但是我們可以從泰坦尼克號中的歷史資料中發現一些資料規律嗎？今天本文將會帶領大家靈活的使用pandas來進行資料分析。

泰坦尼特號乘客資料

我們從kaggle官網中下載了部分泰坦尼特號的乘客資料，主要包含下面幾個欄位：

下載下來的檔案是一個csv檔案。接下來我們來看一下怎麼使用pandas來對其進行資料分析。

使用pandas對資料進行分析

引入依賴包

本文主要使用pandas和matplotlib，所以需要首先進行下面的通用設定：

from numpy.random import randn
import numpy as np
np.random.seed(123)
import os
import matplotlib.pyplot as plt
import pandas as pd
plt.rc('figure', figsize=(10, 6))
np.set_printoptions(precision=4)
pd.options.display.max_rows = 20

讀取和分析資料

pandas提供了一個read_csv方法可以很方便的讀取一個csv資料，並將其轉換為DataFrame：

path = '../data/titanic.csv'
df = pd.read_csv(path)
df

我們看下讀入的資料：

418 rows × 11 columns

呼叫df的describe方法可以檢視基本的統計資訊：

如果要想檢視乘客登入的港口，可以這樣選擇：

df['Embarked'][:10]

0    Q
1    S
2    Q
3    S
4    S
5    S
6    Q
7    S
8    C
9    S
Name: Embarked, dtype: object

使用value_counts 可以對其進行統計：

embark_counts=df['Embarked'].value_counts()
embark_counts[:10]

S    270
C    102
Q     46
Name: Embarked, dtype: int64

從結果可以看出，從S港口登入的乘客有270個，從C港口登入的乘客有102個，從Q港口登入的乘客有46個。

同樣的，我們可以統計一下age資訊：

age_counts=df['Age'].value_counts()
age_counts.head(10)

前10位的年齡如下：

24.0    17
21.0    17
22.0    16
30.0    15
18.0    13
27.0    12
26.0    12
25.0    11
23.0    11
29.0    10
Name: Age, dtype: int64

計算一下年齡的平均數：

df['Age'].mean()

30.272590361445783

實際上有些資料是沒有年齡的，我們可以使用平均數對其填充：

clean_age1 = df['Age'].fillna(df['Age'].mean())
clean_age1.value_counts()

可以看出平均數是30.27，個數是86。

30.27259    86
24.00000    17
21.00000    17
22.00000    16
30.00000    15
18.00000    13
26.00000    12
27.00000    12
25.00000    11
23.00000    11
            ..
36.50000     1
40.50000     1
11.50000     1
34.00000     1
15.00000     1
7.00000      1
60.50000     1
26.50000     1
76.00000     1
34.50000     1
Name: Age, Length: 80, dtype: int64

使用平均數來作為年齡可能不是一個好主意，還有一種辦法就是丟棄平均數：

clean_age2=df['Age'].dropna()
clean_age2
age_counts = clean_age2.value_counts()
ageset=age_counts.head(10)
ageset

24.0    17
21.0    17
22.0    16
30.0    15
18.0    13
27.0    12
26.0    12
25.0    11
23.0    11
29.0    10
Name: Age, dtype: int64

圖形化表示和矩陣轉換

圖形化對於資料分析非常有幫助，我們對於上面得出的前10名的age使用柱狀圖來表示：

import seaborn as sns
sns.barplot(x=ageset.index, y=ageset.values)

接下來我們來做一個複雜的矩陣變換，我們先來過濾掉age和sex都為空的資料：

cframe=df[df.Age.notnull() & df.Sex.notnull()]
cframe

332 rows × 11 columns

接下來使用groupby對age和sex進行分組：

by_sex_age = cframe.groupby(['Age', 'Sex'])
by_sex_age.size()

Age    Sex   
0.17   female    1
0.33   male      1
0.75   male      1
0.83   male      1
0.92   female    1
1.00   female    3
2.00   female    1
       male      1
3.00   female    1
5.00   male      1
                ..
60.00  female    3
60.50  male      1
61.00  male      2
62.00  male      1
63.00  female    1
       male      1
64.00  female    2
       male      1
67.00  male      1
76.00  female    1
Length: 115, dtype: int64

使用unstack將Sex的列資料變成行：

79 rows × 2 columns

我們把同樣age的人數加起來，然後使用argsort進行排序，得到排序過後的index：

indexer = agg_counts.sum(1).argsort()
indexer.tail(10)

Age
58.0    37
59.0    31
60.0    29
60.5    32
61.0    34
62.0    22
63.0    38
64.0    27
67.0    26
76.0    30
dtype: int64

從agg_counts中取出最後的10個，也就是最大的10個：

count_subset = agg_counts.take(indexer.tail(10))
count_subset=count_subset.tail(10)
count_subset

上面的操作可以簡化為下面的程式碼：

agg_counts.sum(1).nlargest(10)

Age
21.0    17.0
24.0    17.0
22.0    16.0
30.0    15.0
18.0    13.0
26.0    12.0
27.0    12.0
23.0    11.0
25.0    11.0
29.0    10.0
dtype: float64

將count_subset 進行stack操作，方便後面的畫圖：

stack_subset = count_subset.stack()
stack_subset

Age   Sex   
29.0  female     5.0
      male       5.0
25.0  female     1.0
      male      10.0
23.0  female     5.0
      male       6.0
26.0  female     4.0
      male       8.0
27.0  female     4.0
      male       8.0
18.0  female     7.0
      male       6.0
30.0  female     6.0
      male       9.0
22.0  female    10.0
      male       6.0
21.0  female     3.0
      male      14.0
24.0  female     5.0
      male      12.0
dtype: float64

stack_subset.name = 'total'
stack_subset = stack_subset.reset_index()
stack_subset

作圖如下：

sns.barplot(x='total', y='Age', hue='Sex',  data=stack_subset)

本文例子可以參考： https://github.com/ddean2009/...

本文已收錄於 http://www.flydean.com/01-pandas-titanic/

最通俗的解讀，最深刻的乾貨，最簡潔的教程，眾多你不

歡迎關注我的公眾號:「程式那些事」,懂技術，更懂你！