《Learning R》筆記 Chapter 13 Cleaning data 下 dataframe清洗
with和within
with和within都是能夠evaluate an R expression in an environment constructed from data。
with輸出的是expr的結果,within輸出經過改變後的dataframe。
with(data, expr, ...)
within(data, expr, ...)
> x <- head(iris)
> with(x, new = Sepal.Length + Sepal.Width) #這裡的賦值會報錯
Error in eval(substitute(expr), data, enclos = parent.frame()) :
argument is missing, with no default
> with(x, Sepal.Length + Sepal.Width)
[1] 8.6 7.9 7.9 7.7 8.6 9.3
> within(x, Sepal.Length + Sepal.Width) #不賦值的話不會有改動
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3.0 1.4 0.2 setosa
#以下省略
但plyr包中的mutate()函式使用起來更加自然。
> mutate(x, new=Sepal.Length + Sepal.Width)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species new
1 5.1 3.5 1.4 0.2 setosa 8.6
2 4.9 3.0 1.4 0.2 setosa 7.9
處理NA
comple.cases()接受dataframe輸入,輸出擁有完整資料(無NA)的rows的序號。
na.omit()則直接剔除NA rows。
melt與dcast
reshape2包中的兩個牛逼函式,能夠在long和wide兩種dataframe form之間相互轉化,long form也是ggplot2繪圖的基礎。
從wide到long:melt()
melt()函式在dataframe中的syntax如下:
melt(data, id.vars, measure.vars, # 原df中的column名稱,id是不改變的變數,measures是要變的變數
variable.name = "variable", ..., na.rm = FALSE, value.name = "value",#新df中的column
factorsAsStrings = TRUE)#id和measures長度不定,但合併後就只有variable和value2個col了
使用melt()的效果如下:
> dat.wide=data.frame(name1=LETTERS[1:3],name2=month.abb[1:3],N1=3:5,N2=c(2.3,3.4,4.5))
> dat.wide
name1 name2 N1 N2
1 A Jan 3 2.3
2 B Feb 4 3.4
3 C Mar 5 4.5
> dat.long <- melt(dat.wide,measure.vars = c('N1','N2'))
name1 name2 variable value #N1,N2被合併成了1個col:variable
1 A Jan N1 3.0 #各自的值被移到col:value中
2 B Feb N1 4.0
3 C Mar N1 5.0
4 A Jan N2 2.3
5 B Feb N2 3.4
6 C Mar N2 4.5
從long到wide:dcast()
dcast是melt的反向操作。輸入df,輸入也是df
dcast(data, formula, fun.aggregate = NULL, ..., margins = NULL,
subset = NULL, fill = NULL, drop = TRUE,
value.var = guess_value(data))
> dcast(dat.long, name1 + name2 ~ variable)
name1 name2 N1 N2
1 A Jan 3 2.3
2 B Feb 4 3.4
3 C Mar 5 4.5
排序
sort()函式可以用來排序,預設是增序。用於對字串排序時,可能給出難以預料的結果。
order()函式則預設給出在增序排列下原vector對應元素的相應下標。
將dataframe按照某一列進行排序,可以使用order。
sort(x, decreasing = FALSE, ...)
order(..., na.last = TRUE, decreasing = FALSE,
method = c("auto", "shell", "radix"))
> x=sample(1:20,10)
> sort(x)
[1] 2 4 6 7 9 11 13 15 18 20
> order(x)
[1] 10 8 9 1 2 6 3 4 7 5
> order(x,decreasing = T)
[1] 5 7 4 3 6 2 1 9 8 10
> iris[order(iris$Sepal.Length),]
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
14 4.3 3.0 1.1 0.1 setosa
9 4.4 2.9 1.4 0.2 setosa
39 4.4 3.0 1.3 0.2 setosa
43 4.4 3.2 1.3 0.2 setosa
42 4.5 2.3 1.3 0.3 setosa
4 4.6 3.1 1.5 0.2 setosa
plyr包中的arrange()函式提供了更為直接的dataframe排序方式:
> arrange(iris, Sepal.Length) #效果同上
rank()函式提供了秩。
函式化程式設計
包括Negate Filter Position Find Map Reduce
大致瞭解即可
相關文章
- data cleaning(資料清洗) 課程筆記筆記
- Data Quality and Data Cleaning
- R語言data manipulation學習筆記之subset dataR語言筆記
- PySpark筆記(三):DataFrameSpark筆記
- 【pandas學習筆記】DataFrame筆記
- Reinforcement Learning Chapter2APT
- 林軒田機器學習技法課程學習筆記13 — Deep Learning機器學習筆記
- Python資料分析 DataFrame 筆記Python筆記
- Machine Learning 機器學習筆記Mac機器學習筆記
- unp學習筆記——Chapter1筆記APT
- 閱讀筆記(Communication-Efficient Learning of Deep Networks from Decentralized Data)筆記Zed
- 通過數字看高考分數(r13筆記第4天)筆記
- IP地址定位區間的問題分析(r13筆記第9天)筆記
- Data Guard故障自動切換的想法(r11筆記第40天)筆記
- Oracle Data Guard延遲的幾個可能(r11筆記第69天)Oracle筆記
- Arduino學習筆記13UI筆記
- MySQL筆記 13 檢視MySql筆記
- JavaScript學習筆記13JavaScript筆記
- Data pump學習筆記筆記
- 《flask Web 開發》讀書筆記 & chapter6FlaskWeb筆記APT
- 百倍效能的PL/SQL優化案例(r11筆記第13天)SQL優化筆記
- MySQL中一個文件疏漏的分析測試(r13筆記第3天)MySql筆記
- Machine Learning Yearning 要點筆記Mac筆記
- Machine Learning(13)- Random ForestMacrandomREST
- Data Guard實現故障自動切換(二)(r11筆記第39天)筆記
- MySQL中GTID的幾個限制和解決方案(r13筆記第21天)MySql筆記
- The Data Warehouse Toolkit 閱讀筆記筆記
- 文件筆記--Oracle Data Pump 2筆記Oracle
- 文件筆記--Oracle Data Pump 1筆記Oracle
- 讀所羅門的密碼筆記13_群雄逐鹿(下)密碼筆記
- [Java] Introduction to Java Programming 筆記: Chapter 1. 概念Java筆記APT
- Auto Machine Learning 自動化機器學習筆記Mac機器學習筆記
- Deep Transfer Learning綜述閱讀筆記筆記
- vue 基礎入門筆記 13Vue筆記
- 13.管理許可權(筆記)筆記
- 學習筆記13:微調模型筆記模型
- 讀書筆記(13)《中年覺醒》筆記
- [Java] Introduction to Java Programming 筆記: Chapter 2. 基礎Java筆記APT