在EMR中使用snappy壓縮的時候快速檢視壓縮前文字的內容
在EMR的專案中,按理阿里雲目前提供的解決方案,大多數的同學可能都是使用的logtail做的日誌收集,然後通過logshipper投遞到oss中儲存。這麼配置以後,儲存在oss裡面的檔案都是snappy格式了,但是怎麼使用估計大部分同學是一臉懵逼的。
有兩個小的配置,可以方便的和使用gzip一樣使用snappy檔案。
1 hadoop fs -text的命令直接檢視。如果是直接使用的話,你看到的都是二進位制,直接把shell搞死。需要用下面的格式檢視
hadoop fs -Dio.compression.codec.snappy.native=true -text oss://xxx/xx.snappy
2使用MR指令碼的時候,需要配置下,這個可能大部分同學都會,因為之前使用gzip的時候,也需要新增類似的配置項才能跑起來
hadoop ……. -jobconf io.compression.codec.snappy.native=true
相關文章
- 檢視一個歸檔或壓縮檔案的內容而無需解壓它
- 字串的壓縮和解壓縮字串
- Linux中檔案的壓縮和解壓縮Linux
- linux 高效壓縮工具之xz的壓縮解壓使用Linux
- laravel 怎麼壓縮響應的 html 內容LaravelHTML
- 簡單的zip壓縮和解壓縮
- Nginx網路壓縮 CSS壓縮 圖片壓縮 JSON壓縮NginxCSSJSON
- JAVA壓縮和解壓縮Java
- zip壓縮和解壓縮
- 分卷壓縮怎麼解壓 快速解壓電腦分卷壓縮檔案方法
- aix 檔案的壓縮與解壓縮AI
- linux壓縮解壓縮Linux
- 檔案壓縮和解壓縮
- Linux中檔案的壓縮與解壓縮(轉貼)Linux
- linux下的檔案的壓縮和解壓縮Linux
- Linux下各壓縮方式測試(壓縮率和使用時間)Linux
- ppt怎麼壓縮,ppt壓縮的技巧分享
- 解包 bzip2 壓縮的壓縮文件(轉)
- Linux下常用壓縮格式的壓縮與解壓方法Linux
- NET中SharpZipLib 的使用(一)【壓縮與解壓】
- JS壓縮方法及批量壓縮JS
- aix 下壓縮與解壓縮AI
- linux壓縮和解壓縮命令Linux
- tar 分卷壓縮&解壓縮命令
- AIX 上壓縮與解壓縮AI
- gz檔案檢視,syslog系統壓縮的
- ORACLE備份中的壓縮Oracle
- Hadoop上配置snappy壓縮格式(最簡單的做法)HadoopAPP
- Hbase無法建立帶有snappy壓縮屬性的表APP
- NET中SharpZipLib 的使用(二)【Web中壓縮與解壓】Web
- netty 使用字典提升短文字的壓縮效果Netty
- Oracle壓縮黑科技(二)—壓縮資料的修改Oracle
- AIX下的壓縮測試及所有壓縮命令AI
- tar的打包-壓縮與解壓縮,並解壓到指定的目錄
- CentOS中zip壓縮和unzip解壓縮命令詳解CentOS
- linux下壓縮解壓縮命令Linux
- linux壓縮和解壓縮命令整理Linux
- Linux壓縮及解壓縮命令Linux