BI 系列隨筆列表 (SSIS, SSRS, SSAS, MDX, SQL Server)

BIWORK發表於2013-09-18

微軟 BI ETL 架構設計

  1. 如何在 ETL 專案中統一管理上百個 SSIS 包的日誌和包配置框架
  2. 如何管理和記錄 SSIS 各個 Task 的開始執行時間和結束時間以及 Task 中新增|刪除|修改的記錄數

 

微軟 BI SSIS 系列

  1. 微軟BI 之SSIS 系列 - 在 SSIS 中讀取 SharePoint List
  2. 微軟BI 之SSIS 系列 - 利用 SSIS 模板快速開發 SSIS Package
  3. 微軟BI 之SSIS 系列 - Lookup 元件的使用與它的幾種快取模式 - Full Cache, Partial Cache, NO Cache
  4. 微軟BI 之SSIS 系列 - Merge, Merge Join, Union All 合併元件的使用以及Sort 排序元件同步非同步的問題
  5. 微軟BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
  6. 微軟BI 之SSIS 系列 - 使用 Multicast Task 將資料同時寫入多個目標表,以及寫入Audit 與增量處理資訊
  7. 微軟BI 之SSIS 系列 - 理解Data Flow Task 中的同步與非同步, 阻塞,半阻塞和全阻塞以及Buffer 快取概念
  8. 微軟BI 之SSIS 系列 - 通過設定 CheckPoints 檢查點來增強 SSIS Package 流程的重用性
  9. 微軟BI 之SSIS 系列 - 資料倉儲中實現 Slowly Changing Dimension 緩慢漸變維度的三種方式
  10. 微軟BI 之SSIS 系列 - 兩種將 SQL Server 資料庫資料輸出成 XML 檔案的方法
  11. 微軟BI 之SSIS 系列 - 變數查詢語句引起列輸出順序不一致的解決方法
  12. 微軟BI 之SSIS 系列 - 通過 OLE DB 連線訪問 Excel 2013 以及對不同 Sheet 頁的資料處理
  13. 微軟BI 之SSIS 系列 - 在 SSIS 輸出平面檔案時根據執行日期生成不同的檔名稱
  14. 微軟BI 之SSIS 系列 - 通過 ROW_NUMBER 或 Script Component 為資料流輸出新增行號的方法
  15. 微軟BI 之SSIS 系列 - 在 SSIS 中將指定目錄下的所有檔案分類輸出到不同資料夾
  16. 微軟BI 之SSIS 系列 - 匯出資料到 Excel 2013 的實現
  17. 微軟BI 之SSIS 系列 - 平面檔案格式的區別(Delimited,Fixed width,Ragged Right, Fixed width ...)
  18. 微軟BI 之SSIS 系列 - Lookup 中的字串比較大小寫處理 Case Sensitive or Insensitive
  19. 微軟BI 之SSIS 系列 - 對於平面檔案中 NULL 值處理過程中容易極易混淆的幾個細節
  20. 微軟BI 之SSIS 系列 - 帶有 Header 和 Trailer 的不規則的平面檔案輸出處理技巧
  21. 微軟BI 之SSIS 系列 - Execute SQL Task 中的 Single Row 與 Full Result Set 的處理技巧
  22. 微軟BI 之SSIS 系列 - XML Task 中XSLT 樣式錶轉換錯誤記錄
  23. 微軟BI 之SSIS 系列 - 使用 Script Task 訪問非 Windows 驗證下的 SMTP 伺服器傳送郵件
  24. 微軟BI 之SSIS 系列 - MVP 們也不解的 Scrip Task 指令碼任務中的一個 Bug
  25. 微軟BI 之SSIS 系列 - Precedence Constraint 詳解優先約束的使用
  26. 微軟BI 之SSIS 系列 - 使用 Script Component Destination 和 ADO.NET 解析不規則檔案並插入資料
  27. 微軟BI 之SSIS 系列 - 在 SSIS 中匯入 ACCESS 資料庫中的資料
  28. 微軟BI 之SSIS 系列 - 在 SQL 和 SSIS 中實現行轉列的 PIVOT 透視操作
  29. 微軟BI 之SSIS 系列 - 2008 版本中變數 Int64 無法儲存 bigint 型別資料的BUG
  30. 微軟BI 之SSIS 系列 - ETL 轉換時關於 Code Page (1252 and 936) 轉換錯誤的原因和解決方法
  31. 微軟BI 之SSIS 系列 - 再談Lookup 快取
  32. 微軟BI 之SSIS 系列 - 使用 SQL Profilling Task (資料探測) 檢測資料來源資料

 

微軟 BI 其它文章

  1. 容易遺忘的一些小程式碼之 Merge Operation and Output Clause
  2. 容易遺忘的一些小程式碼之 PIVOT 和 UNPIVOT
  3. SSIS 小指令碼 - 檔案路徑驗證
  4. SSIS 小指令碼 - 時間引數驗證
  5. 在 Visual Studio 2012 開發 SSIS,SSAS,SSRS BI 專案

 

分享與下載

  1. 微軟產品下載大全(作業系統,SQL SERVER,Office)http://www.itellyou.cn/
  2. 微軟示例資料庫下載  Microsoft Demo Database Download
  3. 微軟 DEMO  下載     Microsoft Demo Download
  4. SQL SERVER 2012 下載(英文版)百度雲共享   連結:http://pan.baidu.com/s/1jGf23kE    密碼:uu8w 
  5. SQL SERVER 2014 下載(英文版)百度雲共享   連結:http://pan.baidu.com/s/1c0zr8mW  密碼:9h6g
  6. 900 餘頁19萬餘字的 《2015年BI系列技術博文與問答精選年刊》 PDF版本,本部落格均收錄在其中,具體可以訪問 http://www.flybi.net/article/336
  7. 天善學院 www.hellobi.com 視訊
    1. 輕鬆上手,BI 需求及管理 【免費連載中 每週兩集】
    2. 手把手教你使用開源ETL工具kettle
    3. QlikView開發寶典 【免費持續更新中】
    4. SAP BO Dashboard 初級培訓視訊教程
    5. BI基礎知識漫談【獻給所以熱愛商業智慧的朋友】
    6. 資料倉儲精品教程【特點,資料倉儲和ETL設計思想、架構(自上而下、自下而上)、常用概念】
    7. SSRS 2012 WIN8 Metro 高階報表教程【免費持續更新】
    8. SQL SERVERVER 2012 從零開始學資料庫管理開發視訊教程
    9. Smartbi電子表格版入門到精通教程—新一代Java Web 報表工具
    10. OBIEE 深入淺出精品視訊教程【免費持續更新】
    11. Cognos 從入門到精通高階視訊教程【免費更新】
    12. 永洪敏捷BI精品培訓教程
    13. Oracle 入門學習視訊
    14. SSAS & Excel BI Tips(技巧、獨家祕訣)【SSAS高階進階必備免費課程】
    15. Microsoft 金牌夥伴 Halo BI 產品教程

IT 雜記

(2013年-2014年)

  1. IT 外包中的甲方乙方,德國人,美國人,印度人和日本人印象雜談
  2. 有感於三個50歲的美國程式設計師的生活狀態與IT職業雜想
  3. 3W網際網路的圈子,大資料敏捷BI與微軟BI的前端痛點

(2015)

  1. 如何製作詞雲圖和反牆介紹

BIWORK 企業級應用 BI 框架系列

(2013年-2014年)

  1. 如何在 ETL 專案中統一管理上百個 SSIS 包的日誌和包配置框架 
  2. 如何管理和記錄 SSIS 各個 Task 的開始執行時間和結束時間以及 Task 中新增|刪除|修改的記錄數

 移動 BI Datazen

 ( 2015年 )

  1. Microsoft 家族新成員 Datazen 移動BI 介紹 

 資料倉儲系列

(2013年-2014年)

  1. 資料倉儲系列 - 緩慢漸變維度 (Slowly Changing Dimension) 常見的三種型別及原型設計
  2. 一般資料庫增量資料處理和資料倉儲增量資料處理的幾種策略

(2015年)

  1. 資料倉儲設計小知識之一個屬性的維度設計

改變傳統思維的報表設計與製作 WIN8 Metro UI SSRS

(2013年-2014年)

  1. WIN8 Metro UI 風格下的微軟報表開發與設計 Metro UI SSRS - BIWORK

SSIS 系列 - 常用操作

(2013年-2014年)

  1. 利用 SSIS 模板快速開發 SSIS Package
  2. 在 SSIS 中讀取 SharePoint List
  3. 在 SSIS 中使用 Web Service 以及 XML 解析
  4. 變數查詢語句引起列輸出順序不一致的解決方法
  5. 通過設定 CheckPoints 檢查點來增強 SSIS Package 流程的重用性
  6. 通過 ROW_NUMBER 或 Script Component 為資料流輸出新增行號的方法
  7. 使用 Multicast Task 將資料同時寫入多個目標表,以及寫入Audit 與增量處理資訊
  8. Execute SQL Task 中的 Single Row 與 Full Result Set 的處理技巧
  9. 使用 Script Task 訪問非 Windows 驗證下的 SMTP 伺服器傳送郵件
  10. MVP 們也不解的 Scrip Task 指令碼任務中的一個 Bug

(2015)

  1. 在 SQL 和 SSIS 中實現行轉列的 PIVOT 透視操作
  2. 2008 版本中變數 Int64 無法儲存 bigint 型別資料的BUG
  3. ETL 轉換時關於 Code Page (1252 and 936) 轉換錯誤的原因和解決方法
  4. 再談Lookup 快取
  5. 使用 SQL Profilling Task (資料探測) 檢測資料來源資料

SSIS 系列 - 檔案處理

(2013年-2014年)

  1. 通過 OLE DB 連線訪問 Excel 2013 以及對不同 Sheet 頁的資料處理
  2. 匯出資料到 Excel 2013 的實現
  3. 平面檔案格式的區別(Delimited,Fixed width,Ragged Right, Fixed width ...)
  4. 在 SSIS 輸出平面檔案時根據執行日期生成不同的檔名稱
  5. 在 SSIS 中將指定目錄下的所有檔案分類輸出到不同資料夾
  6. 兩種將 SQL Server 資料庫資料輸出成 XML 檔案的方法
  7. 對於平面檔案中 NULL 值處理過程中容易極易混淆的幾個細節
  8. 帶有 Header 和 Trailer 的不規則的平面檔案輸出處理技巧
  9. XML Task 中XSLT 樣式錶轉換錯誤記錄

SSIS 系列 - 高階元件概念分析

(2013年-2014年)

  1. 資料倉儲中實現 Slowly Changing Dimension 緩慢漸變維度的三種方式
  2. Lookup 元件的使用與它的幾種快取模式 - Full Cache, Partial Cache, NO Cache
  3. Merge, Merge Join, Union All 合併元件的使用以及Sort 排序元件同步非同步的問題
  4. 理解Data Flow Task 中的同步與非同步, 阻塞,半阻塞和全阻塞以及Buffer 快取概念
  5. Lookup 中的字串比較大小寫處理 Case Sensitive or Insensitive
  6. 使用 Script Component Destination 和 ADO.NET 解析不規則檔案並插入資料

SSRS 系列

(2013年-2014年)

  1. 報表中分組聚合中處理不規則層次結構的技巧(沒有子元素的時候不展開, 刪除+符號)
  2. 報表郵件訂閱中 SMTP 伺服器匿名訪問與 Windows驗證, 以及如何成功訂閱報表的例項
  3. 使用分組 Group 屬性實現基於父子遞迴關係的彙總報表
  4. 如何實現報表導航 Navigation 和鑽取 Drill Down 的效果
  5. 如何實現報表標籤的本地化 - 中文和英文的互換
  6. 使用 LookupSet 和 Adjacent Group 等高階技巧在報表中跨 Dataset 分組查詢
  7. 不顯示 Pie Chart 餅圖上 0% 的資料
  8. 使用文件結構導航報表元素 Document Map
  9. 如何讓報表在一頁顯示,兩種常用的技巧
  10. 解決Pie Chart 中控制標籤外部顯示與標籤重疊的問題
  11. 實現 Excel 中圖表結合的報表設計

(2015)

  1. 如何設定頁標題重複
  2. 巧用 RunningValue 函式在分組中排序並設定 RANK 排名

SSRS + MDX 系列

(2013年-2014年)

  1. 使用帶引數的 MDX 查詢實現一個分組聚合功能的報表
  2. 基於時間段引數的 MDX 查詢以及時間日曆 Date Picker 的時間型別引數化
  3. 在 Cube 中通過 MDX 查詢實現基於父子遞迴關係的彙總報表
  4. 如何在 MDX 查詢中獲取有效的 MEMBER 成員屬性作為引數傳遞

SSAS Multidimensional 系列

(2013年-2014年)

  1. 在 SQL Server 2012 下檢視 SSAS 分析服務的模型以及幾個模型的簡單介紹
  2. 在SQL Server 2012 中開發 Analysis Services Multidimensional Project
  3. 自定義的日期維度設計
  4. 基於雪花模型的維度設計
  5. 關於父子維度的設計
  6. 實現Cube 以及角色扮演維度,度量值格式化和計算成員的建立
  7. 多維資料集中度量值設計時的聚合函式 (累加性_半累加性和非累加性)
  8. 多維資料集維度用法之一 引用維度 Referenced Dimension
  9. 多維資料集維度用法之二 事實維度(退化維度 Degenerate Dimension)
  10. 多維資料集維度用法之三 多對多維度 Many to Many
  11. 維度的優化,灌木叢屬性關係,以及自然層次結構與非自然層次結構的概念
  12. SQL Server 2012 中 SSAS 多維資料瀏覽器已經廢除

SSAS Tabular 系列

(2013年-2014年)

  1. 使用 SQL Server 2012 Analysis Services Tabular Mode 表格建模 圖文教程

MDX Step by Step 筆記系列

(2013年-2014年)

  1. (三) - Understanding Tuples (理解元組)
  2. (四) - Working with Sets (使用集合)
  3. (四) - Working with Sets (使用集合) - Limiting Set and Auto-Exists
  4. (四) - Working with Sets (使用集合) - 我對Exists 函式的理解
  5. (五) - Working with Expressions (MDX 表示式)
  6. (五) - Working with Expressions (MDX 表示式) - CurrentMember - Properties - Existing 的使用
  7. (五) - Working with Expressions (MDX 表示式) - Infinite Recursion 和 SOLVE_ORDER 原理解析
  8. (六) - Building Complex Sets (複雜集合的處理) - 集合的排序
  9. (六) - Building Complex Sets (複雜集合的處理) - TopCount - BottomCount -Head-Tail-Item 函式的使用
  10. (六) - Building Complex Sets (複雜集合的處理) -  Filtering Sets
  11. (六) - Building Complex Sets (複雜集合的處理) - Combining Sets
  12. (六) - Building Complex Sets (複雜集合的處理) - Generate 和 Extract 函式的使用 
  13. (七) - Performing Aggregation 聚合函式之 Sum, Aggregate, Avg
  14. (七) - Performing Aggregation 聚合函式之 Max, Min, Count , DistinctCount 以及其它 TopCount, Generate
  15. (八) - Navigating Hierarchies 層次結構導航
  16. (九) - Working with Time 處理時間
  17. MDX 查詢原型

SQL Server 資料庫系列

(2013年-2014年)

  1. 配置 SQL Server Email 傳送以及 Job 的 Notification通知功能
  2. SQL Server Window Function 窗體函式讀書筆記一 - SQL Windowing
  3. SQL Server Window Function 窗體函式讀書筆記二 - A Detailed Look at Window Functions
  4. BIWORK 分割槽表閱讀與實踐筆記
  5. BIWORK 分割槽表滑動視窗閱讀與實踐筆記
  6. OBJECT_ID 有哪些種類
  7. Execution Plan 執行計劃介紹
  8. SQL Server 中斷開連線到指定資料庫的所有連線
  9. SQL Server 中的事務與事務隔離級別以及如何理解髒讀, 未提交讀,不可重複讀和幻讀產生的過程和原因
  10. SQL Server - 使用 Merge 語句實現表資料之間的對比同步
  11. SQL Server - 把星期一(週一)當作每個星期的開始在一年中求取週數

(2015)

  1. SQL SERVER 2014 安裝圖解(含 SQL SERVER 2014 安裝程式共享)

MDX Cookbook 札記列表 

(2013年-2014年)

  1. MDX Cookbook 01 - Skipping Axis 合理使用空的 SET 集合獲取全部層次結構成員
  2. MDX Cookbook 02 - 除數為零的問題
  3. MDX Cookbook 03 - MDX 查詢中負數,零和空值 NULL 的格式化處理
  4. MDX Cookbook 04 - 在集合中實現 NOT IN 邏輯 (Minus, Except, Filter 等符號和函式的使用)
  5. MDX Cookbook 05 - 條件過濾 FILTER-COUNT 與 SUM-IIF 實現
  6. MDX Cookbook 06 - GENERATE 迴圈遍歷
  7. MDX Cookbook 07 - 在不同層次結構的成員中實現 邏輯 OR 的效果
  8. MDX Cookbook 08 - 基於集合上的迭代遞迴
  9. MDX Cookbook 09 - 同一個層級結構中的成員 AND 邏輯操作
  10. MDX Cookbook 10 - 計算 Year To Date 的 Running Total(YTD 與 PeriodsToDate 的區別)
  11. MDX Cookbook 11 - 計算 Year Over Year 增長 (同比計算) ParallelPeriod
  12. MDX Cookbook 12 - 計算 SMA 簡單移動平均 LastPeriods() 函式的使用

提交給微軟的 Bug 與產品改進記錄 FEEDBACK SURVEYS

(2013年-2014年)

  1. 001 Feddback SSIS 2012 ReadOnlyVariables in Script Task doesn't work 
  2. 001 Post Is it a bug - SSIS 2012 ReadOnlyVariables in Script Task doesn't work

以下整理收藏自其它部落格與文章,好文收藏

SQL Server 系列

  1. SQL函式說明大全 - (作者 - moss_tan_jun)
  2. 恢復SQLSERVER被誤刪除的資料 - (作者 - 樺仔)
  3. 解剖SQLSERVER 第一篇  資料庫恢復軟體商的黑幕 - (作者 - 樺仔)
  4. 儲存過程變慢的原因
  5. SQL Server Performance

SSRS 系列

  1. 深入 SSRS 地圖
  2. 有關 SSRS 報表的快取
  3. Service Account 的介紹
  4. Service Account 的選擇問題
  5. 關於 Execution Account 的介紹
  6. 本地 Report Server 許可權的配置
  7. 有關角色許可權的問題

SSIS 系列

  1. We Loaded 1TB in 30 Minutes with SSIS, and So Can You 
  2. What are the differences between Merge Join and Lookup transformations in SSIS?

SSAS 系列

  1. SSAS - Attribute Relationships
  2. Hierarchies in SSAS Multidimensional: What’s really happening up (or down) in there?
  3. SSAS - Defining Attribute Relationships in 2005 and 2008
  4. Processing Options and Settings 
  5. What happens when you do a Process Update on a dimension?
  6. What are the natural hierarchies and why they are a good thing 
  7. Different Kinds of SSAS Processing in simple words

微軟技術圈

BI 技術

  1. Tomislav Piasevoli (MVP MDX Cookbook 作者)   
  2. Jason Tom Thomas (MDX,SSAS)   
  3. Charlie Liao (SSAS,MDX Moderator)    
  4. Elvis Long  (MDX,SSAS Moderator)
  5. 哥本哈士奇 (MVP, BI, 資料探勘)
  6. ArthurZ (MVP,MCDBA, MCAD, MCTS and MCITP)
  7. Reza Raad (MVP, MCP, MCTS and MCI《Microsoft SQL Server 2012 Integration Services: An Expert Cookbook》作者)
  8. SSISJoost (MVP, SSIS)
  9. Visakh16 (MVP, SSIS,SSAS,SSRS)
  10. Bobby0322 (資料探勘部落格分享)

SQL Server 技術

  1. Carey Son (MVP) 
  2. 聽風吹雨 (MVP) 
  3. 邀月工作室 (MVP,PMP)  
  4. 樺仔 (MVP)

其它收藏

英語學習

  1. 暴力英語學習法 + 嚴格的目標管理 = 成功快速靠譜的學好英語

創業

  1. 1號店創始人於剛:我用實踐換來的十條創業箴言

如果覺得這個系列的文章看了對您有幫助,請點選下方幫助推薦。

相關文章