計算機係數學、物理和計算科學學院評估課程集首頁
模組程式碼：CSMBD21大資料與雲端計算課程描述課程名稱：大資料與雲端計算
個人/小組分配：個人
任務的總權重：50%，其中大資料和雲端計算各佔25%結果技術報告的頁數/字數：最多約3000字，由兩部分組成，每個部分最多3頁，用於報告執行兩項任務（任務A和任務B）；A節報告大資料任務（任務A）和B報告雲端計算（任務B）——最多6頁，不包括附錄，應遵循學校風格指南。此作業預計花費的小時數：30小時。
需提交的專案：透過BB提交兩份PDF，每份最多3頁，一份用於A部分（任務A），以及一個用於部分B（任務B）。PDF將在第一頁上包括一個程式碼連結，以便訪問
解決方案將在您的免費Azure帳戶中提供，請提供臨時使用者名稱和密碼您的azure帳戶；對於部分B，連結可以是GitLab。作品將透過黑板線上提交學習時間：2024年3月20日星期三12:00作品將在提交之日後的15個工作日內標記並退回。筆記透過提交這篇作品，你就證明了這都是你自己的作品，並且使用了其他來源的材料已在文字中得到適當和充分的承認。您還確認您已閱讀並
瞭解大學網頁上的《大學學術不端行為宣告》。如果你的作品在截止日期後提交，每件作品將扣除最高分數的10%工作日（或部分工作日）它遲到了。如果您的作品提交超過5個工作日，將獲得零分晚了幾天。強烈建議您在截止日期前提交作品，作為遲交作品的工作可能會對其他工作產生影響。如果你認為你有正當理由未能在截止日期前完成，那麼你應該完成
情有可原情況表，並在截止日期前或儘快提交給學生支援中心是可行的，然後解釋原因。2.A部分（大資料任務）：
•任務A：實施基於歷史預測航班延誤的解決方案您的免費azure帳戶中提供的代 寫CSMBD21天氣和航空公司資料，以及解釋您首選機器學習（ML）模型的原因。B部分（雲端計算任務）
•任務B：實施MapReduce解決方案以確定乘客根據航班和上模組的分配資料夾中提供的乘客資料黑板基於本檔案附錄中解釋性說明的分配任務如果您面臨任何困難，請在提交的材料中明確說明您能夠繼續進行多遠實施並解釋您面臨的挑戰。任務A的評分標準：
•本任務A的總分將正常化，佔整個課程的25%。
•下表顯示了每個評估範圍的預期績效水平：分類範圍通常，工作應滿足這些要求頭等艙（>=70%）作業展示：
•在實施該系統方面具有出色的技術技能，可能還建議任何其他被認為可行的解決方案；包括優選解決方案的原因。
•專業的技術寫作技巧和風格。Upper Second（60-69）作業展示：
•在實施解決方案方面具有出色的技術技能。
•適當的技術寫作技能和清晰的陳述；包括原因優選的解決方案。下半秒（50-59）任務演示：
•在實施該系統方面具有出色的技術技能。
•中等的技術寫作能力和清晰的表達；包括原因
優選的解決方案。第三（40-49）任務證明：
•在實施該系統方面具有令人滿意的技術技能。
•一定的技術寫作能力和清晰的表達；包括一些推理對於優選的解決方案。不及格（<40）課程未能展示實施的技術技能和技術書寫清晰；不充分或不存在的推理優選的解決方案。
3.
任務A（大資料任務）評分方案及反饋模板
•本任務A的總分將正常化，在整個課程評估中獲得25%的學分評估所提交課程的主要標準評分貢獻率（%）
介紹
•簡要說明案例研究的背景。
•部署的工具和技術的描述，包括“資料用於分析此解決方案的“Factory”、“Data Bricks”、“Power BI”（解釋解決方案體系結構）。解決方案實施解決方案的實施：
•建立資料塊叢集
•載入樣本資料
•設定資料工廠
•資料工廠管道
•ML的操作
•彙總資料
•資料視覺化
評價
您對以下方面的個人思考：
•說明您首選解決方案的原因10報告的介紹：
•報告的結構和佈局
•專業的寫作風格
•使用圖表、參考文獻、引文和標題任務B（雲端計算任務）的評分標準
•本任務A的總分將正常化，佔整個課程的25%。
•下表顯示了每個評估範圍的預期績效水平：分類範圍通常，工作應滿足這些要求頭等艙（>=70%）作業展示：
•對MapReduce正規化的深入理解和出色的技術技能
落實制度，完成任務目標。
•最高質量的技術報告，包括解決方案評估，解決所有問題各方面，完整而清晰。
Upper Second（60..69）作業演示：
•對MapReduce範例有很好的理解，並能很好地實施與任務目標一致。
•高質量的技術報告，內容全面、完整、清晰。下秒（50..59）該作業演示：
•對MapReduce正規化有足夠的理解，並且令人滿意執行與任務目標一致。
•解決關鍵方面的可接受的技術書面報告。第三（40..49）該任務證明：
•對MapReduce的基本理解以及任務
•技術報告的基本標準；有一些明顯的缺點。不及格（<40）課程未能充分理解MapReduce正規化，甚至無法提供基本標準的報告。5.任務B（雲端計算任務）的評分方案和反饋模板
•本任務B的總分將正常化，在整個課程評估中獲得25%的學分MapReduce概念概念示例最大值。對映相位輸入和輸出5減少相位輸入和輸出5角色劃分工作劃分2
檔案處理檔案和緩衝區的使用3分散式並行優勢、容錯等3附加過程組合/Shuffling/分割槽等的說明1MapReduce問題解決的流程圖說明1軟體原型概念示例最大值專案結構物件定向/類層次結構7程式碼可重用性泛型，模板化7解決方案優雅設計最佳化620最大縱橫比。任務執行鍵/值選擇6正確結果4輸出格式4並行多執行緒620文件最大縱橫比。報告結構摘要、章節、長度、參考文獻等2章節內容開發說明4版本控制5的使用證據瞭解MapReduce 7的證據結論5報告質量報告5的總體質量程式碼註釋程式碼12中註釋的使用406.課程描述：大資料解決方案架構分析實施和評估將提供給需要現代化的客戶的大資料解決方案
系統您的任務：
實施基於歷史天氣和航空公司資料預測航班延誤的解決方案為了處理大資料，需要以分散式方式處理資料。中的Azure Synapse Analytics
Azure機器學習（ML）為資料預處理、特徵化、培訓和部署。它可以連線Azure Synapse Analytics中的Spark池。PySpark幫助預處理互動方式。此環境提供強大的大資料分析工具，如資料工廠、資料磚和Power BI，您需要使用該案例的資料為本課程開發解決方案Azure Synapse案例研究中可用的研究如下所述。請從評估區域的大資料作業指南下載案例研究：黑板→ 註冊人數→ CSMBD21-23-4MOD：大資料與雲計（2023/24）在“評估”選項卡中，選擇如下所示：看法→ 大資料→ 個案研究並相應地開發您的解決方案。