官方帶隊實測,階梯式解鎖飛槳框架3.0能力新特性,輕鬆上手!

飞桨PaddlePaddle發表於2024-11-18

▎飛槳框架3.0助力使用者構建大模型時代核心生產力

飛槳新一代框架3.0是面向大模型、異構多芯進行專屬設計,向下適配異構多芯,充分釋放硬體潛能;向上一體化支撐大模型的訓練、推理。同時具有動靜統一自動並行、編譯器自動最佳化、大模型訓推一體、大模型多硬體適配四大能力,全面地提升了服務產業的能力。獲得了產學各界的諸多關注。

有了好的技術,如何真正上手,將其技術能力用起來,成為大家當下最實際的訴求。

▎利刃在手,如何找到功法,應用自如?

實踐出真知!技術知識的一切問題,程式碼會給你答案!為了讓大家能具體的理解飛槳框架3.0的幾大新特性,並且實際上手用起來,GitHub20萬星Al專案團隊——飛槳官方研發團隊親自帶練,攜手產學界資深使用者共同打磨了本次實測帶練營,活動詳情如下。

一.活動詳情

1.遊戲式實測,無痛上手

本次帶練活動結合飛槳框架3.0版本的新特性,打磨了一套內容完整、層次豐富的實測任務。任務涵蓋最基礎的環境安裝、編譯最佳化等底層框架能力、模型的自動並行訓練技術、高效能推理部署技術、科學計算、大模型輔助程式設計六大板塊,以幫助不同需求的使用者使用框架。讓大家在逐步解鎖一個個小技術任務的過程中,自己動手實際感知飛槳框架3.0的用法和效能,遊戲式解鎖其超強新能力。

2.現場coding帶練,包教包會

對於相對較底層的神經網路編譯器和基於PIR的Pass開發技術,以及熱度較高的模型自動並行訓練技術、高效能推理部署技術,我們準備了三場單獨的直播課程。以實用技術概念補充+核心程式碼逐行解析+現場拆解技術任務並coding實現的方式,為產學使用者提供高密度知識課堂!

3.框架老粉助攻

使用者最懂使用者,今天的難點卡點,明天的經驗心得。在技術探索的過程中,老使用者往往是最好的領路人。本次活動邀請了從飛槳框架早期就一路相伴的初代產業級PPDE擔任助教,無論你是企業工程師還是高校師生,他們都能站在你的角度引導你梳理問題、給予經驗,幫助你高效通關。

4.豐富獎勵,證書獎金禮品全都配齊

百度飛槳官方證書、獎學金、高刷顯示器、Apple系列新款,成就感、實用性拉滿。解鎖Peaceful、Easy、Normal、Hard四類不同難度的關卡,獲取對應分值,角逐積分獎項!

二.實測內容概覽

▎穩紮穩打 六個板塊逐一帶練

以下任務涵蓋日常開發常用板塊,可根據自己實際需求選學。另外,除少量開放性任務外,其餘實測任務均配套參考程式碼並會對核心程式碼進行講解,全程開卷+實時答疑。不必太擔心難度,只要想學,跟著練即可解鎖以下階梯式實測任務!(任務內容概覽如下,詳情請見官方課程群):

1.環境安裝實測:在任一裝置上安裝飛槳框架3.0版本。

2.底層框架實測:

a.編譯最佳化:基於一個子圖,跑通編譯器全流程。

b.PIR pass開發:基於PIR 實現並跑通一個替換類pass;整體串聯,實現效能提升。

c.組合運算元:基於飛槳框架3.0在GPU環境下最佳化改造一個運算元的拆分邏輯,並跑通。

3.科學計算實測:**基於飛槳框架3.0在任一裝置上實現矩形薄板撓曲方程(四階方程)求解。
**

4.模型訓練實測:

a.基礎訓練:基於飛槳框架3.0在任一加速卡上完成任一模型訓練。

b.自動並行策略體驗:

i.實現一個transformer模型中常見的FFN結構(兩層MLP),並跑通。

ii.基於FFN,使用自動並行API將其改寫為,在8卡上2路資料並行+2路模型並行+2路流水線並行的三維混合並行,並跑通。

iii.跑通PaddleNLP中的自動並行llama 13B模型。

5.推理部署實測:

a.基礎推理:基於飛槳框架3.0在任一裝置上跑通基礎推理(限定Ampere / Ada / Hopper架構)。

b.跑通更高階的最佳化項(如Fp8量化推理、 4Bit量化推理、 Block Attention 多batch 推理等等)。

c.在支援的列表之外新增模型並跑通(如LLaMA3.2 / Qwen2-VL等)。

6.大模型輔助程式設計實測:

a.程式碼生成:將程式碼生成能力用在自己日常使用的程式碼中。

b.程式碼轉換:從示例專案中任選一個,完成程式碼轉換。

▎額外加分:適當戶外效率更高 秀出記錄可獲加分

近年來,越來越多研究佐證了運動戶外對效率提升的積極作用。最近超火的“公園20分鐘效應”也體現著類似的觀點。因此我們鼓勵大家在工作學習之餘也能到戶外動一動,爬山、游泳、公園發呆都可以,用你喜歡的方式!秀出你的戶外/運動記錄,即可獲得官方加分!(特別提示:征服喜馬拉雅VS公園發呆20分鐘,對應分值相同。只希望大家一起去戶外放鬆,適合自己的就是最好的!)

最後,飛槳框架3.0誠摯歡迎產學研各界開發者參與實測,共同構建大模型時代核心生產力!

三.報名方式

掃描海報右下方的二維碼,立即報名!

相關文章