作為多媒體應用的開發者，你是否想為媒體播放器快速開發創新AI功能？例如：

-   在播放低畫質影片過程中對其進行逐幀超分
-   讓滿屏飄飛的彈幕自動繞過畫面的主體人物

HMS Core 6.0.0開放的多媒體管線服務（AV Pipeline Kit），幫助媒體應用開發者降低創新功能的開發難度。透過定義外掛的標準介面和資料流在外掛之間的流轉方式，開發者只需要按照標準介面完成外掛開發，就可以迅速構建出新型的媒體場景。

多媒體管線服務（AV Pipeline Kit）定義了一套外掛標準介面，且已經內建了對外掛的資料流管理、執行緒管理、記憶體管理、訊息管理等，開發者只需要實現外掛的核心處理邏輯即可，無需關注執行緒同非同步、流控、音影片同步等邏輯。目前已預置了3個可應用在播放場景的Pipeline：影片播放、影片超分、聲音事件檢測，並提供Java介面供開發者使用，同時也支援開發者透過C++介面直接呼叫單個預置外掛。若預置外掛或預置Pipeline不滿足使用要求，開發者可以自定義外掛、自定義Pipeline。

![](https://oscimg.oschina.net/oscnet/up-20abd3e11d2d6a1de0b6679dbd1cef0a279.png)

### **技術方案**

**![](https://oscimg.oschina.net/oscnet/up-9df383a0a4d0cdf00c69dc81cf428bb609b.png)**

### **影片超分**

下面我們詳細描述內建的高效能影片超分外掛，穿插在影片流的解碼和顯示流程之間，將低解析度影片實時轉換成高解析度影片，改善影片清晰度，增加影片細節表現力，提升使用者觀看體驗。

![](https://oscimg.oschina.net/oscnet/up-2bb1268aa1bab322150e37fc197529b356b.png)

### **開發準備**

**1\. 新建Android Studio工程，修改工程級build.gradle檔案如下**  
在“allprojects > repositories”裡面增加Maven倉地址。

```java
allprojects {
    repositories {
       google()
        jcenter()
        maven {url 'https://developer.huawei.com/repo/'}
    }
}
```

**2\. 修改專案級build.gradle檔案如下**  
targetSdkVersion設為28；並在dependencies中新增編譯依賴。

```java
dependencies {
    implementation 'com.huawei.hms:avpipelinesdk:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-aidl:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-fallback-base:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-fallback-cvfoundry:6.0.0.302'
}
```

**3\. 配置manifest**  
修改AndroidManifest.xml檔案，新增讀取外部儲存的許可權。

```java
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"></uses-permission>
```

**4\. 同步工程**

點選工具欄中的gradle同步圖示，完成“build.gradle”檔案的同步，將相關依賴下載到本地。

### **開發步驟**

詳細示例程式碼請參見[GitHub](https://github.com/HMS-Core/hms-av-pipeline-demo)

**1\. 動態申請儲存許可權**

```java
String[] permissionLists = {
        Manifest.permission.READ_EXTERNAL_STORAGE 
};
int requestPermissionCode = 1;
for (String permission : permissionLists) {
    if (ContextCompat.checkSelfPermission(this, permission) != PackageManager.PERMISSION_GRANTED) {
        ActivityCompat.requestPermissions(this, permissionLists, requestPermissionCode);
    }
}
```

**2\. 初始化AV Pipeline框架**

```java
Context context = getApplicationContext();
boolean ret = AVPLoader.initFwk(context);
if(!ret) return;
```

**3\. 建立MediaPlayer例項**

播放過程的控制由該例項來完成。

```java
MediaPlayer mPlayer = MediaPlayer.create(MediaPlayer.PLAYER_TYPE_AV);
if (mPlayer == null) return;
```

**4\. 設定graph配置檔案**  
AV Pipeline框架依賴於該配置檔案來編排各個外掛。此外還需要將MEDIA\_ENABLE\_CV的值設定為1，使能影片超分外掛。

```java
MediaMeta meta = new MediaMeta();
meta.setString(MediaMeta.MEDIA_GRAPH_PATH, getExternalFilesDir(null).getPath() + "/PlayerGraphCV.xml");
meta.setInt32(MediaMeta.MEDIA_ENABLE_CV, 1);
mPlayer.setParameter(meta);
```

**5\. 設定以下引數後呼叫prepare介面，啟動MediaPlayer準備工作。**  
若需要監聽某些事件，透過setOnPreparedListener、setOnErrorListener等介面設定回撥函式。（可選）

```java
// 設定影片渲染的surface
SurfaceView mSurfaceVideo = findViewById(R.id.surfaceViewup);
SurfaceHolder mVideoHolder = mSurfaceVideo.getHolder();
mVideoHolder.addCallback(new SurfaceHolder.Callback() {
    // 使用者自定義回撥函式內容，可參考codelab_影片播放
});
mPlayer.setVideoDisplay(mVideoHolder.getSurface());
// 設定待播放媒體檔案的路徑
mPlayer.setDataSource(mFilePath);
// 若需要監聽某些事件，則還需要透過setXXXListener介面設定回撥函式
// 例如需要監聽prepare完成的事件，需進行如下設定
mPlayer.setOnPreparedListener(new MediaPlayer.OnPreparedListener() {
    @Override    
    public void onPrepared(MediaPlayer mp, int param1, int param2, MediaParcel parcel) {
        // 使用者自定義回撥函式內容
    }
});
mPlayer.prepare();
```

**6\. 呼叫start開始播放**

```java
mPlayer.start();
```

**7\. 呼叫stop停止播放**

```java
mPlayer.stop();
```

**8\. 銷燬播放器**

```java
mPlayer.reset();
mPlayer.release();
```

**9\. 其他注意事項**  
影片超分外掛的約束詳見[文件](https://developer.huawei.com/consumer/cn/doc/development/Media-Guides/video-super-resolution-pipeline-0000001110501562?ha_source=hms1)

[訪問華為多媒體管線服務官網，瞭解更多相關內容](https://developer.huawei.com/consumer/cn/hms/huawei-av-pipeline?ha_source=hms1)  
[獲取華為多媒體管線服務開發指導文件](https://developer.huawei.com/consumer/cn/doc/development/Media-Guides/introduction-0000001156025439?ha_source=hms1)  
**華為多媒體管線服務開源倉庫地址**：[GitHub](https://github.com/HMS-Core/hms-av-pipeline-demo)、[Gitee](https://gitee.com/hms-core/hms-av-pipeline-demo)  
[華為HMS Core官方論壇](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fdeveloper.huawei.com%2Fconsumer%2Fcn%2Fforum%2Fblock%2Fhms-core%3Fha_source%3Dhms1)  
**解決整合問題請到**[Stack Overflow](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fstackoverflow.com%2Fquestions%2Ftagged%2Fhuawei-mobile-services%3Ftab%3DNewest)

**點選右上角頭像右方的關注，第一時間瞭解HMS Core最新技術~**

媒體應用影片超分AI神器！360P影片一鍵轉換HD

相關文章