手把手帶你寫AR應用--AR尺子預覽

OpenGL發表於2019-05-04

文章:

  1. AR尺子--簡介
  2. AR尺子--預覽

效果:預覽並渲染資料

預覽並渲染資料.gif

目錄:

手把手帶你寫AR應用--AR尺子預覽

1. 前序

本篇文章較長,目的是可以在手機中預覽資料。希望讀者能夠認真讀下去。不管你是剛接觸ARCore以及OpenGL的 程式設計師。還是馬上要畢業,把該專案拿來用作畢設的學生。我相信只要你能堅持下去,一定會對你有所幫助。 該文章程式碼較多。部分解釋都集中在程式碼的註解中。在最後還有專案的GitHub地址。希望大家耐著性子看下去。我會盡量寫的詳細,希望能幫到大家。當然也算是自己對知識的一種積累。

2. 整合ARCore

1. 向 manifest 新增 AR 選項。並宣告Camera許可權
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
          package="com.jtl.arcoredemo">
          
    //宣告Camera許可權
    <uses-permission android:name="android.permission.CAMERA" />
    <uses-feature android:name="android.hardware.camera" />
    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN"/>

                <category android:name="android.intent.category.LAUNCHER"/>
            </intent-filter>
        </activity>
        
        //新增AR選項,在啟動應用時會判斷是否安裝了ARCore
        <meta-data android:name="com.google.ar.core" android:value="required" />
    </application>

</manifest>

複製程式碼
2. 新增依賴庫
android {
    ...
    //要求JDK 1.8
    compileOptions {
        sourceCompatibility 1.8
        targetCompatibility 1.8
    }
}
//在APP Gradle中新增ARCore的依賴庫(截至2019.5.4,最新版本為1.8.0)
dependencies {
    implementation fileTree(dir: 'libs', include: ['*.jar'])
    implementation 'com.android.support:appcompat-v7:28.0.0'
    implementation 'com.android.support.constraint:constraint-layout:1.1.3'
    testImplementation 'junit:junit:4.12'
    androidTestImplementation 'com.android.support.test:runner:1.0.2'
    androidTestImplementation 'com.android.support.test.espresso:espresso-core:3.0.2'

    implementation "com.google.ar.sceneform:core:1.8.0"
}
複製程式碼
3. 請求攝像機許可權

這裡引入一個PermissionHelper類

/**
 * 許可權幫助類
 */
public final class PermissionHelper {
    private static final int CAMERA_PERMISSION_CODE = 0;
    private static final String CAMERA_PERMISSION = Manifest.permission.CAMERA;

    /**
     * 是否有相機許可權
     * @param activity
     * @return
     */
    public static boolean hasCameraPermission(Activity activity) {
        return ContextCompat.checkSelfPermission(activity, CAMERA_PERMISSION)
                == PackageManager.PERMISSION_GRANTED;
    }

    /**
     * 請求相機許可權
     * @param activity
     */
    public static void requestCameraPermission(Activity activity) {
        ActivityCompat.requestPermissions(
                activity, new String[]{CAMERA_PERMISSION}, CAMERA_PERMISSION_CODE);
    }
    
    /**
     * 展示申請許可權的相應解釋
     * @param activity
     * @return
     */
    public static boolean shouldShowRequestPermissionRationale(Activity activity) {
        return ActivityCompat.shouldShowRequestPermissionRationale(activity, CAMERA_PERMISSION);
    }

    /**
     * 開啟設定介面
     *
     * @param activity
     */
    public static void launchPermissionSettings(Activity activity) {
        Intent intent = new Intent();
        intent.setAction(Settings.ACTION_APPLICATION_DETAILS_SETTINGS);
        intent.setData(Uri.fromParts("package", activity.getPackageName(), null));
        activity.startActivity(intent);
    }
    
    
}
複製程式碼

在Activity中做相應的許可權申請操作

    @Override
    protected void onResume() {
        super.onResume();
        // ARCore 申請相機許可權操作
        if (!PermissionHelper.hasCameraPermission(this)) {
            PermissionHelper.requestCameraPermission(this);
            return;
        }
    }
    
    @Override
    public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
        if (!PermissionHelper.hasCameraPermission(this)) {
            Toast.makeText(this, "該應用需要相機許可權", Toast.LENGTH_LONG)
                    .show();
            //彈出相應解釋
            if (!PermissionHelper.shouldShowRequestPermissionRationale(this)) {
                // 直接跳至設定 修改許可權
                PermissionHelper.launchPermissionSettings(this);
            }
            finish();
        }
    }
複製程式碼

3. 初識Session

1. 什麼是Session:

Session也稱為會話,是ARCore最核心的一個類。他可以獲取相機資料。並算出相應的錨點信息以及視矩陣投影矩陣等。這裡的部分內容會在後面進行具體敘述。

2. 初始化Session

首先判斷裝置是否支援ARCore

@Override
    protected void onResume() {
        super.onResume();
        // ARCore 申請相機許可權操作
        ...
        
        Exception exception =null;
        String msg =null;
        //初始化Session
        if (mSession==null){
            try {
                //判斷是否安裝ARCore
                switch (ArCoreApk.getInstance().requestInstall(this,!isInstallRequested)){
                    case INSTALL_REQUESTED:
                        isInstallRequested=true;
                        break;
                    case INSTALLED:
                        Log.i(TAG,"已安裝ARCore");
                        break;
                }
                mSession=new Session(this);
            } catch (UnavailableArcoreNotInstalledException
                    | UnavailableUserDeclinedInstallationException e) {
                msg = "Please install ARCore";
                exception = e;
            } catch (UnavailableApkTooOldException e) {
                msg = "Please update ARCore";
                exception = e;
            } catch (UnavailableSdkTooOldException e) {
                msg = "Please update this app";
                exception = e;
            } catch (UnavailableDeviceNotCompatibleException e) {
                msg = "This device does not support AR";
                exception = e;
            } catch (Exception e) {
                msg = "Failed to create AR session";
                exception = e;
            }
            //有異常說明不支援或者沒安裝ARCore
            if (msg != null) {
                Log.e(TAG, "Exception creating session", exception);
                return;
            }
        }
        //該裝置支援並且已安裝ARCore
        try {
            //Session 恢復resume狀態
            mSession.resume();
        } catch (CameraNotAvailableException e) {
            Log.e(TAG, "Camera not available. Please restart the app.");
            mSession = null;
            
            return;
        }
    }
複製程式碼
3. 開始或恢復Session(會話)
@Override
    protected void onResume() {
        super.onResume();
        // ARCore 申請相機許可權操作
        ...

        Exception exception =null;
        String msg =null;
        //初始化Session
        if (mSession==null){
            //判斷是否支援ARCore
            ...
        }
        
        //該裝置支援並且已安裝ARCore
        try {
            //Session 恢復resume狀態
            mSession.resume();
        } catch (CameraNotAvailableException e) {
            Log.e(TAG, "Camera not available. Please restart the app.");
            mSession = null;
            
            return;
        }
    }
複製程式碼
4. 暫停關閉Session(會話)
    @Override
    protected void onPause() {
        super.onPause();
        if (mSession!=null){
            mSession.pause();
        }
    }

    @Override
    protected void onDestroy() {
        super.onDestroy();
        if (mSession!=null){
            mSession.close();
        }
    }
複製程式碼

4.OpenGL渲染

1. 簡單介紹:

首先這裡只是簡單介紹一下OpenGL,具體的會在後面進行具體敘述。 OpenGL是一個渲染協議。很多渲染引擎底層就是用OpenGL實現的。現在的移動手機都是用的OpenGL ES2.0,幾乎涵蓋了所有的蘋果和Android手機。Android上有個叫做GLSurfaceView的控制元件。就是Google已經封裝好的一個渲染控制元件。它的底層API都是Google 封裝好的native方法,也就是俗稱的JNI方法。他需要實現一個Render介面。這個介面有三個回撥方法。每一個GLSurfaceView都會有一個相對應的GL執行緒,專門用來繪製。每個GL執行緒都有相應的resume和pause方法。用來resume繪製和pause繪製。

2. GLSurfaceView

xml佈局

<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout
    xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <android.opengl.GLSurfaceView
        android:id="@+id/gl_main_show"
        android:layout_width="0dp"
        android:layout_height="0dp"
        app:layout_constraintTop_toTopOf="parent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintEnd_toEndOf="parent"/>

</android.support.constraint.ConstraintLayout>
複製程式碼

初始化

public class MainActivity extends AppCompatActivity implements GLSurfaceView.Renderer {
    //用來使Session能夠根據手機橫豎屏,輸出相應解析度的資料
    private DisplayRotationHelper mDisplayRotationHelper;
    private GLSurfaceView mShowGLSurface;
    
    //初始化相應資料
    private void initData(){
        mShowGLSurface=findViewById(R.id.gl_main_show);
        mDisplayRotationHelper=new DisplayRotationHelper(this);

        // Set up renderer.
        mShowGLSurface.setPreserveEGLContextOnPause(true);
        mShowGLSurface.setEGLContextClientVersion(2);//OpenGL版本為2.0
        mShowGLSurface.setEGLConfigChooser(8, 8, 8, 8, 16, 0); // Alpha used for plane blending.
        mShowGLSurface.setRenderer(this);//實現Render介面
        mShowGLSurface.setRenderMode(GLSurfaceView.RENDERMODE_CONTINUOUSLY);//RENDERMODE_CONTINUOUSLY渲染模式為實時渲染。
    }
}
複製程式碼

實現 Render介面的三個回撥方法

    /**
     * GLSurfaceView建立時被回撥,可以做一些初始化操作
     * @param gl
     * @param config
     */
     
    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {
        //設定每一幀清屏顏色 傳入參輸為RGBA
        GLES20.glClearColor(0.1f,0.1f,0.1f,1.0f);
    }

    /**
     * GLSurfaceView 大小改變時呼叫
     * @param gl
     * @param width GLSurfaceView寬
     * @param height GLSurfaceView高
     */
     
    @Override
    public void onSurfaceChanged(GL10 gl, int width, int height) {
        //改變視口 方便 OpenGLES做 視口變換
        GLES20.glViewport(0,0,width,height);
    }

    /**
     * GLSurfaceView繪製每一幀呼叫,此處不在主執行緒中,而是在GL執行緒中。
     * 部分跨執行緒資料,需要做執行緒同步。不能直接更新UI(不在主執行緒)
     * @param gl
     */
     
    @Override
    public void onDrawFrame(GL10 gl) {
        //清空彩色緩衝和深度緩衝  清空後的顏色為GLES20.glClearColor()時設定的顏色
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT|GLES20.GL_DEPTH_BUFFER_BIT);
    }
複製程式碼

GLSurfaceView的 resume和pause

@Override
    protected void onResume() {
        super.onResume();
        //ARCore的相應初始化操作
        ...
        
        //GLSurfaceView onResume
        mShowGLSurface.onResume();
        mDisplayRotationHelper.onResume();
    }
    
    @Override
    protected void onPause() {
        super.onPause();
        if (mSession!=null){
            //由於GLSurfaceView需要Session的資料。所以如果Session先pause會導致無法獲取Session中的資料
            mShowGLSurface.onPause();//GLSurfaceView onPause
            mDisplayRotationHelper.onPause();
            mSession.pause();
        }
    }

複製程式碼
3. 渲染資料

這裡引入了一個BackgroundRenderer。它才是抽離出來的真正的用來渲染的類。具體寫法以及用途將在下一章介紹。

  private BackgroundRenderer mBackgroundRenderer;
    /**
     * GLSurfaceView建立時被回撥,可以做一些初始化操作
     * @param gl
     * @param config
     */
    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {
        //設定每一幀清屏顏色 傳入參輸為RGBA
        GLES20.glClearColor(0.1f,0.1f,0.1f,1.0f);

        mBackgroundRenderer=new BackgroundRenderer();
        mBackgroundRenderer.createOnGlThread(this);
    }

    /**
     * GLSurfaceView 大小改變時呼叫
     * @param gl
     * @param width GLSurfaceView寬
     * @param height GLSurfaceView高
     */
    @Override
    public void onSurfaceChanged(GL10 gl, int width, int height) {
        //方便 OpenGLES做 視口變換
        GLES20.glViewport(0,0,width,height);
        mDisplayRotationHelper.onSurfaceChanged(width,height);
    }

    /**
     * GLSurfaceView繪製每一幀呼叫,此處不在主執行緒中,而是在GL執行緒中。
     * 部分跨執行緒資料,需要做執行緒同步。不能直接更新UI(不在主執行緒)
     * @param gl
     */
    @Override
    public void onDrawFrame(GL10 gl) {
        //清空彩色緩衝和深度緩衝  清空後的顏色為GLES20.glClearColor()時設定的顏色
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT|GLES20.GL_DEPTH_BUFFER_BIT);
        if (mSession==null){
            return;
        }
        //設定紋理ID
        mSession.setCameraTextureName(mBackgroundRenderer.getTextureId());
        //根據裝置渲染Rotation,width,height。session.setDisplayGeometry(displayRotation, viewportWidth, viewportHeight);
        mDisplayRotationHelper.updateSessionIfNeeded(mSession);
        try {
            Frame frame=mSession.update();//獲取Frame資料
            mBackgroundRenderer.draw(frame);//渲染frame資料
        } catch (CameraNotAvailableException e) {
            e.printStackTrace();
        }
    }
複製程式碼

5. GitHub地址

  1. ARRuler 本教程版本
  2. ARRuler 已完成版
  3. 簡書地址
  4. 掘金地址

6. 後續:

這裡的ARCore呼叫邏輯,來源Google官方的ARCore示例。 渲染部分的程式碼,有的沒說清的,後續都會補上。OpenGL的知識會很難。估計我要寫一陣了。如果有大神看到這篇文章中的錯誤,煩請及時指出。希望大家能共同進步,各位感興趣的加油吧!

相關文章