文章:
效果:預覽並渲染資料
目錄:
1. 前序
本篇文章較長,目的是可以在手機中預覽資料。希望讀者能夠認真讀下去。不管你是剛接觸ARCore以及OpenGL的 程式設計師。還是馬上要畢業,把該專案拿來用作畢設的學生。我相信只要你能堅持下去,一定會對你有所幫助。 該文章程式碼較多。部分解釋都集中在程式碼的註解中。在最後還有專案的GitHub地址。希望大家耐著性子看下去。我會盡量寫的詳細,希望能幫到大家。當然也算是自己對知識的一種積累。
2. 整合ARCore
1. 向 manifest 新增 AR 選項。並宣告Camera許可權
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
package="com.jtl.arcoredemo">
//宣告Camera許可權
<uses-permission android:name="android.permission.CAMERA" />
<uses-feature android:name="android.hardware.camera" />
<application
android:allowBackup="true"
android:icon="@mipmap/ic_launcher"
android:label="@string/app_name"
android:roundIcon="@mipmap/ic_launcher_round"
android:supportsRtl="true"
android:theme="@style/AppTheme">
<activity android:name=".MainActivity">
<intent-filter>
<action android:name="android.intent.action.MAIN"/>
<category android:name="android.intent.category.LAUNCHER"/>
</intent-filter>
</activity>
//新增AR選項,在啟動應用時會判斷是否安裝了ARCore
<meta-data android:name="com.google.ar.core" android:value="required" />
</application>
</manifest>
複製程式碼
2. 新增依賴庫
android {
...
//要求JDK 1.8
compileOptions {
sourceCompatibility 1.8
targetCompatibility 1.8
}
}
//在APP Gradle中新增ARCore的依賴庫(截至2019.5.4,最新版本為1.8.0)
dependencies {
implementation fileTree(dir: 'libs', include: ['*.jar'])
implementation 'com.android.support:appcompat-v7:28.0.0'
implementation 'com.android.support.constraint:constraint-layout:1.1.3'
testImplementation 'junit:junit:4.12'
androidTestImplementation 'com.android.support.test:runner:1.0.2'
androidTestImplementation 'com.android.support.test.espresso:espresso-core:3.0.2'
implementation "com.google.ar.sceneform:core:1.8.0"
}
複製程式碼
3. 請求攝像機許可權
這裡引入一個PermissionHelper類。
/**
* 許可權幫助類
*/
public final class PermissionHelper {
private static final int CAMERA_PERMISSION_CODE = 0;
private static final String CAMERA_PERMISSION = Manifest.permission.CAMERA;
/**
* 是否有相機許可權
* @param activity
* @return
*/
public static boolean hasCameraPermission(Activity activity) {
return ContextCompat.checkSelfPermission(activity, CAMERA_PERMISSION)
== PackageManager.PERMISSION_GRANTED;
}
/**
* 請求相機許可權
* @param activity
*/
public static void requestCameraPermission(Activity activity) {
ActivityCompat.requestPermissions(
activity, new String[]{CAMERA_PERMISSION}, CAMERA_PERMISSION_CODE);
}
/**
* 展示申請許可權的相應解釋
* @param activity
* @return
*/
public static boolean shouldShowRequestPermissionRationale(Activity activity) {
return ActivityCompat.shouldShowRequestPermissionRationale(activity, CAMERA_PERMISSION);
}
/**
* 開啟設定介面
*
* @param activity
*/
public static void launchPermissionSettings(Activity activity) {
Intent intent = new Intent();
intent.setAction(Settings.ACTION_APPLICATION_DETAILS_SETTINGS);
intent.setData(Uri.fromParts("package", activity.getPackageName(), null));
activity.startActivity(intent);
}
}
複製程式碼
在Activity中做相應的許可權申請操作
@Override
protected void onResume() {
super.onResume();
// ARCore 申請相機許可權操作
if (!PermissionHelper.hasCameraPermission(this)) {
PermissionHelper.requestCameraPermission(this);
return;
}
}
@Override
public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
if (!PermissionHelper.hasCameraPermission(this)) {
Toast.makeText(this, "該應用需要相機許可權", Toast.LENGTH_LONG)
.show();
//彈出相應解釋
if (!PermissionHelper.shouldShowRequestPermissionRationale(this)) {
// 直接跳至設定 修改許可權
PermissionHelper.launchPermissionSettings(this);
}
finish();
}
}
複製程式碼
3. 初識Session
1. 什麼是Session:
Session也稱為會話,是ARCore最核心的一個類。他可以獲取相機資料。並算出相應的錨點信息以及視矩陣,投影矩陣等。這裡的部分內容會在後面進行具體敘述。
2. 初始化Session
首先判斷裝置是否支援ARCore
@Override
protected void onResume() {
super.onResume();
// ARCore 申請相機許可權操作
...
Exception exception =null;
String msg =null;
//初始化Session
if (mSession==null){
try {
//判斷是否安裝ARCore
switch (ArCoreApk.getInstance().requestInstall(this,!isInstallRequested)){
case INSTALL_REQUESTED:
isInstallRequested=true;
break;
case INSTALLED:
Log.i(TAG,"已安裝ARCore");
break;
}
mSession=new Session(this);
} catch (UnavailableArcoreNotInstalledException
| UnavailableUserDeclinedInstallationException e) {
msg = "Please install ARCore";
exception = e;
} catch (UnavailableApkTooOldException e) {
msg = "Please update ARCore";
exception = e;
} catch (UnavailableSdkTooOldException e) {
msg = "Please update this app";
exception = e;
} catch (UnavailableDeviceNotCompatibleException e) {
msg = "This device does not support AR";
exception = e;
} catch (Exception e) {
msg = "Failed to create AR session";
exception = e;
}
//有異常說明不支援或者沒安裝ARCore
if (msg != null) {
Log.e(TAG, "Exception creating session", exception);
return;
}
}
//該裝置支援並且已安裝ARCore
try {
//Session 恢復resume狀態
mSession.resume();
} catch (CameraNotAvailableException e) {
Log.e(TAG, "Camera not available. Please restart the app.");
mSession = null;
return;
}
}
複製程式碼
3. 開始或恢復Session(會話)
@Override
protected void onResume() {
super.onResume();
// ARCore 申請相機許可權操作
...
Exception exception =null;
String msg =null;
//初始化Session
if (mSession==null){
//判斷是否支援ARCore
...
}
//該裝置支援並且已安裝ARCore
try {
//Session 恢復resume狀態
mSession.resume();
} catch (CameraNotAvailableException e) {
Log.e(TAG, "Camera not available. Please restart the app.");
mSession = null;
return;
}
}
複製程式碼
4. 暫停關閉Session(會話)
@Override
protected void onPause() {
super.onPause();
if (mSession!=null){
mSession.pause();
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (mSession!=null){
mSession.close();
}
}
複製程式碼
4.OpenGL渲染
1. 簡單介紹:
首先這裡只是簡單介紹一下OpenGL,具體的會在後面進行具體敘述。 OpenGL是一個渲染協議。很多渲染引擎底層就是用OpenGL實現的。現在的移動手機都是用的OpenGL ES2.0,幾乎涵蓋了所有的蘋果和Android手機。Android上有個叫做GLSurfaceView的控制元件。就是Google已經封裝好的一個渲染控制元件。它的底層API都是Google 封裝好的native方法,也就是俗稱的JNI方法。他需要實現一個Render介面。這個介面有三個回撥方法。每一個GLSurfaceView都會有一個相對應的GL執行緒,專門用來繪製。每個GL執行緒都有相應的resume和pause方法。用來resume繪製和pause繪製。
2. GLSurfaceView
xml佈局
<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout
xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
tools:context=".MainActivity">
<android.opengl.GLSurfaceView
android:id="@+id/gl_main_show"
android:layout_width="0dp"
android:layout_height="0dp"
app:layout_constraintTop_toTopOf="parent"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintEnd_toEndOf="parent"/>
</android.support.constraint.ConstraintLayout>
複製程式碼
初始化
public class MainActivity extends AppCompatActivity implements GLSurfaceView.Renderer {
//用來使Session能夠根據手機橫豎屏,輸出相應解析度的資料
private DisplayRotationHelper mDisplayRotationHelper;
private GLSurfaceView mShowGLSurface;
//初始化相應資料
private void initData(){
mShowGLSurface=findViewById(R.id.gl_main_show);
mDisplayRotationHelper=new DisplayRotationHelper(this);
// Set up renderer.
mShowGLSurface.setPreserveEGLContextOnPause(true);
mShowGLSurface.setEGLContextClientVersion(2);//OpenGL版本為2.0
mShowGLSurface.setEGLConfigChooser(8, 8, 8, 8, 16, 0); // Alpha used for plane blending.
mShowGLSurface.setRenderer(this);//實現Render介面
mShowGLSurface.setRenderMode(GLSurfaceView.RENDERMODE_CONTINUOUSLY);//RENDERMODE_CONTINUOUSLY渲染模式為實時渲染。
}
}
複製程式碼
實現 Render介面的三個回撥方法
/**
* GLSurfaceView建立時被回撥,可以做一些初始化操作
* @param gl
* @param config
*/
@Override
public void onSurfaceCreated(GL10 gl, EGLConfig config) {
//設定每一幀清屏顏色 傳入參輸為RGBA
GLES20.glClearColor(0.1f,0.1f,0.1f,1.0f);
}
/**
* GLSurfaceView 大小改變時呼叫
* @param gl
* @param width GLSurfaceView寬
* @param height GLSurfaceView高
*/
@Override
public void onSurfaceChanged(GL10 gl, int width, int height) {
//改變視口 方便 OpenGLES做 視口變換
GLES20.glViewport(0,0,width,height);
}
/**
* GLSurfaceView繪製每一幀呼叫,此處不在主執行緒中,而是在GL執行緒中。
* 部分跨執行緒資料,需要做執行緒同步。不能直接更新UI(不在主執行緒)
* @param gl
*/
@Override
public void onDrawFrame(GL10 gl) {
//清空彩色緩衝和深度緩衝 清空後的顏色為GLES20.glClearColor()時設定的顏色
GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT|GLES20.GL_DEPTH_BUFFER_BIT);
}
複製程式碼
GLSurfaceView的 resume和pause
@Override
protected void onResume() {
super.onResume();
//ARCore的相應初始化操作
...
//GLSurfaceView onResume
mShowGLSurface.onResume();
mDisplayRotationHelper.onResume();
}
@Override
protected void onPause() {
super.onPause();
if (mSession!=null){
//由於GLSurfaceView需要Session的資料。所以如果Session先pause會導致無法獲取Session中的資料
mShowGLSurface.onPause();//GLSurfaceView onPause
mDisplayRotationHelper.onPause();
mSession.pause();
}
}
複製程式碼
3. 渲染資料
這裡引入了一個BackgroundRenderer。它才是抽離出來的真正的用來渲染的類。具體寫法以及用途將在下一章介紹。
private BackgroundRenderer mBackgroundRenderer;
/**
* GLSurfaceView建立時被回撥,可以做一些初始化操作
* @param gl
* @param config
*/
@Override
public void onSurfaceCreated(GL10 gl, EGLConfig config) {
//設定每一幀清屏顏色 傳入參輸為RGBA
GLES20.glClearColor(0.1f,0.1f,0.1f,1.0f);
mBackgroundRenderer=new BackgroundRenderer();
mBackgroundRenderer.createOnGlThread(this);
}
/**
* GLSurfaceView 大小改變時呼叫
* @param gl
* @param width GLSurfaceView寬
* @param height GLSurfaceView高
*/
@Override
public void onSurfaceChanged(GL10 gl, int width, int height) {
//方便 OpenGLES做 視口變換
GLES20.glViewport(0,0,width,height);
mDisplayRotationHelper.onSurfaceChanged(width,height);
}
/**
* GLSurfaceView繪製每一幀呼叫,此處不在主執行緒中,而是在GL執行緒中。
* 部分跨執行緒資料,需要做執行緒同步。不能直接更新UI(不在主執行緒)
* @param gl
*/
@Override
public void onDrawFrame(GL10 gl) {
//清空彩色緩衝和深度緩衝 清空後的顏色為GLES20.glClearColor()時設定的顏色
GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT|GLES20.GL_DEPTH_BUFFER_BIT);
if (mSession==null){
return;
}
//設定紋理ID
mSession.setCameraTextureName(mBackgroundRenderer.getTextureId());
//根據裝置渲染Rotation,width,height。session.setDisplayGeometry(displayRotation, viewportWidth, viewportHeight);
mDisplayRotationHelper.updateSessionIfNeeded(mSession);
try {
Frame frame=mSession.update();//獲取Frame資料
mBackgroundRenderer.draw(frame);//渲染frame資料
} catch (CameraNotAvailableException e) {
e.printStackTrace();
}
}
複製程式碼
5. GitHub地址
6. 後續:
這裡的ARCore呼叫邏輯,來源Google官方的ARCore示例。 渲染部分的程式碼,有的沒說清的,後續都會補上。OpenGL的知識會很難。估計我要寫一陣了。如果有大神看到這篇文章中的錯誤,煩請及時指出。希望大家能共同進步,各位感興趣的加油吧!