剛學習了OpenGL的紋理相關知識，終於可以接著寫Android音視訊系列了。
本篇部落格會介紹使用OpenGL ES 3.0相關知識預覽Camera，並且提供Camera和Camera2兩個版本實現。
整體流程
- 在 GLSurfaceView.Render 中建立一個紋理，再使用該紋理建立一個 SurfaceTexture。
- 將該SurfaceTexture 作為相機預覽輸出
- 使用Camera時直接將該SurfaceTexture傳給相機。
- 使用Camera2時使用該SurfaceTexture建立一個 Surface 傳給相機。
- 使用 GLSurfaceView.Render 將該紋理渲染到 GLSurfaceView 視窗上。
- 使用 GLSurfaceTexture 的 setOnFrameAvailableListener 方法給 SurfaceTexture 新增一個資料幀資料可用的監聽器，在監聽器中呼叫 GLSurfaceView 的 requestRender 方法渲染該幀資料，這樣相機每次輸出一幀資料就可以渲染一次，就可以在GLSurfaceView視窗中看到相機的預覽資料了。
著色器
頂點著色器
#version 300 es
layout (location = 0) in vec4 vPosition;
layout (location = 1) in vec4 aTextureCoord;
//紋理矩陣
uniform mat4 uTextureMatrix;
out vec2 yuvTexCoords;
void main() {
gl_Position = vPosition;
gl_PointSize = 10.0;
//只保留x和y分量
yuvTexCoords = (uTextureMatrix * aTextureCoord).xy;
}
複製程式碼片段著色器
#version 300 es
//OpenGL ES3.0外部紋理擴充套件
#extension GL_OES_EGL_image_external_essl3 : require
precision mediump float;
uniform samplerExternalOES yuvTexSampler;
in vec2 yuvTexCoords;
out vec4 vFragColor;
void main() {
vFragColor = texture(yuvTexSampler, yuvTexCoords);
}
複製程式碼紋理的型別需要使用 samplerExternalOES ，而不是之前渲染圖片的 sampler2D。
我們知道Android相機輸出的原始資料一般都為YUV資料，而在OpenGL中使用的絕大部分紋理ID都是RGBA的格式，所以原始資料都是無法直接用OpenGL ES來渲染的。所以我們新增了一個擴充套件#extension GL_OES_EGL_image_external_essl3 : require，其中定義了一個紋理的擴充套件型別GL_TEXTURE_EXTERNAL_OES。後面繫結紋理時需要繫結到GL_TEXTURE_EXTERNAL_OES上，而不是型別GL_TEXTURE_2D上。
/**
* 載入外部紋理
* @return
*/
public int loadTexture() {
int[] tex = new int[1];
//建立一個紋理
GLES30.glGenTextures(1, tex, 0);
//繫結到外部紋理上
GLES30.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, tex[0]);
//設定紋理過濾引數
GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST);
GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR);
GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE);
GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE);
//解除紋理繫結
GLES30.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
return tex[0];
}
複製程式碼Camera
初始化
public CameraSurfaceRenderer(GLSurfaceView glSurfaceView) {
//前置攝像頭
this.mCameraId = Camera.CameraInfo.CAMERA_FACING_FRONT;
//傳入的SurfaceView
this.mGLSurfaceView = glSurfaceView;
// 開啟Camera
mCamera = Camera.open(mCameraId);
// 設定預覽角度
setCameraDisplayOrientation(mCameraId, mCamera);
......
}
複製程式碼onSurfaceCreated
//設定背景顏色
GLES30.glClearColor(0.5f, 0.5f, 0.5f, 0.5f);
//編譯
final int vertexShaderId = RenderUtil.compileShader(GLES30.GL_VERTEX_SHADER,ResReadUtils.readResource(R.raw.vertex_camera_shader));
final int fragmentShaderId = RenderUtil.compileShader(GLES30.GL_FRAGMENT_SHADER,ResReadUtils.readResource(R.raw.fragment_camera_shader));
//連結程式片段
mProgram = RenderUtil.linkProgram(vertexShaderId, fragmentShaderId);
uTextureMatrixLocation = GLES30.glGetUniformLocation(mProgram, "uTextureMatrix");
//獲取Shader中定義的變數在program中的位置
uTextureSamplerLocation = GLES30.glGetUniformLocation(mProgram, "yuvTexSampler");
//載入紋理
textureId = loadTexture();
//載入SurfaceTexture
loadSurfaceTexture(textureId);
複製程式碼其實前面部分和載入圖片沒有什麼區別，最後兩行，對應上面流程中的1、2步。建立紋理，繫結外部紋理，然後根據紋理ID建立SurfaceTexture作為相機預覽輸出。
public boolean loadSurfaceTexture(int textureId) {
//根據紋理ID建立SurfaceTexture
mSurfaceTexture = new SurfaceTexture(textureId);
mSurfaceTexture.setOnFrameAvailableListener(new SurfaceTexture.OnFrameAvailableListener() {
@Override
public void onFrameAvailable(SurfaceTexture surfaceTexture) {
// 渲染幀資料
mGLSurfaceView.requestRender();
}
});
//SurfaceTexture作為相機預覽輸出
try {
mCamera.setPreviewTexture(mSurfaceTexture);
} catch (IOException e) {
e.printStackTrace();
return false;
}
//開啟相機預覽
mCamera.startPreview();
return true;
}
複製程式碼繪製
@Override
public void onDrawFrame(GL10 gl) {
GLES30.glClear(GLES30.GL_COLOR_BUFFER_BIT);
//使用程式片段
GLES30.glUseProgram(mProgram);
//更新紋理影像
mSurfaceTexture.updateTexImage();
mSurfaceTexture.getTransformMatrix(transformMatrix);
//啟用紋理單元0
GLES30.glActiveTexture(GLES30.GL_TEXTURE0);
//繫結外部紋理到紋理單元0
GLES30.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textureId);
//將此紋理單元床位片段著色器的uTextureSampler外部紋理取樣器
GLES30.glUniform1i(uTextureSamplerLocation, 0);
//將紋理矩陣傳給片段著色器
GLES30.glUniformMatrix4fv(uTextureMatrixLocation, 1, false, transformMatrix, 0);
GLES30.glEnableVertexAttribArray(0);
GLES30.glVertexAttribPointer(0, 3, GLES30.GL_FLOAT, false, 0, vertexBuffer);
GLES30.glEnableVertexAttribArray(1);
GLES30.glVertexAttribPointer(1, 2, GLES30.GL_FLOAT, false, 0, mTexVertexBuffer);
// 繪製
GLES20.glDrawElements(GLES20.GL_TRIANGLES, VERTEX_INDEX.length, GLES20.GL_UNSIGNED_SHORT, mVertexIndexBuffer);
}
複製程式碼Activity顯示
private void setupViews() {
//例項化一個GLSurfaceView
mGLSurfaceView = new GLSurfaceView(this);
mGLSurfaceView.setEGLContextClientVersion(3);
mGLSurfaceView.setRenderer(new CameraSurfaceRenderer(mGLSurfaceView));
setContentView(mGLSurfaceView);
}
複製程式碼Camera2
使用Camera2在OpenGL方面其實是一樣的，並沒有什麼改動。所以只需要看一下Camera2的呼叫就好。
@Override
public void onSurfaceCreated(GL10 gl, EGLConfig config) {
Log.e("Renderer", "onSurfaceCreated");
//載入紋理
textureId = loadTexture();
//建立SurfaceTexture，放到前面是為了防止Camera開啟後獲取SurfaceTexture為空
mSurfaceTexture = new SurfaceTexture(textureId);
//設定背景顏色
GLES30.glClearColor(0.5f, 0.5f, 0.5f, 0.5f);
//編譯
final int vertexShaderId = RenderUtil.compileShader(GLES30.GL_VERTEX_SHADER, ResReadUtils.readResource(R.raw.vertex_camera_shader));
final int fragmentShaderId = RenderUtil.compileShader(GLES30.GL_FRAGMENT_SHADER, ResReadUtils.readResource(R.raw.fragment_camera_shader));
//連結程式片段
mProgram = RenderUtil.linkProgram(vertexShaderId, fragmentShaderId);
uTextureMatrixLocation = GLES30.glGetUniformLocation(mProgram, "uTextureMatrix");
//獲取Shader中定義的變數在program中的位置
uTextureSamplerLocation = GLES30.glGetUniformLocation(mProgram, "yuvTexSampler");
}
複製程式碼// 提供方法獲取SurfaceTexture
public SurfaceTexture getSurfaceTexture() {
return mSurfaceTexture;
}
複製程式碼初始化
private void initCamera() {
cameraManager = (CameraManager) MyApplication.getApplication().getSystemService(Context.CAMERA_SERVICE);
//獲取指定相機的輸出尺寸列表
outputSizes = getCameraOutputSizes(cameraId, SurfaceTexture.class);
photoSize = outputSizes.get(1);
}
複製程式碼開啟攝像頭
@SuppressLint("MissingPermission")
private void openCamera() {
try {
cameraManager.openCamera(String.valueOf(cameraId), cameraStateCallback, null);
} catch (CameraAccessException e) {
e.printStackTrace();
Log.e(TAG, "openCamera fail");
}
}
複製程式碼CameraDevice.StateCallback cameraStateCallback = new CameraDevice.StateCallback() {
@Override
public void onOpened(CameraDevice camera) {
//從Renderer中獲取SurfaceTexture
surfaceTexture = camera2SurfaceRenderer.getSurfaceTexture();
if (surfaceTexture == null) {
return;
}
surfaceTexture.setDefaultBufferSize(photoSize.getWidth(), photoSize.getHeight());
surfaceTexture.setOnFrameAvailableListener(new SurfaceTexture.OnFrameAvailableListener() {
@Override
public void onFrameAvailable(final SurfaceTexture surfaceTexture) {
mGLSurfaceView.requestRender();
}
});
// 根據SurfaceTexture建立Surface，作為預覽資料的Target
surface = new Surface(surfaceTexture);
try {
cameraDevice = camera;
previewRequestBuilder = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
previewRequestBuilder.addTarget(surface);
previewRequest = previewRequestBuilder.build();
cameraDevice.createCaptureSession(Arrays.asList(surface), sessionsStateCallback, null);
} catch (CameraAccessException e) {
e.printStackTrace();
}
}
@Override
public void onDisconnected(CameraDevice camera) {
}
@Override
public void onError(CameraDevice camera, int error) {
Log.e(TAG, "Open onError");
}
};
複製程式碼