html5錄音功能實戰

蘇格團隊發表於2019-03-25

蘇格團隊

作者：Dee

緣起

由於專案需要，我們要在web端實現錄音功能。一開始，找到的方案有兩個，一個是通過iframe，一個是html5的getUserMedia api。由於我們的錄音功能不需要相容IE瀏覽器，所以毫不猶豫的選擇了html5提供的getUserMedia去實現。基本思路是參考了官方的api文件以及網上查詢的一些方案做結合做出了適合專案需要的方案。但由於我們必須保證這個錄音功能能夠同時在pad端、pc端都可以開啟，所以其中也踩了一些坑。以下為過程還原。

步驟1

由於新的api是通過navigator.mediaDevices.getUserMedia，且返回一個promise。

而舊的api是navigator.getUserMedia，於是做了一個相容性。程式碼如下：

// 老的瀏覽器可能根本沒有實現 mediaDevices，所以我們可以先設定一個空的物件
if (navigator.mediaDevices === undefined) {
    navigator.mediaDevices = {};
}

// 一些瀏覽器部分支援 mediaDevices。我們不能直接給物件設定 getUserMedia
// 因為這樣可能會覆蓋已有的屬性。這裡我們只會在沒有getUserMedia屬性的時候新增它。
if (navigator.mediaDevices.getUserMedia === undefined) {
    let getUserMedia =
        navigator.getUserMedia ||
        navigator.webkitGetUserMedia ||
        navigator.mozGetUserMedia ||
        navigator.msGetUserMedia;
    navigator.mediaDevices.getUserMedia = function(constraints) {
        // 首先，如果有getUserMedia的話，就獲得它

        // 一些瀏覽器根本沒實現它 - 那麼就返回一個error到promise的reject來保持一個統一的介面
        if (!getUserMedia) {
            return Promise.reject(new Error('getUserMedia is not implemented in this browser'));
        }

        // 否則，為老的navigator.getUserMedia方法包裹一個Promise
        return new Promise(function(resolve, reject) {
            getUserMedia.call(navigator, constraints, resolve, reject);
        });
    };
複製程式碼

步驟2

這是網上存在的一個方法，封裝了一個HZRecorder。基本上引用了這個方法。呼叫HZRecorder.get就可以調起錄音介面，這個方法傳入一個callback函式，new HZRecorder後執行callback函式且傳入一個實體化後的HZRecorder物件。可以通過該物件的方法實現開始錄音、暫停、停止、播放等功能。

var HZRecorder = function (stream, config) {  
    config = config || {};  
    config.sampleBits = config.sampleBits || 8;      //取樣數位 8, 16  
    config.sampleRate = config.sampleRate || (44100 / 6);   //取樣率(1/6 44100)  

      
    //建立一個音訊環境物件  
    audioContext = window.AudioContext || window.webkitAudioContext;  
    var context = new audioContext();  

    //將聲音輸入這個對像  
    var audioInput = context.createMediaStreamSource(stream);  
      
    //設定音量節點  
    var volume = context.createGain();  
    audioInput.connect(volume);  

    //建立快取，用來快取聲音  
    var bufferSize = 4096;  

    // 建立聲音的快取節點，createScriptProcessor方法的  
    // 第二個和第三個引數指的是輸入和輸出都是雙聲道。  
    var recorder = context.createScriptProcessor(bufferSize, 2, 2);  

    var audioData = {  
        size: 0          //錄音檔案長度  
        , buffer: []     //錄音快取  
        , inputSampleRate: context.sampleRate    //輸入取樣率  
        , inputSampleBits: 16       //輸入取樣數位 8, 16  
        , outputSampleRate: config.sampleRate    //輸出取樣率  
        , oututSampleBits: config.sampleBits       //輸出取樣數位 8, 16  
        , input: function (data) {  
            this.buffer.push(new Float32Array(data));  
            this.size += data.length;  
        }  
        , compress: function () { //合併壓縮  
            //合併  
            var data = new Float32Array(this.size);  
            var offset = 0;  
            for (var i = 0; i < this.buffer.length; i++) {  
                data.set(this.buffer[i], offset);  
                offset += this.buffer[i].length;  
            }  
            //壓縮  
            var compression = parseInt(this.inputSampleRate / this.outputSampleRate);  
            var length = data.length / compression;  
            var result = new Float32Array(length);  
            var index = 0, j = 0;  
            while (index < length) {  
                result[index] = data[j];  
                j += compression;  
                index++;  
            }  
            return result;  
        }  
        , encodeWAV: function () {  
            var sampleRate = Math.min(this.inputSampleRate, this.outputSampleRate);  
            var sampleBits = Math.min(this.inputSampleBits, this.oututSampleBits);  
            var bytes = this.compress();  
            var dataLength = bytes.length * (sampleBits / 8);  
            var buffer = new ArrayBuffer(44 + dataLength);  
            var data = new DataView(buffer);  

            var channelCount = 1;//單聲道  
            var offset = 0;  

            var writeString = function (str) {  
                for (var i = 0; i < str.length; i++) {  
                    data.setUint8(offset + i, str.charCodeAt(i));  
                }  
            };  
              
            // 資源交換檔案識別符號   
            writeString('RIFF'); offset += 4;  
            // 下個地址開始到檔案尾總位元組數,即檔案大小-8   
            data.setUint32(offset, 36 + dataLength, true); offset += 4;  
            // WAV檔案標誌  
            writeString('WAVE'); offset += 4;  
            // 波形格式標誌   
            writeString('fmt '); offset += 4;  
            // 過濾位元組,一般為 0x10 = 16   
            data.setUint32(offset, 16, true); offset += 4;  
            // 格式類別 (PCM形式取樣資料)   
            data.setUint16(offset, 1, true); offset += 2;  
            // 通道數   
            data.setUint16(offset, channelCount, true); offset += 2;  
            // 取樣率,每秒樣本數,表示每個通道的播放速度   
            data.setUint32(offset, sampleRate, true); offset += 4;  
            // 波形資料傳輸率 (每秒平均位元組數) 單聲道×每秒資料位數×每樣本資料位/8   
            data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true); offset += 4;  
            // 快資料調整數 取樣一次佔用位元組數 單聲道×每樣本的資料位數/8   
            data.setUint16(offset, channelCount * (sampleBits / 8), true); offset += 2;  
            // 每樣本資料位數   
            data.setUint16(offset, sampleBits, true); offset += 2;  
            // 資料識別符號   
            writeString('data'); offset += 4;  
            // 取樣資料總數,即資料總大小-44   
            data.setUint32(offset, dataLength, true); offset += 4;  
            // 寫入取樣資料   
            if (sampleBits === 8) {  
                for (var i = 0; i < bytes.length; i++, offset++) {  
                    var s = Math.max(-1, Math.min(1, bytes[i]));  
                    var val = s < 0 ? s * 0x8000 : s * 0x7FFF;  
                    val = parseInt(255 / (65535 / (val + 32768)));  
                    data.setInt8(offset, val, true);  
                }  
            } else {  
                for (var i = 0; i < bytes.length; i++, offset += 2) {  
                    var s = Math.max(-1, Math.min(1, bytes[i]));  
                    data.setInt16(offset, s < 0 ? s * 0x8000 : s * 0x7FFF, true);  
                }  
            }  

            return new Blob([data], { type: 'audio/wav' });  
        }  
    };  

    //開始錄音  
    this.start = function () {  
        audioInput.connect(recorder);  
        recorder.connect(context.destination);  
    };  

    //停止  
    this.stop = function () {  
        recorder.disconnect();  
    };  
    
    // 結束
    this.end = function() {
        context.close();
    };
    
    // 繼續
    this.again = function() {
        recorder.connect(context.destination);
    };

    //獲取音訊檔案  
    this.getBlob = function () {  
        this.stop();  
        return audioData.encodeWAV();  
    };  

    //回放  
    this.play = function (audio) {  
        audio.src = window.URL.createObjectURL(this.getBlob());  
    };  

    //上傳  
    this.upload = function (url, callback) {  
        var fd = new FormData();  
        fd.append('audioData', this.getBlob());  
        var xhr = new XMLHttpRequest();  
        if (callback) {  
            xhr.upload.addEventListener('progress', function (e) {  
                callback('uploading', e);  
            }, false);  
            xhr.addEventListener('load', function (e) {  
                callback('ok', e);  
            }, false);  
            xhr.addEventListener('error', function (e) {  
                callback('error', e);  
            }, false);  
            xhr.addEventListener('abort', function (e) {  
                callback('cancel', e);  
            }, false);  
        }  
        xhr.open('POST', url);  
        xhr.send(fd);  
    };  

    //音訊採集  
    recorder.onaudioprocess = function (e) {  
        audioData.input(e.inputBuffer.getChannelData(0));  
        //record(e.inputBuffer.getChannelData(0));  
    };  

};  

//丟擲異常  
HZRecorder.throwError = function (message) {  
    throw new function () { this.toString = function () { return message; };};  
};  
//是否支援錄音  
HZRecorder.canRecording = (navigator.getUserMedia != null);  
//獲取錄音機  
HZRecorder.get = function (callback, config) {  
   if (callback) {
        navigator.mediaDevices
            .getUserMedia({ audio: true })
            .then(function(stream) {
                let rec = new HZRecorder(stream, config);
                callback(rec);
            })
            .catch(function(error) {
                HZRecorder.throwError('無法錄音，請檢查裝置狀態');
            });
    }
};  
window.HZRecorder = HZRecorder;
複製程式碼

以上，已經可以滿足大部分的需求。但是我們要相容pad端。我們的pad有幾個問題必須解決。

錄音格式必須是mp3才能播放
window.URL.createObjectURL傳入blob資料在pad端報錯，轉不了

以下為解決這兩個問題的方案。

步驟3

以下為我實現 錄音格式為mp3 和 window.URL.createObjectURL傳入blob資料在pad端報錯 的方案。

1、修改HZRecorder裡的audioData物件程式碼。並引入網上一位大神的一個js檔案lamejs.js

const lame = new lamejs();
let audioData = {
    samplesMono: null,
    maxSamples: 1152,
    mp3Encoder: new lame.Mp3Encoder(1, context.sampleRate || 44100, config.bitRate || 128),
    dataBuffer: [],
    size: 0, // 錄音檔案長度
    buffer: [], // 錄音快取
    inputSampleRate: context.sampleRate, // 輸入取樣率
    inputSampleBits: 16, // 輸入取樣數位 8, 16
    outputSampleRate: config.sampleRate, // 輸出取樣率
    oututSampleBits: config.sampleBits, // 輸出取樣數位 8, 16
    convertBuffer: function(arrayBuffer) {
        let data = new Float32Array(arrayBuffer);
        let out = new Int16Array(arrayBuffer.length);
        this.floatTo16BitPCM(data, out);
        return out;
    },
    floatTo16BitPCM: function(input, output) {
        for (let i = 0; i < input.length; i++) {
            let s = Math.max(-1, Math.min(1, input[i]));
            output[i] = s < 0 ? s * 0x8000 : s * 0x7fff;
        }
    },
    appendToBuffer: function(mp3Buf) {
        this.dataBuffer.push(new Int8Array(mp3Buf));
    },
    encode: function(arrayBuffer) {
        this.samplesMono = this.convertBuffer(arrayBuffer);
        let remaining = this.samplesMono.length;
        for (let i = 0; remaining >= 0; i += this.maxSamples) {
            let left = this.samplesMono.subarray(i, i + this.maxSamples);
            let mp3buf = this.mp3Encoder.encodeBuffer(left);
            this.appendToBuffer(mp3buf);
            remaining -= this.maxSamples;
        }
    },
    finish: function() {
        this.appendToBuffer(this.mp3Encoder.flush());
        return new Blob(this.dataBuffer, { type: 'audio/mp3' });
    },
    input: function(data) {
        this.buffer.push(new Float32Array(data));
        this.size += data.length;
    },
    compress: function() {
        // 合併壓縮
        // 合併
        let data = new Float32Array(this.size);
        let offset = 0;
        for (let i = 0; i < this.buffer.length; i++) {
            data.set(this.buffer[i], offset);
            offset += this.buffer[i].length;
        }
        // 壓縮
        let compression = parseInt(this.inputSampleRate / this.outputSampleRate, 10);
        let length = data.length / compression;
        let result = new Float32Array(length);
        let index = 0;
        let j = 0;
        while (index < length) {
            result[index] = data[j];
            j += compression;
            index++;
        }
        return result;
    },
    encodeWAV: function() {
        let sampleRate = Math.min(this.inputSampleRate, this.outputSampleRate);
        let sampleBits = Math.min(this.inputSampleBits, this.oututSampleBits);
        let bytes = this.compress();
        let dataLength = bytes.length * (sampleBits / 8);
        let buffer = new ArrayBuffer(44 + dataLength);
        let data = new DataView(buffer);

        let channelCount = 1; // 單聲道
        let offset = 0;

        let writeString = function(str) {
            for (let i = 0; i < str.length; i++) {
                data.setUint8(offset + i, str.charCodeAt(i));
            }
        };

        // 資源交換檔案識別符號
        writeString('RIFF');
        offset += 4;
        // 下個地址開始到檔案尾總位元組數,即檔案大小-8
        data.setUint32(offset, 36 + dataLength, true);
        offset += 4;
        // WAV檔案標誌
        writeString('WAVE');
        offset += 4;
        // 波形格式標誌
        writeString('fmt ');
        offset += 4;
        // 過濾位元組,一般為 0x10 = 16
        data.setUint32(offset, 16, true);
        offset += 4;
        // 格式類別 (PCM形式取樣資料)
        data.setUint16(offset, 1, true);
        offset += 2;
        // 通道數
        data.setUint16(offset, channelCount, true);
        offset += 2;
        // 取樣率,每秒樣本數,表示每個通道的播放速度
        data.setUint32(offset, sampleRate, true);
        offset += 4;
        // 波形資料傳輸率 (每秒平均位元組數) 單聲道×每秒資料位數×每樣本資料位/8
        data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true);
        offset += 4;
        // 快資料調整數 取樣一次佔用位元組數 單聲道×每樣本的資料位數/8
        data.setUint16(offset, channelCount * (sampleBits / 8), true);
        offset += 2;
        // 每樣本資料位數
        data.setUint16(offset, sampleBits, true);
        offset += 2;
        // 資料識別符號
        writeString('data');
        offset += 4;
        // 取樣資料總數,即資料總大小-44
        data.setUint32(offset, dataLength, true);
        offset += 4;
        // 寫入取樣資料
        if (sampleBits === 8) {
            for (let i = 0; i < bytes.length; i++, offset++) {
                const s = Math.max(-1, Math.min(1, bytes[i]));
                let val = s < 0 ? s * 0x8000 : s * 0x7fff;
                val = parseInt(255 / (65535 / (val + 32768)), 10);
                data.setInt8(offset, val, true);
            }
        } else {
            for (let i = 0; i < bytes.length; i++, offset += 2) {
                const s = Math.max(-1, Math.min(1, bytes[i]));
                data.setInt16(offset, s < 0 ? s * 0x8000 : s * 0x7fff, true);
            }
        }

        return new Blob([data], { type: 'audio/wav' });
    }
};

複製程式碼

2、修改HZRecord的音訊採集的呼叫方法。

// 音訊採集
recorder.onaudioprocess = function(e) {
    audioData.encode(e.inputBuffer.getChannelData(0));
};
複製程式碼

3、HZRecord的getBlob方法。

this.getBlob = function() {
    this.stop();
    return audioData.finish();
};
複製程式碼

4、HZRecord的play方法。把blob轉base64url。

this.play = function(func) {
    readBlobAsDataURL(this.getBlob(), func);
};

function readBlobAsDataURL(data, callback) {
    let fileReader = new FileReader();
    fileReader.onload = function(e) {
        callback(e.target.result);
    };
    fileReader.readAsDataURL(data);
}
複製程式碼

至此，已經解決以上兩個問題。

步驟4

這裡主要介紹怎麼做錄音時的動效。我們的一個動效需求為：

根據傳入的音量大小，做一個圓弧動態擴充套件。

// 建立analyser節點，獲取音訊時間和頻率資料
const analyser = context.createAnalyser();
audioInput.connect(analyser);
const inputAnalyser = new Uint8Array(1);
const wrapEle = $this.refs['wrap'];
let ctx = wrapEle.getContext('2d');
const width = wrapEle.width;
const height = wrapEle.height;
const center = {
    x: width / 2,
    y: height / 2
};

function drawArc(ctx, color, x, y, radius, beginAngle, endAngle) {
    ctx.beginPath();
    ctx.lineWidth = 1;
    ctx.strokeStyle = color;
    ctx.arc(x, y, radius, (Math.PI * beginAngle) / 180, (Math.PI * endAngle) / 180);
    ctx.stroke();
}

(function drawSpectrum() {
    analyser.getByteFrequencyData(inputAnalyser); // 獲取頻域資料
    ctx.clearRect(0, 0, width, height);
    // 畫線條
    for (let i = 0; i < 1; i++) {
        let value = inputAnalyser[i] / 3; // <===獲取資料
        let colors = [];
        if (value <= 16) {
            colors = ['#f5A631', '#f5A631', '#e4e4e4', '#e4e4e4', '#e4e4e4', '#e4e4e4'];
        } else if (value <= 32) {
            colors = ['#f5A631', '#f5A631', '#f5A631', '#f5A631', '#e4e4e4', '#e4e4e4'];
        } else {
            colors = ['#f5A631', '#f5A631', '#f5A631', '#f5A631', '#f5A631', '#f5A631'];
        }
        drawArc(ctx, colors[0], center.x, center.y, 52 + 16, -30, 30);
        drawArc(ctx, colors[1], center.x, center.y, 52 + 16, 150, 210);
        drawArc(ctx, colors[2], center.x, center.y, 52 + 32, -22.5, 22.5);
        drawArc(ctx, colors[3], center.x, center.y, 52 + 32, 157.5, 202.5);
        drawArc(ctx, colors[4], center.x, center.y, 52 + 48, -13, 13);
        drawArc(ctx, colors[5], center.x, center.y, 52 + 48, 167, 193);
    }

    // 請求下一幀
    requestAnimationFrame(drawSpectrum);
})();
複製程式碼

緣盡

至此，一個完整的html5錄音功能方案已經完成。有什麼需要補充，不合理的地方的歡迎留言。

ps：lamejs可參考這個github github.com/akrennmair/…

簡單介紹recorder.js 基於Html5錄音功能的實現
2020-06-10
JSHTML
如何實現前端錄音功能
2018-09-02
前端
vue實現錄音功能（pc端）
2019-06-04
Vue
TouchEvent實現前端錄音打分功能
2018-04-12
前端
js實現網頁端錄音功能
2024-09-20
JS網頁
uniapp 實現打電話錄音功能
2022-12-14
APP
HTML5拍照、攝像機功能實戰
2019-01-24
HTML
使用Html5 多媒體實現微信語音功能
2018-12-08
HTML
前端使用html5、ffmpeg實現錄屏攝像等功能
2018-11-16
前端HTML
Android 錄音功能直接拿去用
2021-09-09
Android
H5實現移動端語音錄製功能
2019-02-19
H5
WebRTC錄音功能 | 掘金技術徵文
2019-04-16
Web
基於網頁呼叫錄音功能
2018-09-29
網頁
html5，css3實戰
2018-08-19
HTMLCSSS3
python實現播放音訊和錄音功能示例程式碼
2019-01-18
Python音訊
使用 HTML5 Canvas 實現簽名功能
2024-11-01
HTMLCanvas
html5音訊
2018-08-05
HTML音訊
win10系統下怎麼使用錄音功能 win10系統下錄音功能的使用方法
2018-09-15
Win10
win10有錄音功能嗎 win10系統錄音裝置在哪找
2020-11-03
Win10
Spring Boot功能實戰
2018-05-01
Spring Boot
2018最新HTML5實戰共33節
2018-11-30
HTML
HTML5 實現的音樂播放器分享
2019-05-11
HTML播放器
HTML5視訊教程，HTML5專案實戰，HTML5中文指南，HTML5使用手冊
2018-06-24
HTML
Flutter實戰 | 從 0 搭建「網易雲音樂」APP（五、播放功能邏輯）
2019-10-24
FlutterAPP
Win10內建錄音機功能如何使用_win10自帶錄音機的使用教程
2020-05-28
Win10
iOS錄音模組實踐[AVAudioRecoder]
2018-04-01
iOS
HTML5 Canvas（實戰：繪製餅圖2 Tooltip）
2018-05-21
HTMLCanvas
Flutter實戰之路由功能篇
2020-02-11
Flutter路由
KubeSphere DevOps 系統功能實戰
2022-03-23
dev
HTML5 Audio(音訊)簡介
2022-12-04
HTML音訊
Audio Unit採集音訊實戰
2019-05-11
音訊
ffmpeg實戰-音視訊合成案例
2021-06-17
Rust 實現日誌記錄功能
2024-04-01
Rust
MySQL 優化實戰記錄
2019-04-01
MySql優化
html5呼叫攝像頭功能
2019-02-16
HTML
Elasticsearch搜尋功能的實現（五）-- 實戰
2023-04-18
Elasticsearch
【SpringBoot實戰】實現WEB的常用功能
2022-04-25
Spring BootWeb
Istio 流量治理功能原理與實戰
2018-11-26

html5錄音功能實戰

緣起

步驟1

步驟2

步驟3

步驟4

緣盡

相關文章