在伺服器端錄製語音視訊

zhuweisky發表於2014-01-10

   在我以前的一篇博文《實現語音視訊錄製(demo原始碼)》中,詳細介紹了在網路視訊聊天系統中的客戶端如何實現語音視訊的錄製,而近段時間了,有幾個朋友問起,如果想在服務端實現錄製功能,該怎麼做了?其中有個朋友的需求是這樣的:他的系統是一個線上培訓系統,需要在服務端將指定老師的講課(包括語音和視訊)錄製下來,並儲存為.mp4檔案,以便隨時可以查閱這些檔案。

  本文我們就做一個demo實現類似的功能,演示如何在服務端錄製某個指定線上使用者的語音視訊,並提供三種錄製模式:錄製語音視訊、僅錄製語音、僅錄製視訊。

一.實現原理

  要實現這個demo,需涉及到以下幾個技術:

(1)在服務端採集指定使用者的語音、視訊資料。

(2)在服務端將影象使用H264編碼,語音資料使用AAC編碼。

(3)將編碼後的資料按MP4格式的要求,儲存為MP4檔案。

  同實現語音視訊錄製(demo原始碼)一樣,我們仍然基於OMCS和MFile來實現上述功能,下面是對應的原理。

(1)在OMCS的結構中,客戶端之間可以相互獲取到對方的攝像頭和麥克風的資料,所以,服務端可以作為一個虛擬的客戶端使用者(比如ID為“_Server”),連線到同一個程式中的OMCS多媒體伺服器。

(2)在服務端動態建立DynamicCameraConnector元件,連線到指定使用者的攝像頭。

(3)在服務端動態建立兩個MicrophoneConnector元件,接到指定使用者的麥克風。

(4)呼叫DynamicCameraConnector的GetCurrentImage方法,即可獲得所連線的攝像頭採集的視訊幀。

(5)預定MicrophoneConnector的AudioDataReceived事件,即可獲得所連線的麥克風採集的音訊資料。

(6)使用MFile將上述結果進行編碼並寫入mp4檔案。

 

二.實現程式碼 

public partial class RecordForm : Form
    {
        private MultimediaServer multimediaServer;
        private OMCS.Passive.Audio.MicrophoneConnector microphoneConnector;
        private OMCS.Passive.Video.DynamicCameraConnector dynamicCameraConnector;
        private IMultimediaManager multimediaManager;
        private BaseMaker maker;
        private System.Threading.Timer videoTimer;
        private RecordMode recordMode = RecordMode.AudioAndVideo;

        public RecordForm(MultimediaServer server)
        {
            InitializeComponent();
            this.comboBox_mode.SelectedIndex = 0;

            this.multimediaServer = server;
            this.label_port.Text = this.multimediaServer.Port.ToString();

            //將服務端虛擬為一個OMCS客戶端,並連線上OMCS伺服器。
            this.multimediaManager = MultimediaManagerFactory.GetSingleton();
            this.multimediaManager.Initialize("_server", "", "127.0.0.1", this.multimediaServer.Port);//服務端以虛擬使用者登入            
        }

        //線上使用者列表
        private void comboBox1_DropDown(object sender, EventArgs e)
        {
            List<string> list = this.multimediaServer.GetOnlineUserList();
            list.Remove("_server"); //將虛擬使用者排除在外
            this.comboBox1.DataSource = list;            
        }

        //開始錄製視訊
        private void button1_Click(object sender, EventArgs e)
        {
            if (this.comboBox1.SelectedItem == null)
            {
                MessageBox.Show("沒有選中目標使用者!");
                return;
            }
            
            string destUserID = this.comboBox1.SelectedItem.ToString();
            this.recordMode = (RecordMode)this.comboBox_mode.SelectedIndex;

            //攝像頭聯結器
            if (this.recordMode != RecordMode.JustAudio)
            {
                this.dynamicCameraConnector = new Passive.Video.DynamicCameraConnector();
                this.dynamicCameraConnector.MaxIdleSpan4BlackScreen = 0;
                this.dynamicCameraConnector.ConnectEnded += new ESBasic.CbGeneric<ConnectResult>(cameraConnector1_ConnectEnded);
                this.dynamicCameraConnector.BeginConnect(destUserID);
            }

            //麥克風聯結器
            if (this.recordMode != RecordMode.JustVideo)
            {
                this.microphoneConnector = new Passive.Audio.MicrophoneConnector();
                this.microphoneConnector.Mute = true; //在伺服器上不播放出正在錄製的聲音 
                this.microphoneConnector.ConnectEnded += new ESBasic.CbGeneric<ConnectResult>(microphoneConnector1_ConnectEnded);
                this.microphoneConnector.AudioDataReceived += new CbGeneric<List<byte[]>>(microphoneConnector_AudioDataReceived);
                this.microphoneConnector.BeginConnect(destUserID);
            }

            this.label1.Text = string.Format("正在連線{0}的裝置......" ,destUserID);
            this.Cursor = Cursors.WaitCursor;
            this.button1.Enabled = false;
            this.comboBox1.Enabled = false;
            this.comboBox_mode.Enabled = false;
        }

        //錄製接收到的語音資料
        void microphoneConnector_AudioDataReceived(List<byte[]> dataList)
        {
            if (this.maker != null)
            {
                foreach (byte[] audio in dataList)
                {
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        ((VideoFileMaker)this.maker).AddAudioFrame(audio);
                    }
                    else if (this.recordMode == RecordMode.JustAudio)
                    {
                        ((AudioFileMaker)this.maker).AddAudioFrame(audio);
                    }
                    else { }
                }
            }
        }

        void microphoneConnector1_ConnectEnded(ConnectResult obj)
        {
            this.ConnectComplete();
        }

        void cameraConnector1_ConnectEnded(ConnectResult obj)
        {
            this.ConnectComplete();
        }

        private int connectCompleteCount = 0;
        private void ConnectComplete()
        {
            ++this.connectCompleteCount;
            if (this.recordMode == RecordMode.AudioAndVideo) 
            {
                if (this.connectCompleteCount == 2)//當語音、視訊 都連線完成後,才正式啟動錄製。
                {
                    System.Threading.Thread.Sleep(500);
                    this.Ready();
                }
            }
            else
            {
                System.Threading.Thread.Sleep(500);
                this.Ready();
            }
        }

        //初始化用於錄製的FileMaker
        private void Ready()
        {
            if (this.InvokeRequired)
            {
                this.BeginInvoke(new CbGeneric(this.Ready));
            }
            else
            {
                try
                {
                    this.Cursor = Cursors.Default;
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        this.maker = new VideoFileMaker();
                        ((VideoFileMaker)this.maker).Initialize(this.dynamicCameraConnector.OwnerID + ".mp4", VideoCodecType.H264, this.dynamicCameraConnector.VideoSize.Width, this.dynamicCameraConnector.VideoSize.Height, 10, AudioCodecType.AAC, 16000, 1, true);
                        this.videoTimer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null, 0, 100);
                    }
                    else if (this.recordMode == RecordMode.JustAudio)
                    {
                        this.maker = new AudioFileMaker();
                        ((AudioFileMaker)this.maker).Initialize(this.microphoneConnector.OwnerID + ".mp3", AudioCodecType.MP3, 16000, 1);
                    }
                    else
                    {
                        this.maker = new SilenceVideoFileMaker();
                        ((SilenceVideoFileMaker)this.maker).Initialize(this.dynamicCameraConnector.OwnerID + ".mp4", VideoCodecType.H264, this.dynamicCameraConnector.VideoSize.Width, this.dynamicCameraConnector.VideoSize.Height, 10);
                        this.videoTimer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null, 0, 100);
                    }

                    this.label1.Text = "正在錄製......";
                    this.label1.Visible = true;
                    this.button1.Enabled = false;
                    this.button2.Enabled = true;
                }
                catch (Exception ee)
                {
                    MessageBox.Show(ee.Message);
                }
            }
        }

        private int callBackCount = -1;
        //定時獲取視訊幀,並錄製
        private void Callback(object state)
        {
            if (this.maker != null)
            {                
                Bitmap bm = this.dynamicCameraConnector.GetCurrentImage();
                if (bm != null)
                {
                    ++this.callBackCount;
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        ((VideoFileMaker)this.maker).AddVideoFrame(bm);
                    }
                    else if (this.recordMode == RecordMode.JustVideo)
                    {
                        ((SilenceVideoFileMaker)this.maker).AddVideoFrame(bm);
                    }
                    else { }
                }
                else
                {
                }
            }
        }

        //停止錄製
        private void button2_Click(object sender, EventArgs e)
        {
            try
            {
                this.callBackCount = -1;
                if (this.videoTimer != null)
                {
                    this.videoTimer.Dispose();
                    this.videoTimer = null;
                }

                this.connectCompleteCount = 0;
                if (this.recordMode != RecordMode.JustAudio)
                {
                    this.dynamicCameraConnector.Disconnect();
                    this.dynamicCameraConnector = null;
                }

                if (this.recordMode != RecordMode.JustVideo)
                {
                    this.microphoneConnector.Disconnect();
                    this.microphoneConnector = null;
                }               

                this.button1.Enabled = true;
                this.button2.Enabled = false;
                this.label1.Visible = false;
                this.comboBox1.Enabled = true;
                this.comboBox_mode.Enabled = true;

                this.maker.Close(true);
                this.maker = null;
                MessageBox.Show("生成視訊檔案成功!");
            }
            catch (Exception ee)
            {
                MessageBox.Show("生成視訊檔案失敗!"+ ee.Message);
            }
        }
    }
View Code

  如果熟悉OMCS和MFile的使用,理解上面的程式碼是非常容易的,而且本文這個Demo就是在語音視訊入門Demo的基礎上改寫而成的,只是有幾點是需要注意:

(1)由於在服務端錄製時,不需要顯示被錄製使用者的視訊,所以不用設定DynamicCameraConnector的Viewer(即不用呼叫其SetViewer方法來設定繪製視訊的皮膚)。

(2)同樣,在服務端錄製時,不需要播放被錄製使用者的語音,所以,將MicrophoneConnector的Mute屬性設定為true即可。

(3)如果需要錄製視訊,則通過一個定時器(videoTimer)每隔100毫秒(即10fps)從DynamicCameraConnector採集一幀圖片,並寫入錄製檔案。

(4)如果錄製的僅僅是影象視訊(不包括音訊),採用的視訊編碼仍然為H264,但生成的錄製檔案也是.mp4檔案,而非.h264檔案,否則,生成的視訊檔案將無法正常播放。

 

三.Demo下載

      RecordOnServerDemo.rar   

  服務端執行起來的截圖如下所示:

  

   測試時,可按如下步驟:

(1)啟動demo的服務端。 

(2)修改客戶端配置檔案中的伺服器IP,然後,用不同的帳號在不同的機器上登入多個demo的客戶端。 

(3)在服務端介面上,選擇一個線上的使用者,點選“開始錄製”按鈕,即可進行錄製。錄製結束後,將在服務端的執行目錄下,生成以使用者ID為名稱的mp3/mp4檔案。 

  當然,在執行該demo時,仍然可以像語音視訊入門Demo一樣,兩個客戶端之間相互視訊對話,而且同時,在服務端錄製其中一個客戶端的視訊。

  如你所想,我們可以將這個demo稍微做些改進,就可以支援在服務端同時錄製多個使用者的語音視訊。

  然而,就像本文開頭所說的,本Demo所展示的功能非常適合在類似網路培訓的系統中,用於錄製老師的語音/視訊。但如果是在視訊聊天系統中,需要將聊天雙方的語音視訊錄製到一個檔案中,那麼,就要複雜一些了,那需要涉及到影象拼接技術和混音技術了。我會在下篇文章中介紹另一個Demo,它就實現了這樣的目的。 

 

相關文章