用影像識別玩Chrome斷網小遊戲

JoeyHua發表於2021-11-25
Chrome遊戲

先來看一下效果

正文

最近在學習機器學習方面的知識，想著做個東西玩玩，然後就接觸到了TensorFlow這個機器學習框架，這個框架封裝了機器學習的一些常用演算法。

不過要自己實現一套流程還是比較麻煩，我們可以使用谷歌開源的Teachable Machine來訓練模型。這裡不得不誇一下谷歌工程師的創造力，讓我們能在不寫一行程式碼的情況下訓練模型。當然，如果要進一步應用，還是需要一些程式碼能力的。

在玩了一陣Teachable Machine後，我想到了一些好玩的點子，可不可以結合Teachable Machine和Chrome斷網小遊戲，通過影像識別來玩呢？顯然是可以的，只是需要獲得Chrome斷網小遊戲的原始碼，在查詢了一些資料後終於找到了他。https://source.chromium.org/chromium/chromium/src/+/master:components/neterror/resources/offline.js

接下來就是改造時間，在Teachable Machine的官網上我們可以瞭解到他的使用方式，下面是官方的程式碼:

<div>Teachable Machine Image Model</div>
<button type="button" onclick="init()">Start</button>
<div id="webcam-container"></div>
<div id="label-container"></div>
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@1.3.1/dist/tf.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/@teachablemachine/image@0.8/dist/teachablemachine-image.min.js"></script>
<script type="text/javascript">
    // More API functions here:
    // https://github.com/googlecreativelab/teachablemachine-community/tree/master/libraries/image

    // the link to your model provided by Teachable Machine export panel
    const URL = "./my_model/";

    let model, webcam, labelContainer, maxPredictions;

    // Load the image model and setup the webcam
    async function init() {
        const modelURL = URL + "model.json";
        const metadataURL = URL + "metadata.json";

        // load the model and metadata
        // Refer to tmImage.loadFromFiles() in the API to support files from a file picker
        // or files from your local hard drive
        // Note: the pose library adds "tmImage" object to your window (window.tmImage)
        model = await tmImage.load(modelURL, metadataURL);
        maxPredictions = model.getTotalClasses();

        // Convenience function to setup a webcam
        const flip = true; // whether to flip the webcam
        webcam = new tmImage.Webcam(200, 200, flip); // width, height, flip
        await webcam.setup(); // request access to the webcam
        await webcam.play();
        window.requestAnimationFrame(loop);

        // append elements to the DOM
        document.getElementById("webcam-container").appendChild(webcam.canvas);
        labelContainer = document.getElementById("label-container");
        for (let i = 0; i < maxPredictions; i++) { // and class labels
            labelContainer.appendChild(document.createElement("div"));
        }
    }

    async function loop() {
        webcam.update(); // update the webcam frame
        await predict();
        window.requestAnimationFrame(loop);
    }

    // run the webcam image through the image model
    async function predict() {
        // predict can take in an image, video or canvas html element
        const prediction = await model.predict(webcam.canvas);
        for (let i = 0; i < maxPredictions; i++) {
            const classPrediction =
                prediction[i].className + ": " + prediction[i].probability.toFixed(2);
            labelContainer.childNodes[i].innerHTML = classPrediction;
        }
    }
</script>

分析原始碼，有兩個地方是需要注意的:

  1. 這裡的URL就是模型的地址，可以使用網站上生成的地址，當然也可以儲存下來放在自己的物件儲存服務上
// the link to your model provided by Teachable Machine export panel
const URL = "./my_model/";

在官網上生成模型地址

2. 這裡能拿到實時獲取的預測資料

// run the webcam image through the image model
async function predict() {
    // predict can take in an image, video or canvas html element
    const prediction = await model.predict(webcam.canvas);
    for (let i = 0; i < maxPredictions; i++) {
        const classPrediction =
            prediction[i].className + ": " + prediction[i].probability.toFixed(2);
        labelContainer.childNodes[i].innerHTML = classPrediction;
    }
}

可以通過下面的方式獲得最有可能的結果

let maxPrediction = prediction[0];
prediction.forEach(p => {
    if(p.probability > maxPrediction.probability) {
        maxPrediction = p;
    }
});

這裡的maxPrediction就是最有可能的結果，maxPrediction.className可以獲得結果的名稱

接來下就是結合谷Chrome斷網小遊戲的程式碼，步驟很簡單，識別結果的名稱為up時，讓小恐龍跳躍，為down時，讓小恐龍蹲下，下面是具體程式碼

let state;
if(!state || maxPrediction.className === 'up') {
    console.log(maxPrediction.className);
    runner.tRex.speedDrop = false;
    runner.tRex.setDuck(false);
    //  Play sound effect and jump on starting the game for the first time.
    if (!runner.tRex.jumping && !runner.tRex.ducking) {
        runner.playSound(runner.soundFx.BUTTON_PRESS);
        runner.tRex.startJump(runner.currentSpeed);
    }
    state = 'up';
}
if(state === 'up' && maxPrediction.className === 'down') {
    console.log(maxPrediction.className);
    if (runner.tRex.jumping) {
        // Speed drop, activated only when jump key is not pressed.
        runner.tRex.setSpeedDrop();
    } else if (!runner.tRex.jumping && !runner.tRex.ducking) {
        // Duck.
        runner.tRex.setDuck(true);
    }
    state = 'down';
}

這樣就可以通過影像識別來控制小恐龍的行為了。

專案地址

下面是專案的地址，感興趣的同學可以看看。

遊戲可以線上遊玩，無需下載https://blog.huajiayi.top/ai-t-rex-runner/

輸入自己的模型準確率會更高，模型的訓練方法可以看這裡https://github.com/huajiayi/ai-t-rex-runner

相關文章