MySQL與Redis實現二級快取

我濤發表於2019-02-01
MySqlRedis快取

redis簡介

  • Redis 是完全開源免費的，遵守BSD協議，是一個高效能的key-value資料庫
  • Redis 與其他 key – value 快取產品有以下三個特點:
    • Redis支援資料的持久化，可以將記憶體中的資料儲存在磁碟中，重啟的時候可以再次載入進行使用
    • Redis不僅僅支援簡單的key-value型別的資料，同時還提供list，set，zset，hash等資料結構的儲存
    • Redis支援資料的備份，即master-slave模式的資料備份

優勢

  • 效能極高 – Redis能讀的速度是110000次/s,寫的速度是81000次/s
  • 豐富的資料型別 – Redis支援二進位制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 資料型別操作
  • 原子 – Redis的所有操作都是原子性的，意思就是要麼成功執行要麼失敗完全不執行。單個操作是原子性的。多個操作也支援事務，即原子性，通過MULTI和EXEC指令包起來

下載與安裝

  • 下載並解壓縮
wget http://download.redis.io/releases/redis-5.0.3.tar.gz
tar xzf redis-5.0.3.tar.gz
  • 將資料夾移動到/usr/local/中
mv redis-5.0.3 /usr/local/
  • 進入到資料夾中並編譯測試
cd /usr/local/redis-5.0.3
sudo make test
  • 編譯安裝
sudo make install
  • 啟動redis
redis-server

若出現以下畫面則表示redis資料庫已經啟動了：
jpg

mysql與redis做二級快取

  • 對於訪問量比較大的資料我們為了能夠更快的獲取到資料需要對資料庫中獲取的資料進行資料快取。
  • 在專案當中使用Redis快取流程
    1. 查詢時先從快取當中查詢
    2. 快取當中如果沒有資料再從資料庫查詢，並將資料儲存進快取當中
    3. 如果快取中查詢到了資料直接返回，不再需要查詢資料庫

    資料快取應該考慮同步問題：如果對資料進行了快取，當查詢資料時，如果快取中有資料則直接返回快取資料不會查詢資料庫，當資料庫資料改變的時候就有可能出現資料庫不一致的問題。可以考慮在每次修改資料庫的時候同時將對應的快取資料刪除，這樣重新查詢的時候就會查詢資料庫並快取

步驟實現
  • 建立redisPool.go檔案用於連線池的初始化
package redigo_pool

import (
    "flag"
    "github.com/garyburd/redigo/redis"
    "time"
)
var (
    Pool *redis.Pool
    RedisServer   = flag.String("redisServer", ":6379", "")
    
)
func init() {
    Pool = &redis.Pool{
        MaxIdle:     3, //最大空閒連結數，表示即使沒有redis連結事依然可以保持N個空閒連結，而不被清除
        MaxActive:   3, //最大啟用連線數，表示同時最多有多少個連結
        IdleTimeout: 240 * time.Second,//最大空閒連結等待時間，超過此時間，空閒將被關閉
        Dial: func() (redis.Conn, error) {
            c, err := redis.Dial("tcp", *RedisServer)
            if err != nil {
                return nil, err
            }
            return c, err
        },
        TestOnBorrow: func(c redis.Conn, t time.Time) error {
            if time.Since(t) < time.Minute {
                return nil
            }
            _, err := c.Do("PING")
            return err
        },
    }
}
  • 建立main.go檔案實現二級快取
package main

import (
    "database/sql"
    "encoding/json"
    "fmt"
    "github.com/garyburd/redigo/redis"
    _ "github.com/go-sql-driver/mysql"
    "strconv"
    "web/redis/redigo_pool"
    _ "web/redis/redigo_pool"
)

type Person struct {
    Id int `db:"id"`
    Name string `db:"name"`
    Age int `db:"age"`
    Rmb int `db:"rmb"`
}

func main() {
    var cmd string
    for{
        fmt.Println("輸入命令")
        fmt.Scan(&cmd)
        switch cmd {
        case "getall":
            getAll()
        default:
            fmt.Println("不能識別其他命令")
        }
        fmt.Println()
    }
}

func getAll()  {
    //從連線池當中獲取連結
    conn := redigo_pool.Pool.Get()
    //先檢視redis中是否有資料
    //conn,_ :=redis.Dial("tcp","localhost:6379")
    defer conn.Close()
    values, _ := redis.Values(conn.Do("lrange", "mlist",0,-1))

    if len(values) > 0 {
        //如果有資料
        fmt.Println("從redis獲取資料")
        //從redis中直接獲取
        for _,key := range values{
            pid :=string(key.([]byte))
            id ,_:= strconv.Atoi(pid)
            results,_ := redis.Bytes(conn.Do("GET",id))
            var p Person
            err := json.Unmarshal(results,&p)
            if err != nil {
                fmt.Println("json 反序列化出錯")
            }else {
                fmt.Printf("name = %s
",p.Name)
            }
        }
    }else {
        fmt.Println("從mysql中獲取")

        //查詢資料庫
        db,_ := sql.Open("mysql","root:Szt930708@tcp(localhost:3306)/mydb")
        defer db.Close()

        var persons []Person

        rows,_ := db.Query("select id,name,age,rmb from person")
        for rows.Next()  {
            var id int
            var name string
            var age int
            var rmb int
            rows.Scan(&id,&name,&age,&rmb)
            per := Person{id,name,age,rmb}
            persons = append(persons,per)

        }
        //寫入到redis中:將person以hash的方式寫入到redis中
        for _,p := range persons{

            p_byte,_ := json.Marshal(p)
            _,err1 := conn.Do("SETNX",p.Id,p_byte)
            _,err2 := conn.Do("lpush","mlist",p.Id)
            // 設定過期時間
            conn.Do("EXPIRE",p.Id,60*5)
            if err1 != nil || err2 != nil {
                fmt.Println("寫入失敗")
            }else {
                fmt.Println("寫入成功")
            }
        }
        conn.Do("EXPIRE","mlist",60*5)
    }
}

相關文章