在既有系統中打通Apache Ignite、MySQL和Node.js

本文由公眾號EAWorld翻譯發表，轉載需註明出處。

作者：Akmal B. Chaudhri

譯者：李玉珏 

原題：Using 'No Rip and Replace' with Apache® Ignite™, MySQL and Node.js

原文：

本文中使用了MySQL，並且其中已經準備好了一個名為world的資料庫，裡面已經載入了部分資料。

這個world資料庫的結構為有三張關係表，具體如下：

• country：代表世界上的國家（239行資料）；

• city：代表國家的部分城市資訊（4079行資料）；

• countrylanguage：各個國家說的語言（984行資料）。

接下來，確認MySQL是否已經成功啟動，並接受外部連線。

為了訪問MySQL資料庫的模式資訊，需要使用Ignite的Web控制檯，在本文中為了方便，使用的是GridGain託管的服務，不過Web控制檯的原始碼是可以下載的，可以在本地構建然後在公司的防火牆後面執行，具體細節可以參見相關的文件。

還需要一個Web代理，它可以從Web控制檯中下載，如下圖所示：

Web代理的zip包下載完成之後，可以解壓該檔案，目錄結構大致如下圖所示：

注意這裡有個名為jdbc-drivers的目錄，因為本例需要訪問MySQL，所以需要下載MySQL的驅動，然後將jar檔案放在該資料夾中，如下圖所示：

下面從終端視窗中啟動Web代理，如下：

./ignite-web-agent.sh

輸出大致如下圖所示：

下面就可以匯入模式資訊了，在Web控制檯的Configuration頁面中，右上角有一個Import from Database按鈕，如下圖所示：

點選該按鈕之後，輸出大致如下圖所示：

在這個介面中，需要輸入MySQL伺服器的JDBC URL、User和Password，大致如下圖所示：

填完之後點選Next，這時就會看到各個資料庫模式，然後把除了world模式之外的都取消掉，如下圖所示：

選好之後，點選Next，就會看到3張表，如下圖所示：

對於本文來說，這頁面中的預設值就可以了，然後點選Next，這會跳到如下圖所示的頁面：

對於本文來說，這個頁面的預設值就可以，然後點選Save：

接下來在Configuration頁面，可以看到列出了一個新的名為ImportedCluster配置項，如下圖所示：

為了滿足業務需求，這個配置是可以修改的。

如果點選上圖中的ImportedCluster，就會跳轉到下面的頁面：

這個介面中有兩個選項卡：Basic和Advanced。

在Basic選項卡中，叢集的配置名（第一步），如果往下滾動，Ignite儲存的名字（第二步），還有其它的若干個引數，都可以修改，在本例中，會維持這個頁面中的預設值。

在Advanced選項卡中，還有其它的子項，包括Cluster、SQL Scheme、Caches、IGFS和GridGain，如下圖所示，如果需要，這裡面的很多引數都可以微調：

這裡選擇SQL Scheme選項卡，選中City這一行，如下圖所示，然後向下滾動並展開Domain model for SQL query部分：

這裡有一個indexes子項，值為CountryCode，如果點選它，可以進行修改，如下圖所示：

這裡將索引名改為idx_country_code，然後點選Save按鈕。接下來為Countrylanguage重複前圖和上圖的過程，將索引名改為idx_lang_country_code之後儲存更改，做這些修改，可以確保索引名在整個Ignite模式中是唯一的。

下面選擇Caches選項卡，首先選擇CityCache，如下圖所示，然後往下滾動並展開Queries & Indexing部分：

在Queries & Indexing中，有一個值為空名為SQL schema name的欄位，在這裡輸入PUBLIC後儲存變更，然後為CountryCache和CountrylanguageCache重複這個過程。

最後，返回到Configuration頁面，選中ImportedCluster然後在Actions下拉框中下載這個工程，如下圖所示：

這時會儲存一個名為ImportedCluster-project.zip的檔案，解壓這個檔案之後就可以在IDE中透過讀取其中的pom.xml檔案建立一個新的工程，如下圖所示：

在pom.xml檔案中，在dependencies下面，需要檢查一下mysql-connector-java依賴，如果缺失，需要加一下，如下所示：

<dependency>
    <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.15</version>
    </dependency>

這裡的版本號匹配了之前使用的JDBC驅動的版本號。

在這個工程中，在resources資料夾下面，有一個名為secret.properties的檔案，如下圖所示：

這裡需要填入之前使用的JDBC URL、Username和Password，然後儲存修改。

工程重新構建之後，就可以啟動一個Ignite服務端節點，如下圖所示：

接下來，透過執行LoadCaches，可以把MySQL中的資料載入進Ignite儲存，如下圖所示：

在Web控制檯中，轉到Monitoring > Dashboard > Caches，可以看到Ignite儲存已經建立並且資料也已經成功載入，如下圖所示：

Ignite現在已經執行起來，建立了儲存並且從MySQL中載入了資料，這時就可以透過任意數量不同的介面接入Ignite，不過本文會使用Node.js瘦客戶端。

使用Ignite提供的Node.js版本SQL示例作為模板，可以建立若干個Node.js應用，然後執行下表中列出的SQL查詢，完整的Node.js應用程式碼可以參見GitHub，在下面的例子中，該Node.js應用在Ignite的Node.js示例資料夾中執行：

Q1：3個人口最多的國家

SELECT name, MAX(population)
AS max_pop FROM country
GROUP BY name, population
ORDER BY max_pop
DESC LIMIT 3

Q2：US、RUS和CHN中3個人口最多的城市

SELECT country.name, city.name, MAX(city.population)
AS max_pop FROM country
JOIN city ON city.countrycode = country.code
WHERE country.code IN ('USA','RUS','CHN')
GROUP BY country.name, city.name
ORDER BY max_pop
DESC LIMIT 3

Q3：更新國家名稱

UPDATE country
SET name = 'USA'
WHERE name = 'United States'

Q4：恢復國家名稱

UPDATE country
SET name = 'United States'
WHERE name = 'USA'

Q1的輸出如下圖所示：

Q2比Q1複雜些，包含了兩個表的關聯，Q2的輸出大致如下圖所示：

Q3執行了一個更新操作，Q3執行完之後，Ignite的快取會被更新，並且更新會被回寫到MySQL中，保持兩者之間的同步。可以使用DBeaver確認一下，首先在Country表中找到值為United States的行，如下圖所示：

Q3執行完之後重新整理一下DBeaver，可以看到Name欄位的值已經變為USA，如下圖所示：

Q4恢復了原來的值，透過執行這個SQL然後重新整理一下DBeaver可以進行驗證，如下圖所示：

六、下一步

透過修改和調整Ignite附帶的示例，可以進一步測試Node.js瘦客戶端。此外，Web控制檯提供了許多選項，可用於從現有資料庫系統微調和調整模式資訊，具體可以參見Web控制檯的相關文件。

在本文中，瞭解瞭如何從現有的MySQL資料庫系統中獲取模式資訊並建立一個Ignite工程。這個Ignite工程能夠將資料從MySQL伺服器複製到Ignite儲存，然後在該資料中執行查詢。從規模上看，Ignite可以利用叢集計算的強大功能使操作並行化，在記憶體中快速執行查詢並進行分析，甚至機器和深度學習，同時還保留現有系統的商業價值。雖然在本示例中使用了Node.js瘦客戶端，不過Ignite還支援其它程式語言的瘦客戶端。