EC2はあまり関係なくなってきていますが、引き続きSpiderの話題になります。
Spiderの特性や構成について考えていくと、Spiderで分割するためのパーティショニングにより、さまざまな分割方法を考えることができます。
また、データが増えていくと、分散した先でもさらに負荷軽減が必要になる可能性も考えられます。
EC2でMySQL(Spider編1 Spiderってなんじゃ？)で少し触れましたが、Spiderはストレージエンジンであり、リンク先のテーブルのストレージエンジンに制限はありません。
ここで、Spiderのリンク先にSpiderテーブルを指定したらどうなるか実験してみました。
構成は、下記のようになります。
ここでは、全てTokyoリージョン内とします。
また、IPは仮のものとなります。
- SpiderノードA(111.111.0.1)
- データノードA-1(111.111.0.2)
- SpiderノードB(111.111.0.3)
- データノードB-1(111.111.0.4)
- データノードB-2(111.111.0.5)
SpiderノードBはSpiderノードAのデータノードとしての役割をし、また一方で、データノードB-1,B-2のSpiderノードとしての役割もします。
インストールやデータベースの作成、セキュリティグループの設定など基本的な部分は、EC2でMySQL(Spider編1 Spiderってなんじゃ？)、EC2でMySQL(Spider編2 リージョン間SpiderでSSL接続)と同じため省きます。
○データノードの設定
SpiderノードA、SpiderノードB以外の全てのデータノードでmemberテーブルを作成します。
# mysql -u root mysql> use cloudpack Database changed mysql> create table member( id int(11) auto_increment, name varchar(256), primary key(id) )ENGINE=InnoDB DEFAULT CHARSET=utf8;
データノードA-1、SpiderノードBではSpiderノードAを許可します。
mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"spider-a" IDENTIFIED BY 'remote_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"111.111.0.1" IDENTIFIED BY 'remote_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"ec2-111-111-0-1.ap-northeast-1.compute.amazonaws.com" IDENTIFIED BY 'remote_pass';
データノードB-1、B-2ではSpiderノードBを許可します。
mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"spider-b" IDENTIFIED BY 'remote_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"111.111.0.3" IDENTIFIED BY 'remote_pass'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'remote_user'@"ec2-111-111-0-3.ap-northeast-1.compute.amazonaws.com" IDENTIFIED BY 'remote_pass';
○SpiderノードAの設定
はじめに、最終的に全てを束ねるSpiderノードAを設定します。
データノードA-1とSpiderノードBにリンクを張りますが、ここでのパーティショニングはRANGEパーティションを採用します。
idの1～5がデータノードA-1、6～10がSpiderノードBに流れるように設定しました。
mysql> create table member( id int(11) auto_increment, name varchar(256), primary key(id) ) engine = Spider DEFAULT CHARSET=utf8 CONNECTION ' table "member", user "remote_user", password "remote_pass" ' PARTITION BY RANGE (id) ( PARTITION data-a1 VALUES LESS THAN (6) comment 'host "111.111.0.2", port "3306"', PARTITION spider-b VALUES LESS THAN (11) comment 'host "111.111.0.3", port "3306"' );
○SpiderノードBの設定
次に、SpiderノードBを設定します。
データノードB-1,B-2を束ねますが、ここではKEYパーティションで分散させます。
mysql> create table member( id int(11) auto_increment, name varchar(256), primary key(id) ) engine = Spider DEFAULT CHARSET=utf8 CONNECTION ' table "member", user "remote_user", password "remote_pass" ' PARTITION BY KEY() ( PARTITION data-b1 comment 'host "111.111.0.4", port "3306"', PARTITION data-b2 comment 'host "111.111.0.5", port "3306"' );
以上で、設定は完了です。
○確認
試しにSpiderノードAで以下のように、10行追加してみます。
# mysql -u root
mysql> use cloudpack
Database changed
mysql> INSERT INTO member (name) VALUES ('ichiro'),('jiro'),('sub-Low'),('shiro'),('goro'),('rokuro'),('shichro'),('hachiro'),('kuro'),('juro');
Query OK, 10 rows affected (0.03 sec)
Records: 10 Duplicates: 0 Warnings: 0
SELECTすると正常に10件投入されていることが確認できます。
mysql> select * from member order by id; +----+---------+ | id | name | +----+---------+ | 1 | ichiro | | 2 | jiro | | 3 | sub-Low | | 4 | shiro | | 5 | goro | | 6 | rokuro | | 7 | shichro | | 8 | hachiro | | 9 | kuro | | 10 | juro | +----+---------+ 10 rows in set (0.00 sec)
それでは、各ノードにどのように分配されているか確認します。
●データノードA-1
ここにはRANGEパーティションのルール通り、idの1～5が投入されています。
mysql> select * from member order by id; +----+---------+ | id | name | +----+---------+ | 1 | ichiro | | 2 | jiro | | 3 | sub-Low | | 4 | shiro | | 5 | goro | +----+---------+ 5 rows in set (0.00 sec)
●SpiderノードB
こちらもRANGEパーティションのルール通り、idの6～10が投入されています。
mysql> select * from member order by id; +----+---------+ | id | name | +----+---------+ | 6 | rokuro | | 7 | shichro | | 8 | hachiro | | 9 | kuro | | 10 | juro | +----+---------+ 5 rows in set (0.01 sec)
しかし、これは別のSpiderノードでもあり、データノードB-1,B-2にさらに分散されています。
さらに、その分散先を見てみます。
●データノードB-1
mysql> select * from member order by id; +----+---------+ | id | name | +----+---------+ | 7 | shichro | | 9 | kuro | +----+---------+ 2 rows in set (0.00 sec)
●データノードB-2
mysql> select * from member order by id; +----+---------+ | id | name | +----+---------+ | 6 | rokuro | | 8 | hachiro | | 10 | juro | +----+---------+ 3 rows in set (0.00 sec)
SpiderノードBの先で、さらにKEYパーティショニングによって、idのハッシュ値で均等に分散されていることが確認できます。
このように、途中で負荷が増えても、さらに分散させて1ノードあたりの負荷を減らすことも可能です。
こちらの記事はなかの人（memorycraft）監修のもと掲載しています。
元記事は、こちら
