これは何

Cloud data fusionの導入までを描いたメモです。
実際にデータを移行させたわけではなく、立ち上げのみです。

Cloud data fusionとは

クラウドデータをあらゆる規模で統合するためのツールです。
コード等を意識せず、マウスだけで視覚的に操作できるインターフェースによって、ETL(Extract/Transform/Load)パイプラインをデプロイ可能です。

Cloud data fusionインスタンス立ち上げ

リージョンをasiaではなく、us-とかにすると、HUBの立ち上げに恐ろしく時間がかかったので、asiaにしました。
最新版だとサービスアカウントのところで、権限エラーが発生。

今回はテスト的な導入で使いたいだけで、最新版である必要がないのでバージョンを6.1.4にします。
作成に20分くらいかかります。

インスタンスを表示を押下します。

Studioを押下

総括

インスタンスの立ち上げは成功しました。
今回はETLパイプラインを作成してはいませんが、作成したらまたまとめます。

なお、Google Cloud が提供してくれている、以下の小さなサンプル データセットをローカルマシンにダウンロードして、パイプラインを作ることもできます。

配送データのクレンジング
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/shipment-data-cleansing-cdap-data-pipeline.json?hl=ja
米国での配送遅延
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/delayed-shipments-us-cdap-data-pipeline.json?hl=ja

参考

https://cloud.google.com/iam/docs/understanding-service-accounts?hl=ja
https://cloud.google.com/data-fusion?hl=ja
https://cloud.google.com/data-fusion/docs/tutorials/lineage?hl=ja
https://qiita.com/t-yotsu/items/5d3d36847fbc71b72b76

元記事はこちら

https://qiita.com/namely_/items/b7321a1b87d9575525cf


アイレットなら、Google Cloud で稼働するサーバーを対象とした監視・運用・保守における煩わしい作業すべてを一括して対応し、経験豊富なプロフェッショナルが最適なシステム環境を実現いたします。Google Cloud プレミアサービスパートナーであるアイレットに、ぜひお任せください。

Google Cloud サーバー監視・運用サービスページ:
https://cloudpack.jp/service/gcp/maintenance.html

その他のサービスについてのお問合せ、お見積り依頼は下記フォームよりお気軽にご相談ください。
https://cloudpack.jp/contact/form/