share facebook facebook facebook twitter twitter menu hatena pocket slack

2021.09.10 FRI

Cloud data fusionのインスタンス立ち上げ

Shimpei Chiba

WRITTEN BY Shimpei Chiba

これは何

Cloud data fusionの導入までを描いたメモです。
実際にデータを移行させたわけではなく、立ち上げのみです。

Cloud data fusionとは

クラウドデータをあらゆる規模で統合するためのツールです。
コード等を意識せず、マウスだけで視覚的に操作できるインターフェースによって、ETL(Extract/Transform/Load)パイプラインをデプロイ可能です。

Cloud data fusionインスタンス立ち上げ

リージョンをasiaではなく、us-とかにすると、HUBの立ち上げに恐ろしく時間がかかったので、asiaにしました。
最新版だとサービスアカウントのところで、権限エラーが発生。

今回はテスト的な導入で使いたいだけで、最新版である必要がないのでバージョンを6.1.4にします。
作成に20分くらいかかります。

インスタンスを表示を押下します。

Studioを押下

総括

インスタンスの立ち上げは成功しました。
今回はETLパイプラインを作成してはいませんが、作成したらまたまとめます。

なお、Google Cloud が提供してくれている、以下の小さなサンプル データセットをローカルマシンにダウンロードして、パイプラインを作ることもできます。

配送データのクレンジング
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/shipment-data-cleansing-cdap-data-pipeline.json?hl=ja
米国での配送遅延
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/delayed-shipments-us-cdap-data-pipeline.json?hl=ja

参考

https://cloud.google.com/iam/docs/understanding-service-accounts?hl=ja
https://cloud.google.com/data-fusion?hl=ja
https://cloud.google.com/data-fusion/docs/tutorials/lineage?hl=ja
https://qiita.com/t-yotsu/items/5d3d36847fbc71b72b76

元記事はこちら

https://qiita.com/namely_/items/b7321a1b87d9575525cf


アイレットなら、Google Cloud で稼働するサーバーを対象とした監視・運用・保守における煩わしい作業すべてを一括して対応し、経験豊富なプロフェッショナルが最適なシステム環境を実現いたします。Google Cloud プレミアサービスパートナーであるアイレットに、ぜひお任せください。

Google Cloud サーバー監視・運用サービスページ:
https://cloudpack.jp/service/gcp/maintenance.html

その他のサービスについてのお問合せ、お見積り依頼は下記フォームよりお気軽にご相談ください。
https://cloudpack.jp/contact/form/

cloudpack

cloudpackは、Amazon EC2やAmazon S3をはじめとするAWSの各種プロダクトを利用する際の、導入・設計から運用保守を含んだフルマネージドのサービスを提供し、バックアップや24時間365日の監視/障害対応、技術的な問い合わせに対するサポートなどを行っております。
AWS上のインフラ構築およびAWSを活用したシステム開発など、案件のご相談はcloudpack.jpよりご連絡ください。