こんにちは、DX攻略部のkanoです。
TROCCOはデータ基盤の総合支援サービスとして注目を集めているツールです。
しかし、私のような非エンジニアでもデータ転送や連携は難しくないのか気になっていました。
そのため、最初に初歩的な連携としてAmazon S3とSnowflakeの連携に挑戦しました。
果たして、TROCCOを使えば非エンジニアの私でもデータ転送の連携が簡単にできるのか注目してください。
TROCCOとS3でSnowflake連携を実現する理由
最初にTROCCOでAmazon S3とSnowflakeの連携を実現する理由について説明します。
TROCCOとは
TROCCOとは、データ基盤の総合支援サービスが可能なツールのことです。
ノーコード・ローコードでデータ連携から加工まで可能になっており、ワークフローまでカバーしてくれている点も魅力なツールになります。
データを分析しやすい形に整えられるので、データ活用の幅を広げてくれます。
転送設定・データマート定義・ワークフロー定義を組み合わせることで、データの移動や変換、処理の自動化までを1つのツールでおこなえるのです。
データ系のツールは専門知識を持ったエンジニアが必要、という認識があるかもしれませんが、TROCCOはノーコード対応のおかげでエンジニアが不在の場合でも簡単に操作できます。
TROCCOに関する詳しい解説は下記の記事でおこなっていますので、ぜひ参考にしてみてください。
こんにちは、DX攻略部のしいです! 目的別やシステム別にデータがバラバラに散在してしまう経験、ありませんか? 個人レベルでもしょっちゅう起こるこのデータ分散問題は、企業規模が大きくなるほどさらに深刻になります。 膨大なデー[…]
Amazon S3はメジャーなストレージサービス
Amazon S3は「Amazon Simple Storage Service」のことで、AWS(Amazon Web Services)が提供する、オブジェクトストレージサービスになります。
その特徴として、あらゆるデータタイプを保存・管理できる点が挙げられます。
小規模から大規模まで、必要に応じてデータ量を拡張でき、S3に保存したデータはいつでもアクセスできるので自由な使い方ができるのも魅力です。
また、用途に応じたストレージクラスを選択できるので、コストの最適化にもつながります。
データバックアップやアーカイブ、ビックデータ分析、コンテンツ配信などさまざまな用途に使えるメジャーなストレージサービスといえるでしょう。
TROCCOを利用することでデータのETL化が簡単にできる
TROCCOはデータ分析基盤の構築のためのETL機能をそなえたツールです。
ETLはデータを「抽出」、「変換」、「格納」することを意味します。
つまり、データ処理をおこなうために、データを抽出したものを変換して、任意の場所に格納するデータ処理をおこなってくれる機能のことなのです。
ETLの実装のためには、0ベースでプログラム実装をおこなう「フルスクラッチ開発」がありますが、長期間利用を考える場合はエラー処理などの運用面の考慮不足が起きやすくなります。
その点、TROCCOを活用すれば、100種類以上のデータソースに連携可能で、変換処理の手続きも容易におこなえるようになるのです。
こういったメリットから、TROCCOとS3でSnowflake連携を実現することは、実装や実行環境の問題を解決してくれることにつながります。
実際、非エンジニアである私でもTROCCOとS3でSnowflake連携するのは難しくありませんでした。
データ関係やETLツールを学ぶ入口としても、TROCCOは使いやすいと感じています。
TROCCOとS3でSnowflakeに接続するための設定
TROCCOとAmazon S3の接続設定を確認しましょう。
TROCCOは無料のフリープランがあるので、そちらを活用して体験することも可能です。
今回の連携ではTROCCO、S3、Snowflakeの3つの環境を用意する必要があります。
それぞれ1つ1つこなしていけば難しくないのでチャレンジしてみましょう。
設定1:TROCCOにログイン
TROCCOの公式ページにログインし、フリープランに登録しましょう。
TROCCOはフリープランで開始する場合、クレジットカード登録が不要なので安心して体験できます。
アカウントを発行できたら、TROCCOにログインしておきましょう。
設定2:Snowflakeにログインしてデータベースを作成する
次にSnowflakeのアカウントを作成後にログインし、データベースを作成します。
下記の画像のようにデータから「WEATHER」というデータベースを作成してみましょう。
これで、TROCCOとSnowflakeの最初の準備が完了しました。
設定3:TROCCOとS3を接続する
次にTROCCOとAmazon S3を接続しましょう。
TROCCOのトップから「接続情報」の「新規追加」を選択しましょう。
次に「ファイル・ストレージサービス」から、「Amazon S3」を選択してください。
画像を見るとわかるように、アイコンとサービス名が表示されていて、とても探しやすく直感的に操作できるのがわかると思います。
次に、接続情報の作成および設定をおこないましょう。
この画面では、「AWSアクセスキーID」と「AWSシークレットアクセスキー」が必要になります。
これは、S3などのAWSサービスにアクセス認証するための認証キーです。
AWSアクセスキーの作成などに関しては、下記の公式サイトの手順を参考にするか、社内の担当者に確認してみてください。
アクセスキーの準備ができたら、基本情報に「名前」、「AWSアクセスキーID」、「AWSシークレットアクセスキー」を入力して、「接続を確認」をクリックしてください。
また、AWS認証方式は「IAMユーザー」のままで問題ありません。
正しく設定されていたら「認証の確認」と疎通チェックが問題なくできている表示になるので、「保存」を押しましょう。
設定4:TROCCOとSnowflakeを接続する
次はトップページに戻って、同じように「接続情報」の「新規追加」を選択して、「DWH」から「Snowflake」を選択しましょう。
この画面では「名前」、「ホスト」、「ユーザー」をまず記入するのですが、ホストがわかりにくい箇所です。
Snowflakeの左下にあるアカウントのところをクリックすると、「アカウント」という項目があります。
そこにある自分のアカウントにポインタを合わせると、自分のアカウント情報が表示されて、鎖のようなマークがあるかと思います。
それを選択すると「アカウントURLをコピー」できるので、そのURLから「https://」を除いたものがホストになります。
たとえば「◯◯◯◯.snowflakecomputing.com」というのがホスト名になる形なので、確認して記入してみてください。
ユーザーはご自身のSnowflakeのユーザー名を記入し、認証方式は「キーペア認証」を選択します。
もう1つの難関が「秘密鍵」の作成で、詳しい作成方法はTROCCOの公式サイトをご確認ください。
参考:「Snowflakeの接続情報」
現在は認証方式として「ユーザー・パスワード」の方式があるのですが、こちらは2025年11月から利用できなくなるため、キーペア認証を利用する必要があります。
また、TROCCOでは「非暗号化された秘密鍵にのみ対応」している点に注意してください。
その他の「ロール」は「なし」、「JDBC」は「デフォルト(3.14.2)」、「「リソースグループ」は「なし」を選択しましょう。
こちらを入力して接続確認のテストが問題なければ保存して、TROCCO側のSnowflakeの接続は完了です。
設定5:S3からSnowflakeへの転送設定
今度はAmazon S3からSnowflakeへの転送設定をおこないます。
トップページの「転送設定」から「新規追加」を選択します。
「転送元」を「Amazon S3」に、「転送先」を「Snowflake」にしてください。
Amazon S3接続情報は先程作成したものを選択し、下記の部分を記入しましょう。
同様にSnowflakeの接続情報も記入していきましょう。
「データベース」の項目はあらかじめ、Snowflake上に作成しておく必要があるので気を付けてください。
「次のステップへ」を選択し、最終的な確認をして問題がなければ転送までの設定は完了です。
転送を実行しよう
ここまでの設定が完了すれば、自動的に転送設定概要画面に移動するので、「実行」を選択してみましょう。
実行サマリーでどんどん転送がおこなわれていくのが確認できるので、最後にステータスが「SUCCESS」になれば、転送完了です。
最終的な転送は非常に簡単で、Amazon S3からSnowflakeへのデータ転送が一気におこなえました。
非エンジニアがTROCCOとS3でSnowflakeに転送した感想
無事、TROCCOとAmazon S3でSnowflakeに転送することができました。
非エンジニアとして、Snowflakeに転送する設定で感じた感想を紹介します。
ヘルプは充実しているが一部の設定は敷居が高いかも
TROCCOを使ってみて、非エンジニアとして直感的に設定できる部分が多いと感じました。
各ツールを探すときもアイコンなどが表示されているので、すぐに見つけられたのも嬉しい点です。
設定は序盤や最後は問題なかったのですが、キーペア認証は難しいと感じました。
2025年11月まで利用可能な「ユーザ・パスワード認証」であれば、もう少し簡単にできると思うのですが、秘密鍵を作成する手順は非エンジニアには難しかったです。
これはSnowflake側との関係もあるのでTROCCOだけの課題ではないですが、ターミナルを使って秘密キーを生成するという流れは簡単ではありませんでした。
このあたりは初めて秘密鍵を作成する方には少し時間がかかる点かと思いますので、注意したい部分といえるでしょう。
とはいえ、全体的な連携の手順はスムーズにおこなえました。
各項目を細かす分けすぎず、途中で接続のテストがおこなえるのも安心感があります。
TROCCO側の入力する項目内容は、ヘルプページなどで細かく解説してくれているので、その点はわかりやすいです。
有料会員であれば、TROCCOのカスタマーサポートに相談できるので、どうしても設定がうまくいかない箇所は相談してみましょう。
メールでの対応はもちろんですが、場合によっては実際の画面を共有しながらの説明にも対応してくれるようです。
私もSnowflakeとの連携を通して、他のツールとの連携にもチャレンジしてみようと思っています!
まとめ
TROCCOとAmazon S3でSnowflakeへのデータ連携について実践してみました。
記事内で紹介していますように、TROCCOの画面は見やすく、各連携先を見つけやすいデザインが印象的でした。
データ分析基盤の構築のためのETL機能をそなえたツールを探している方にとって、TROCCOは強い味方になってくれるでしょう。
まずは、フリープランでお試ししてみて、その機能を体感してみてください。
他のETLツールでうまくいかなかったかたも、TROCCOならスムーズなデータ転送が可能になるでしょう。
企業のDX化に関するお悩みの企業様は、ぜひDX攻略部にお問い合わせください。