こんにちは、DX攻略部のしいです！
目的別やシステム別にデータがバラバラに散在してしまう経験、ありませんか？
個人レベルでもしょっちゅう起こるこのデータ分散問題は、企業規模が大きくなるほどさらに深刻になります。
膨大なデータをマーケティングなどに活用するには、集約・加工が必要ですが、これまた一苦労…。
そこで今回ご紹介したいのが、データ基盤の総合支援サービス「TROCCO」。
本記事では、TROCCOの主となる3つの機能を中心に、初心者が押さえておきたい周辺知識や基本要素を簡潔にまとめました。
「TROCCOって具体的に何ができるの？」と気になっている方は、ぜひ最後までご覧ください！
TROCCOの概要
TROCCOは、ノーコード／ローコードでデータ連携から加工、さらにはワークフローまでカバーできる、まさに“オールラウンダー”なデータ基盤の総合支援サービスです。
異なる部署のシステムやクラウドサービスに散在するデータを自動でまとめたり、分析しやすい形に整えたりと、データ活用の面倒事をグッと楽にしてくれます。
特に注目したいのは、転送設定・データマート定義・ワークフロー定義という3つの主要機能。これらを組み合わせることで、データの移動や変換、処理の自動化まで一気通貫で行えるんです！
ノーコード対応のおかげで、専門的な知識がなくても簡単に操作できるのは大きな魅力ですよね！
しかも、TROCCOにはまだまだ便利な機能があり、今後はそれぞれ深掘りした記事を公開予定なので、どう活用すればいいのか、さらに詳しく知りたい方はぜひ楽しみにしていてください。
さあ、まずはこの3つの機能がどれだけ使いやすく、業務効率を劇的に高めてくれるのか、順を追ってご紹介していきましょう！
転送設定
TROCCOの主な機能の1つ目は、転送設定です。
転送設定を使えば、別の部署や別のシステムにある、全く異なる形式や管理方法のデータをシームレスに転送することが可能です。データの移動が楽にできちゃうってことです。
転送設定は、データエンジニアリングで言うところのETLです。
ETLとは
ETLとは、Extract（抽出）、Transform（変換）、Load（書き込み）、これらの頭文字を取った言葉で、データを扱ううえでの基本となり、重要なプロセスです。
- Extract（抽出）
- Transform（変換）
- Load（書き込み）
例えば、売上管理システムからデータを抽出（E）し、そのデータをフォーマット化など使い易い形に変換（T）した上で、BIツールやDWHへ書き込み（L）をするといった流れで、要はデータをシステムAからシステムBへ移す作業です。
TROCCOの場合、ETLをノーコード/ローコードで簡単に設定できちゃいます！
実際に転送設定を作成してみましたが、転送元と転送先の2つのコネクタを選択した後は、それぞれの設定をぽちぽちと入力していくだけで、とっても簡単でした！
専門知識が不要で、エンジニアでなくとも扱えるのはとても嬉しいですね。
各部署でTROCCOを活用してシームレスにデータの統合ができれば、エンジニアの負担が減って他の業務に集中してもらい、生産性が爆上がりする、なんてこともできちゃいますね！
また、TROCCOでは転送元と転送先に設定できるコネクタが、なんと100種類以上も用意されています！
kintone、Salesforce、Amazon S3、Google BigQueryといった主要クラウドサービスから、国内ベンダーの基幹系システムまで幅広く対応されています。
たとえば、BigQueryにデータをロードしつつ、同時にSalesforceへも必要な情報を同期する設定がワンクリックで行えるなどができそうです。
転送設定だけ見ても、社内のさまざまな要望に応じることができる柔軟性の高さはとても魅力的ですね！
こんにちは、DX攻略部のogamiです。 「Salesforceって何ができるの？」 「どうやって運用するの？」 「セキュリティ対策は大丈夫？」 この記事では、Salesforce導入を検討しているか方向けに、代表的[…]
データマート定義
TROCCOの主な機能の2つ目は、データマート定義です。
分析に必要なデータを部署や目的に合わせて整理し、ノーコードでテーブルやカラムを設計できます。
いわば、複数のデータを使いやすい“棚”に並べ直す感覚ですね。
データマート定義は、データエンジニアリングで言うところのELTです。
ELTは、DWHでデータマートを作成することです。
先ほどご紹介したETLに似た「ELT」という言葉に加え、「DWH」、「データマート」という言葉が登場しました。
一つずつ解説していきますね。
DWHとは
DWH（データウェアハウス）は、企業で抱える膨大なデータを一元的に蓄積・管理するための大規模なデータベースのことです。
例えば、販売履歴、在庫情報、会員データ、マーケティング施策のログなど、多種多様なデータをひとまとめにします。
組織全体でデータを分析・活用する際の前段階として、データを一箇所に集める必要があり、その土台がDWHというわけですね。
以前はオンプレミス型のDWHが多かったようですが、最近ではクラウド型DWHがどんどん増えています。
データエンジニアリングをするうえで頭に入れておきたい、代表的なクラウド型DWHをご紹介しますね。
- Amazon社のAmazon Redshift
- Google社のGoogle BigQuery
- Microsoft社のAzure Synapse Analytics
- Snowflake社のSnowflake
ちなみに、TROCCOではこの４つの代表的なクラウド型DWH全てで、データマート定義ができちゃいます！
それでは、引き続き「データマート とは」を読み進め、さらに理解を深めていきましょう！
データマートとは
データマートとは、特定の分析目的にフォーカスして、整理・集約したデータのかたまりのことです。
たとえば、営業部門用なら受注状況や販売実績を中心に、マーケティング部門用なら広告施策や顧客セグメント情報を管理するといった感じですね。
一般的にはまず、企業全体のデータを一元的に集めたデータウェアハウス（DWH）を用意して、そこから必要な部分だけを抜き出して整形します。
こうすることで、分析する側は必要な情報をサクッと取り出せるようになり、意思決定や施策の検討がスムーズに進むのがメリットです。
分散したデータをDWHでまとめて、そこから目的ごとに再構築しているイメージですね。
ELTとは
ELTとは、ETLと違う順番でデータを処理する方式です。
一見、単語のL（ロード）とT（変換・整形）の順番が違うだけじゃないか！見間違えるよ！と思われると思います。
そうです。単語の通り、実際に処理の順序が反対になっているだけです。
ざっくり言うと、
ETLはDWHのロード前に変換
ELTはDWHのロード後に変換
です！
ただし、場面により使い分ける必要があります。
詳しく見ていきましょう。
ETLでは、データをまず抽出（E）し、その後に変換（T）してからDWHにロード（L）します。
この方法では、システムごとに都度データ変換を行った後にDWHにロードするため、変換処理にかかるコストが発生します。
ELTでは、まずDWHに大量のデータをまとめてロード（L）し、その後に必要な部分だけ整形（T）します。
この方法では、クラウドDWHの処理能力をフルに活用してデータマートを作れるので、データの集計や加工にかかる時間が短縮され、必要な情報をすぐに取り出せるようになります。
他にも、データ処理の効率が上がるので、リアルタイムに近い分析ができるようになったり、抽出元のデータベースの構造が変わっても柔軟に対応できる点も大きなメリットです！
ELTの使いどころは、特にデータマートを作成する場面で、かつDWHの処理能力が高い場合や、データ変換が比較的シンプルな場合に適しています。
こうした使い分けは、目的や全体のシステム設計に基づいて、実際のデータ分析時に柔軟に判断することが求められます。
弊社ではTROCCOを活用したデータ連携やETL/ELT処理の最適化支援を行っています。
こんにちは、DX攻略部のHikari-Nです。 昨今のデジタルトランスフォーメーション（DX）の進展により、企業における顧客管理の重要性は増す一方です。 2024年4月には、SalesforceのData CloudがSnowf[…]
実際にデータマート定義を作成してみましたが、データマートを作成するDWHを選択した後は、データマート定義の詳細や設定をぽちぽちと入力していくだけで簡単に設定できちゃいました！
ワークフロー定義
TROCCOの主な機能の3つ目は、ワークフロー定義です。
ワークフロー定義は、転送設定やデータマート定義を組み合わせて、一連の処理をひとまとめにすることができる機能です。
ジョブのように、一連の処理を実行できるというわけですね！
付随してワークフロー定義で出来ることとしては、スケジューリングやデータチェック、エラー時のリトライや通知があります。
まさににジョブですね！一度ワークフローを定義して終えば、寝てる間にもTROCCOがデータ連携を行ってくれるのは有り難いですね〜！
ちなみに、ワークフロー定義も転送設定と同様、ノーコード／ローコードで直感的に設定できちゃいます！
ノーコードで一連の処理を設定でき、その自動化やスケジューリングまでできてしまうのは、とてもありがたい！
さらに言うと、自動化することでヒューマンエラーが防げるのもポイントですね〜！
実際にワークフロー定義を作成してみましたが、ワークフローの詳細や設定を入力した後は、直感的なUIで処理の流れを組んでいけるため、とっても簡単でした！
まとめ
ここまでで、TROCCOの主な3つの機能と関連する知識を解説いたしましたが、いかがだったでしょうか！
公式に「データ基盤の総合支援サービス」と称されているだけあって、”データ基盤を整えるための全てがこれ１つで完結する”そんな存在のTROCCO。
実はTROCCOには、本記事でご紹介した3つの主な機能以外にも、データチェック、Git/API連携機能、運用支援(DevOps)、Web行動ログ収集SDK、etc… と、データを扱ううえで必要になる機能がたくさん盛り込まれています！
しかも、ノーコード・ローコードなので、非エンジニアでも直感的に扱えて、構築作業が簡単にできてしまうのがとってもナイスですよね！
今回ご紹介できなかったTROCCOの他の機能や、データエンジニアエンジニアリングに関する記事も続々入稿予定ですので、今後もお楽しみにお待ちください！
弊社ではTROCCOを活用したデータ連携やETL/ELT処理の最適化支援を行っています。
