• facebook
  • twitter
  • rss

【セミナーレポート】DX時代に求められるデータプラットフォーム ~データ先駆者が語る、次世代のデータ基盤とは~

こんにちは。スマートドライブの岡です。

2020年6月4日。株式会社電算システム主催のもと「DX時代に求められるデータプラットフォーム」と題したオンラインセミナーが開催され、コンテンツの一つである「Mobility業界のDXを支えるSmartDriveの分析基盤」に、弊社の石川が登壇しました。

 

株式会社スマートドライブ
Mobility Data Scientist
石川 信太朗(いしかわ しんたろう)
大阪大学大学院 理学研究科数学専攻修了。人材系のベンチャー企業にてキャリアをスタートし、CRM、MA、 DMP、BIなどの最新のテクノロジーの導入利活用を推進。SmartDriveにてMobility Data Scientistに就任後、移動データや移動データに関連の深い周辺領域のデータの分析を担当。分析基盤の構築、データ連携、ヴィジュアルアナリティクスの推進、インサイト抽出等の支援を実施。Marketing Technology of The Year 2019受賞、Data Saberプログラム修了。

 

石川は4月28日に開催されたMobility Transformation Onlineにおいても、住友商事様とのセッション「大手企業とスタートアップ企業の協業によるDX推進の事例」に登壇していますが、(セッション内容はこちら

本セミナ―では、モビリティデータの分析を得意とするスマートドライブが、裏側の分析基盤をどのようにつくってきたのか。そもそもデータ分析を行いDXを推進するうえで大切にすべきことは何なのか?Data Analystの知識集約とはどういうこと?などなど、スマートドライブのリアルな歴史を振り返りながら講演いたしました。

それでは早速、セミナーの内容をレポートします。

(セミナー資料をDLしたい方はこちらからどうぞ!)

そもそもDX(デジタルトランスフォーメーション)とは何か

経済産業省も推進を勧めているDX(デジタルトランスフォーメーション)。そもそもDXとは何でしょうか。DXとは、デジタルの力を駆使し業務の効率化や新たなサービスの創出といった革新的な価値を生み出すことを指しています。

石川は「DXは大まかに3つの階層で構成されている」と言います。それは、正確なデータを収集し、分析に必要な解析をかけ、新たな価値を生み出す、といったものです。

(余談ですが、英語圏では“Trans”を“X”と略すことが多いため、Digital Transformationを”DX”と略しています。ここは慣れが必要ですね…。)

 

これらの3階層を綺麗に構築することで、企業はDXを推進することが出来るはずなのですが、そこには主に4つの課題が存在しているといいます。

DXを阻む4つの課題

「DXを推進しようとすると3階層それぞれで多くの課題に直面しますが、課題は大きく分けると以下の4つに分類されます」と石川は続けます。

その①:データの存在場所が分散している

例えば移動データは自社サーバーにあるが、スマートフォンアプリの管理ログは別の会社が持っている場合。異なるサーバーに同時にアクセスすることはできないため、これらを掛け合わせてデータを価値に変えることはほぼ不可能になります。

その②:大量のデータを高速に処理する必要がある

2つめのステップ「データ統合・分析処理」という部分において発生するのが「データの高速処理の問題」です。例えばEVバイクの分析をする場合、大量に収集される移動データとEVの電気データを掛け合わせて分析をする際に、「1回のSQLで〇百億レコードを処理する」といったことが日常的に起こります。こうなるとパフォーマンスが低くスケーリングさせづらいオンプレミス環境のサーバー等では分析ができなくなってしまいます。

その③:正しいデータに正しい権限で誰もがアクセスできる環境の整備

ここは運用やオペレーションに紐づく部分で、見落としがちですがハードルが高い問題です。分析環境が正しく整備されていないと「分析したこのデータって本当に正しいの?」という問いに答えられないという状況に陥ってしまいます。コストをかけて立ち上げた分析基盤から得られる示唆に信憑性がなくなってしまうとそれまでの努力が無駄になってしまいます。

その④:データを意味解釈するData Analystの不足

Data Analystにはかなりの専門性が求められ、0からの人材育成には少なくとも1-2年はかかると言われています。そのためどうしても人手不足になってしまうという課題があるのです。スマートドライブも同様の課題をかかえていました。(立上げ当初は石川一人であらゆる解析を行っていたことも。。。)

 

特にこの4点目は、Analystの人数が増えないとデータアウトプットの量が増えないということにも繋がり、「このままでは利益率が低くスマートドライブのビジネスモデルとしても適切ではない」と石川は考えていたといいます。

このままではまずい!スマートドライブが歩んだデータ分析基盤構築の歴史

上記4つの課題はスマートドライブ内でも起きていました。そんな中でどのように課題を克服しデータ分析基盤を構築していったのでしょうか。

ここでは「立ち上げ期」「変化期」「成熟期」と3つのPhaseでスマートドライブの歩みを紹介します。

立ち上げ期~変化期(EXCEL分析→BigQuery採用)

スマートドライブも、当初はサーバーからCSVを出力してExcelで分析するという(石川的には)少し恥ずかしいところからスタートしました。そこでまずは、Googleの提供するDWH(データウェアハウス)であるBigQueryにデータを統合するところからスタート。

(※DWHとは・・・あらゆる情報を時系列にまとめたデータベースのこと。ここではデータのwarehouse=「倉庫」と考えていただいて問題ありません)

BigQueryの特徴は他のDWHと比べても圧倒的に処理スピードが早く、ビックデータ解析に強いところです。

スマートドライブの場合、地理的なデータ(いわゆる緯度経度)を扱うのですが、BigQueryは地理的なデータを解釈するための”GIS関数”の扱いにも長けています。大量のデータを高速で処理しつつ、地理的なデータに対しても柔軟に対応できるというところで、スマートドライブとは非常に相性の良いものでした。

 

この時同時に「Tableau」というBIツール(データ分析ツール)を導入します。しかしここで問題が起きました。Tableauは自身のサーバーへデータを抽出し、その中で分析処理を行います。その結果、せっかくのBigQueryの高速処理能力を活かせなくなってしまったのです。

さらに利用していくうちに、スマートドライブが扱うセンサーデータ自体がTableauのようなセルフサービス分析とは非常に相性が悪いということも分かってきました。加えて、立ち上げ期から抱えていた”分析の集計ロジックが属人化してしまう”という状況も変わらないままだったのです。

「『お互いが何をやってるか分からない』『他のアナリストがつくったダッシュボードのロジックが理解ができない』という状況から抜け出せないままだった。」と石川は言います。

セルフサービス分析とは?

ここで言うセルフサービス分析とは、エンジニアではないユーザーが、それぞれで元データに対して自分で分析を行いアウトプットを出すことを言います。

エンジニアに頼らずアウトプットが出せるので、開発の手を止める必要がないというメリットがある一方で、一般的にセルフサービス分析はデータガバナンス(データの統治)と両立が難しい概念でもあります。石川は「この点は大手IT企業であっても失敗を繰り返した部分」だと言います。

「セルフサービス分析を進めていくと、それぞれのData Analystが『この中間テーブルがあると分析しやすい』と思う中間テーブルをそれぞれで個別につくってしまう現象が発生します。そうなると、他の人が作成した中間テーブルをつかって集計をした場合、間違った集計結果を導いてしまったり、そもそもテーブルの意味が解釈できなかったりといった状況を誘発します。いわゆるローカル定義が大量にできてしまう状況です。」

一旦アウトプットのようなものは出せても「これはどういうロジックですか?」という指摘に誰も答えられなくなってしまうのです。セルフサービス分析をすればするほど、何がどうなっているのか分からずメンテナンスができない(=データガバナンスがきいていない)という状況に陥ります。

特にIoTセンサーデータは相性が悪い

石川は例として、一般的な発注に関するトランザクションデータを取り上げました。こういったデータであれば、ぱっと見てどんなことができそうか(発注日ごとに金額の項目を合計すれば、日毎の売上が算出できそう、等)が分かると思います。しかしセンサーデータの場合、膨大なデータからどのように算出すべきかを理解するのは至難の業です。結果それぞれのData Analystが独自の方法で算出しようとするため、他の人が見たときに何が起こっているのが全く理解できなくなってしまいます。

このような背景を踏まえて、「セルフサービス分析ではスケールしない」という前提に気付き、次のPhase:成熟期へ以降していきます。

変化期~成熟期(Lookerの導入)

上記の危機感のもと、スマートドライブではデータ分析基盤にLookerの採用を決定します。Lookerを導入した理由は主に3つあります。

集計ロジックのブラックボックス化を許さない

Lookerの特徴は、SQL(データにアクセスするためのプログラミング言語)をそのまま原文で保持するのではなく、LookMLを使い”意味を定義できる”点です。

「『集計ロジックはコレ』という概念だけを定義できるので、シンプルに誰にとっても読みやすくなります。さらにこれをバージョン管理し『誰がどのタイミングで、どんな理由で、何の変更を加えたか。誰がレビューし、どのダッシュボードに影響するか』等がすべてログに残るようにしました。このようにすることで集計ロジックのブラックボックス化を徹底的に排除することにしたのです。」

Data Analystの業務を労働集約から知識集約に

これまでのセルフサービス分析という構造では、それぞれの行っている分析内容がどうしても”人”という単位で断絶されてしまいます。それを上記のように管理することで、すべてのAnalystの中で、誰が何のためにどういった分析をしたかが共有されます。「つまり、正しいLookMLが作られれば作られるほど、一人あたりのアウトプット出来る量が増えていくことになるのです。」

このことを”労働集約ではない知識集約”と石川は呼んでおり、仮にAnalystの人数が増えなくてもビジネスをスケールさせていく仕組みをつくることに成功しました。

サービスへの組み込み(Embedded Analytics)

実は元々BIツールを検討した背景も、弊社の提供する車両管理サービス等へ組み込むことを前提に考えてのことでした。その点で見ても、Lookerはカラム単位やレコード単位ロでアクセス権限を自由に設定できたため、セキュリティ要件をクリアするダッシュボードを作成する運用フローを組むことも容易でした。組み込む際もiframeベースやAPIベースで自由に埋め込みができます。結果としてスマートドライブのサービスと相性が非常に良く、実際に現在も開発を進めている状況です。

Mobility DWHの構築支援

ここまで、スマートドライブが歩んできたデータ分析基盤構築の歴史と現在について紹介してきました。お蔭様でここ数年、モビリティデータを活用したデータ分析や事業開発についてご相談をいただくケースが増えてます。しかしすべての企業様がエンジニアリングに強い訳ではありませんので、最初のステップであるデータを統合するDWHの構築自体のハードルが高い場合もあります。そこで、これまでの経験を活かし、スマートドライブは『Mobility DataWarehouse』という形で、DWHの構築そのものから支援させて頂くことを開始しました。

実際に、移動データ・測量データ・顧客データ・売上データといった様々なデータをMobility DWHに統合し、様々な分析から事業を共創開発しています。

ゼロからデータを収集して加工、整形、分析、さらにそこからインサイトを抽出するとなると、数年といった単位の時間がかかりますが、データの収集加工のフェーズを弊社が支援させていただくことで、数か月でインサイトの取得まで到達できるような構造になっています。「ですので、Mobility DWHと分析コンサルティングを同時にご利用いただくことで、弊社が辿ったPhase1:立ち上げ期~Phase3:成熟期までを一気にタイムワープできるようになるイメージです。」と石川も語ります。

まとめ

石川がお伝えした内容は、DXやデータを利活用した新規事業の開発にミッションを持つ方にとって、非常に参考になる話が多かったのではないかと思います。以下がセミナー内容のまとめです。

 

  • DXにはデータ収集、統合、価値創出という大きく3つの階層がある。
  • 中でも、統合分析基盤の構築とデータの意味解釈を行う専門家の部分がボトルネックになりやすい。
  • ボトルネック解消のために非エンジニアがデータの利活用を推進しようすると、どうしてもセルフサービス分析のBIツールを使うことになる。
  • しかし難解な元データでセルフサービスを作り込んでしまうと、データガバナンスがどんどん効かなくなくなってしまう。
  • かといってガバナンスのとれたデータ分析基盤を構築するのには、それなりのコストと時間を要する。
  • 短期間でDXを実現させたい場合は、データ分析に強い企業等と得意領域を持ち寄りながら、企画段階から連携し共創していくことが重要である。

 

最後に

本セミナーでは石川のパート以外にも、Looker社今井氏によるLookerの説明、電算システム社清水氏によるLooker活用事例の紹介も行われました。途中で機械トラブルで音声が乱れる部分もあったものの、全体を通して80名を超える参加となり、大いに盛り上がりを見せていました。

セミナーの中では弊社の実際の分析事例についてもお話させていただき、参加者の方から多くの質問もいただきました。皆さまありがとうございます。

また、石川が講演で使用した資料はこちらでダウンロードが可能です。資料には実際に弊社が共創している事業事例やLookerを利用したレポーティング図も掲載しています。こちらをご覧いただければ、より一層モビリティデータの活用に必要な分析基盤について、理解が深まるのではと思います!

最後に、今回セミナー登壇にお声かけ頂いた株式会社電算システム広川さま、Looker今井さま。貴重な機会をありがとうございました。

 

引き続き、どうぞ宜しくお願いいたします。

関連記事

TOP