待ったなしだった、2つのバージョンのTableau Serverの統合
KADOKAWAグループには、長く2つのTableau Serverが存在していた。プロジェクト立ち上げ当時のバージョンは、バージョン10.5とバージョン2021.3だ。バージョン10.5は古いもので、セキュリティ上でリスクがあった。また、ライセンス料を二重に払っていることも、コストの面で非常に効率が悪かった。
吉田：
バージョン10.5は、サポートも終了してしまっていて、何か問題が起きても対応できない状態でした。運用面でもデータを共有する際に、そのデータを必要とする人がどちらのサーバーを使っているのかを判断してなければならず、大きな手間となっていたのです。
バージョン10.5のライセンスの更新が、2022年9月に迫っていた。その期日までになんとか統合を完了しなければならないという、待ったなしの状態だったのだ。こうして、22年の2月にTableau Server統合プロジェクトがスタートする。
吉田：
2月のタイミングで、その期の予算の申請は終わっていたので、予算外のプロジェクトとして立ち上げ、予算申請したり協力パートナーを探したりするなどの下準備が、4月末までかかりました。その後の5月から9月までが、サーバーを立てたりデータを移行したりするといった実作業の期間でしたが、なかなか厳しいスケジュールでしたね。
最初の下準備で苦労したのが、用意すべきサーバーのスペックをどう決めるかだ。必要なユーザ数、計算量、データ量、データの更新頻度なども含め、想定して決めなければならない。Tableau Serverの販売会社であるセールスフォースの担当者と相談しながら、時間をかけて検討していったという。
松島：
ユーザー数は2つのバージョン合わせて2900人ほどでした。この人数を抱えて、オンプレミスでサーバーを立ち上げるのは珍しいと言われましたね。まずは、安心できるところまでのバッファを積み上げながら、スペックを決めていきました。
KADOKAWA Connected（以下、略称KDX）流、独特のロール（役割）の考え方。スクラムマスターがプロジェクトを成功に導く
プロジェクトリーダーを吉田が担当し、メインの開発エンジニアを松島が担った。さらにもう一人同じ部のサポートエンジニアに入ってもらった。そして今回のプロジェクトの成功の鍵を握る一人として重要だったのが、KDXのPMO部（※）より派遣されたスクラムマスターだ。
PMO部とはProject Management Officeの略称で、プロジェクトに直接参画し、各フェーズでリソース管理を担う。また、各チームが単独で案件管理ができるようにするために、スクラムマスターの育成もPMO部の大きな役割の一つだ。
※PMO部の部署情報は2022年時点のものです。
このようにKDXでは、個々のロール（役割）を明確にしてサービス型チームを作るのが大きな特徴だ。今回もこのロールの考え方がうまく機能したという。
吉田：
スクラムマスターには、フェーズごとにプロジェクトが間に合うかどうかの判断をお願いできるので、今回は何度も助けてもらいました。リソースが足りないとなったら、「何か諦めるものがありませんか」や「延ばせるものはありませんか」などと聞いてくれて、工数を減らすことで調整してもらえたのは、すごくありがたかったです。
松島：
自分たちでリソース管理をしなくていいのは、エンジニアとして、作業に集中できて本当によかったですね。
多くの困難が待ち受けていた統合作業。できるかどうか分からないことに挑戦
プロジェクト中は、多くの困難が待ち受けていた。その一つが、バージョン10.5から一足飛びにバージョン2021.3にアップデートできず、一度別のバージョンを挟む必要があることが発覚したことだ。
松島：
当初の構想の中にはなかった作業で、急遽、中間バージョンのサーバーを立てなければなりませんでした。しかも移行する際に、微妙に設定がずれてしまい、なかなかうまくいかなかったのです。公式ドキュメントにもないような設定をしなければならず、サポートの方に相談しながら、試行錯誤の末なんとかクリアしました。
吉田：
私も長年Tableau Serverに携わっていますが、今回は裏技にかなり詳しくなりましたね。
データの転送にも苦労した。ネットワークの影響からか、どうしても転送時にデータが破損してしまう。そのためデータを作業者のPCに一度落としてから、それを再転送するという手法が取られた。ダウンロードに5時間、アップロードに5時間かかる作業だった。
吉田：
泥臭い地道な作業でしたね。この時は、スクラムマスターが5時間単位でスケジュールを調整してくれました。あと一回失敗したら間に合わない、というような状況まで追い込まれました。
そして最後の最後で、新サーバーとはネットワークで繋がっていないデータベースから、データを取得していることが発覚した。そのデータベースに、新たなネットワークを通すことは現実的ではないことも判明。そこで吉田は決断する。古いサーバーからデータを取得し、新サーバーにプッシュするバッチ処理プログラムを一人で1週間で作り上げた。
吉田：
プロジェクトが終わる間際に発覚したので、本当に大変でした。「しょうがない、作るしかない」と全部一人で作りました。
印象的なのは、こうした苦労話をしている二人が、なんとも楽しそうに話していることだ。逆にどんなところにやりがいを感じたのだろうか。
松島：
できるかどうか分からないことに挑戦し、大変なところを乗り越えて統合を実現できたのは、成功体験としてとてもよかったです。やっている最中は泥臭い作業も多く、あまり余裕はなかったのですが、統合が完了して本当に動くのが分かった時は感動しましたね。
吉田：
利用者から「統合してもらって作業が楽になりました」というような声を聞いた時は、統合できて本当によかったと思いました。
こうした声からも分かるように、利用者からの評判は上々だ。Tableauを使い込んでいる利用者からは、バージョン10.5ではできなかったことができるようになってよかったという喜びの声も上がった。また統合後のサーバーでは、アップデートすることで新しい機能を追加できるようになり「新機能を求めている利用者が多くいると分かったのも嬉しい」と松島は言う。
また、その年度の優れたプロジェクトとしてKDX社内で「社長特別賞」を受賞し、経営陣からも高い評価を得た。難易度の高いプロジェクトをやり切ったことが、この評価につながっている。
今、KADOKAWAグループでは、Tableauを利用してデータ活用ができる人財の育成に力を入れている。その効果もありTableauの利用が増加しており、当初の予想よりも早く、サーバースペックが足りなくなる可能性が出てきているという。
吉田：
嬉しい悲鳴ではあるのですが、これほど早くとは思っていませんでした。改めてサーバースペックを再検討したいと思っています。
縁の下の力持ちがデータエンジニアのやりがい。データの価値を伝えたい
今回、吉田も松島も、Tableau Serverをメンテナンス管理する「Integrated Data Service部」のメンバーとして話を聞いているのだが、実は、データ基盤上にデータを提供する役割を担う「データウェアハウスチーム」でも活躍している。KDXでは、本人のスキルや特性とやりたい仕事がマッチすれば、比較的要望を聞いてもらえるという。
吉田：
本人の「やりたい」という意志さえあれば、徐々に仕事を回してもらえる可能性はあります。「やりたい」と言い続けることが大切です。
最後に、KDXではどのような人が活躍できるのか、入社を検討している人へのメッセージをもらった。
吉田：
データ系エンジニアは、縁の下の力持ちのような存在です。ニコニコ動画の企画を考えたり、書籍の販売を担ったりするような方々が見る数字を、Tableauで可視化する際に、そのインフラとなるサーバーを管理するという役割を担っています。表立って目立つことはないですが、インフラを支える人は絶対に必要です。ここにやりがいを感じる方は、部にも多いですし、入社しても活躍できると思います。
松島：
データの価値をきちんと伝えられる人が、この仕事には合うでしょう。データのクオリティの重要性を利用者に伝え、その使い方を教えるのが上手な人が部内にも多いと感じています。
TEXT：橋本 史郎
【KDXで一緒に働く仲間を募集しています】
KDXの採用情報は下記をご確認ください。
PROFILE
Integrated Data Service部 Data Management課
吉田 美奈子2013年ドワンゴ新卒入社後、エンジニアとしてプレミアム会員、チャンネル会員の課金システムバックエンドの運用保守と、新課金システム開発を担当。その後ビッグデータ分析を行う数値基盤セクションへ異動し、ニコニコ事業のBI(Tableau)ダッシュボード作成、データウェアハウスの開発・運用業務に従事。2018年から課長としてニコニコ事業のデータプラットフォームを構築・運用する部署全体を担当。その後KADOKAWA Connectedへ転籍し、現在はサービスオーナーとしてKADOKAWAグループの案件に参加。データ基盤、基盤上のデータ整備、活用について、KADOKAWAグループ全体に向けて最適なソリューションを提供している。
Integrated Data Service部 Data Solution課
松島 佑樹データエンジニア。2019年にドワンゴへ新卒入社後、数値解析ツールやデータサービスの提供に従事。
数値基盤セクションでデータウェアハウスの開発・運用、ドワンゴ社内向けTableau Serverの保守・運用に従事。また、株式会社KADOKAWA Connectedと兼務し、KADOKAWAの機械学習を用いた需要予測プロジェクトに参画。2021年1月株式会社KADOKAWA Connectedに転籍。転籍以降は上記に加えて、KADOKAWA向けTableau Serverの保守・運用のサービスオーナーも行う。
