1年前、ガートナーはビッグデータプロジェクトの60%が失敗すると推定しました。これはひどいように聞こえますが、現実はさらに悪いです。ガートナーのアナリスト、ニック・ヒューデッカー氏は今週、ガートナーの60%という推定は「控えめすぎた」と述べています。実際の失敗率は？「85%近く」です。つまり、ここに来る人は皆、希望を捨てるべきです。特にヒューデッカー氏は、「問題はテクノロジーではなく、あなた自身にある」と述べています。
老犬、新しい芸
そうですね、正確にはあなたではありませんが、むしろ、ビッグデータを受け入れる準備が整っていない既存のインフラや企業文化に、最新のビッグデータ手法を移植することの難しさです。ヒューデッカー氏は、数々の失敗したビッグデータプロジェクトを経験した上で、失敗の主な原因は、既存のビジネスプロセスやアプリケーションとの統合に伴う難しさ、経営陣の抵抗、社内政治、スキル不足、そしてセキュリティとガバナンスの課題にあると語りました。
経営陣がビッグデータ・プロジェクトの大きな阻害要因となっているというのは興味深い。なぜなら、経営陣はこれまでビッグデータに最も力を入れており、決算説明会や報道陣の前で、ビッグデータがビジネスを変革する力を持っていると喧伝してきたからだ。実際、経営陣にプロジェクトの成果を尋ねると、NewVantage Partnersの調査によると、80%の経営陣が「大成功を収め、大きな価値をもたらした」と答えるだろう。
参照: 調査: 2017 年にビッグデータがビジネスインサイトをどのように推進しているか (Tech Pro Research)
しかし、これらのプロジェクトを実際に実行したチームと事後検証を行うと、ガートナーが明らかにした85%の失敗率が明らかになります。皮肉なことに、これはフォーチュン・ナレッジ・グループの調査で明らかになったように、経営幹部がデータよりも直感を信じる傾向に一部起因している可能性があります。NewVantageの回答者をもう少し詳しく調べると、彼らもまた、克服するのが困難な文化的なミスマッチを認めています。
これらの結果に何か憂慮すべき傾向があるとすれば、それはビッグデータを取り巻く組織的・文化的変革の難しさです。回答者の85%以上が、自社でデータドリブンな文化を醸成するためのプログラムを開始したと回答していますが、これまでのところ成功していると回答したのはわずか37%です。問題はビッグデータ技術ではなく、経営陣の理解、組織の連携、そして組織全体の抵抗にあります。人々がデータと同じくらい柔軟であれば良いのですが。
もちろん、人はそこまで柔軟ではありませんし、経営陣だけが悪いわけではありません。組織図を見れば、プロジェクトの責任者は誰になるのか、どの程度の範囲で運営するのか、そして誰が人員を確保できるのか（答えは「人員が足りない」です）をめぐって、政治的な争いが絶えません。ガートナーの調査によると、こうした状況のせいで、成功を収めるプロジェクトは事実上存在しないのです。
希望を失うべきではない。
ビッグデータの一筋の光
ヒューデッカー氏はさらに、「問題は、組織が本番環境に移行するための計画が必要だということです。ほとんどの組織は計画を立てておらず、ビッグデータをテクノロジーの買い物療法のように扱っています」と続けた。これは驚くべきことではない。なぜなら、老舗の大手企業から冒険的なスタートアップ企業まで、ビッグデータベンダーは皆、基本的に同じことを約束しているからだ。「高価で使いにくいテクノロジースタックを購入すれば、魔法のように[お好きな流行語を挿入してください。私は「360°顧客ビュー」が好きです]が手に入る」。
ビッグデータ関連のIPOに資金が集まり続けるのは、この魔法のような約束のおかげですが、同時に、企業がビッグデータ分野で惨憺たる失敗を喫する原因にもなっています。重要なのは、期待値をより正確に一致させることです。
参照: 経営陣が次の分析プロジェクトを台無しにする方法 (TechRepublic)
あまりにも急ぎすぎるという問題もあります。例えば、Hortonworksのロンダ・スワニー氏は、企業に対し、各部門の小さな成功を迅速に積み上げ、全社的な包括的な取り組みへと発展させるよう強く勧めています。これは現実的に思えますが（最初から大規模に展開するよりは確かに良いでしょう）、企業文化はプロジェクトの急速なスケールアップに対応できない可能性があり、小規模プロジェクトを成功に導いたDNAそのものが、より大規模なプロジェクトを成功に導くには不十分であることが判明する可能性が高いのです。
一般的に、ベンダーが顧客にビッグデータ活用を強く求めようとも、ここ数年のビッグデータ関連の失敗事例が蔓延していることを考えると、小さく始めてゆっくりと構築していく方がはるかに良い方法であることが分かります。実際、私はさらに一歩踏み込み、企業が開発者主導でこれらのプロジェクトを立ち上げ、実験を行い、有機的に成長させるべきだと提案します。ビッグデータプロジェクトの成功率が現在15%であることを考えると、今こそ何か新しいことに挑戦すべき時です。
