
最高データ責任者(CDO)や最高アナリティクス責任者(CGA)と話をする中で、最もよく耳にするテーマの一つが、データサイエンティストや機械学習エンジニアの採用と定着の難しさです。プリンシパルデータサイエンティストが退職すると、大規模なデータサイエンスの取り組みは頓挫してしまいます。また、各モデルを本番環境で管理できるほど迅速に機械学習エンジニアを採用できないため、企業全体へのAI統合の取り組みが、少数のプロジェクトにとどまってしまうことも考えられます。
これは広く蔓延している問題です。2021年のガートナーの調査によると、IT幹部のほぼ3分の2(64%)が、AIや機械学習といった新興技術の導入における最大の障壁として、熟練した人材の不足を挙げています。データサイエンティストの採用には、IT関連職種全体よりも20%長く、米国企業の平均採用期間の2倍以上かかります。機械学習エンジニアの需要はさらに高く、求人数はITサービス全体の30倍の速さで増加しています。
参照: 採用キット: データサイエンティスト ( TechRepublic Premium)
企業は、自動化の強化、大規模な顧客体験のパーソナライズ、収益向上のためのより正確な予測の提供といった期待に基づき、AIに数十億ドルもの投資(データチームの拡大を含む)を投じてきました。しかし、これまでのところ、AIの潜在能力と成果の間には大きなギャップがあり、AI投資のうち、大きなROIを生み出しているのはわずか10%程度に過ぎません。
CDAOにとって、これは重要な問いです。少数のデータサイエンティスト、そして場合によってはさらに少ないMLエンジニアで、短期間のうちに企業全体にAI/MLの応用価値をどのように提供できるでしょうか?言い換えれば、十分な人員と十分なトレーニングを受けたチームの構築を何ヶ月も何年も待つことなく、小規模なデータサイエンスチームが大きな価値を生み出し始めることができるでしょうか?
MLOpsチームは、これらの役割が埋まるまで待つのではなく、データサイエンスの人員を直線的に増やすことなく、より多くのMLモデルとユースケースをサポートする方法を見つける必要があります。では、どうすれば良いのでしょうか?いくつかのヒントをご紹介します。
既存のチームメンバーの強みを認識する
チームメンバーはそれぞれ異なる強みとスキルを持ち寄ります。データサイエンティストは、データをモデルに変換し、ビジネス上の課題解決や意思決定を支援することに長けています。しかし、優れたモデルを構築するために必要な専門知識とスキルは、それらのモデルを本番環境対応のコードで実際に運用し、継続的に監視・更新するために必要なスキルとは異なります。一方、MLエンジニアは、ツールとフレームワークを統合し、データ、データパイプライン、主要なインフラストラクチャが連携して動作し、大規模なMLモデルの本番環境への導入を確実に行えるようにします。
データサイエンティストは、モデルをMLOpsチームに引き渡して本番環境への展開を任せたいと考えるかもしれませんが、このプロセスは必ずしも効率的とは限りません。データサイエンティストとMLOpsエンジニアは同じ言語を話さず、仕事の進め方や考え方も異なるため、一方のチームが要件(例えば、必要なデータ前処理)を明確にし、もう一方のチームがそれを満たそうとする際に、時間のかかるボトルネックが発生することがよくあります。
さらに、本番環境でモデルの動作に不具合が生じたり、精度が低下したりした場合、MLエンジニアはどのようにして問題を検出し、データサイエンティストにモデルの再トレーニングが必要になる可能性があることを警告するのでしょうか?問題の診断にはチームワークが必要になる場合があります。本番環境スタックのエラーなのか、それともモデル自体に問題があるのか。これは、データサイエンティストが本番環境スタック内でモデルの可視性を確保するのに苦労する中で、デプロイメント時に見られるのと同じコミュニケーションと調整のボトルネックにつながる可能性があります。
クラウド導入の失敗を繰り返さないよう
10年前、ITインフラチームは自社でプライベートクラウドを構築しようとしていました。しかし、構築には予想以上に時間と費用がかかり、維持管理にはより多くのリソースが必要になり、パブリッククラウドが提供するセキュリティや拡張性といった最新機能も不足していました。そして、これらの企業はコアビジネス機能への投資ではなく、インフラ整備に多大な時間と人員を投入することになったのです。
多くの企業が現在、MLOpsのほとんどの部分において、同じようなDIYアプローチを繰り返しています。MLを本番環境に導入するための最も一般的なアプローチは、Apache Sparkなどの様々なオープンソースツールを組み合わせたカスタムソリューションであることが多いです。
これらは多くの場合非効率であり(推論実行回数と所要時間で測定)、特にモデルの継続的な精度を経時的にテスト・監視するために必要な可観測性が欠如しています。さらに、これらのアプローチはあまりにも特化しているため、企業の様々な部門における複数のユースケースにスケーラブルで反復可能なプロセスを提供することはできません。
重要な業務に人材を投入し、他のすべてを自動化する
そのため、CDAOはビジネスの中核となるデータサイエンス関連の能力を構築すると同時に、MLOpsの残りの部分を自動化するテクノロジーにも投資する必要があります。例えば、小売金融サービス企業は、保険、クレジットカード、住宅ローンといった各サブバーティカルの業界専門知識を持つデータサイエンティストを個別に雇用することで、事業部門ごとにより詳細な顧客リスクプロファイルを作成することに価値を見出すかもしれません。しかし、事業部門ごとに専任のMLエンジニアを雇用しても、同様のビジネス上のメリットは得られません。むしろ、コストの増加と生産性の低下を招くだけです。むしろ、MLモデルを開発したチームや使用されているモデル構築フレームワークに依存しない、本番環境でMLモデルを展開および管理するための標準化されたプラットフォームがあれば、ビジネスはより良くなります。
はい、これはよくある「構築 vs. 購入」のジレンマですが、今回は、OpEx コストだけでなく、AI 投資が企業全体に迅速かつ効果的に浸透しているかどうかを適切に測定することが重要です。より優れた製品や顧客セグメントを通じて新たな収益を生み出すか、自動化の推進や無駄の削減を通じてコストを削減するかは、その判断基準となります。
データサイエンスとMLOps分野の採用は依然として困難ですが、CDAOは限られたデータサイエンティストチームであっても、AI/MLから即座に価値を提供し始めることができます。最大の障壁となるのは、「すべてを社内で構築する必要がある」という考えです。AI/MLの構築と運用に必要な様々な機能を理解し、最適なツールで自動化できる機能を特定することで、CDAO組織はたとえ少人数のチームであっても、(人員)規模を超えた成果を上げることができます。

クリスティーナ・モランディは、Wallarooのカスタマーサクセス・ディレクターとして、最先端技術を通じてフォーチュン500企業や政府機関を支援してきました。Datalogueは、創業間もないスタートアップ企業から、機械学習と自動化を駆使したNIKE傘下のエンタープライズデータ統合製品へと変貌を遂げました。また、BP Americaの情報管理責任者およびGIS契約社員として、史上最大規模の環境・人間活動モニタリングプロジェクトに8年間携わりました。