データブリックスは、新たなコンピュートエンジン「Reyden」を基盤とするリアルタイム版レイクハウス「Lakehouse//RT」を発表。適切なガバナンスが施された「Delta Lake」と「Apache Iceberg™」テーブル上で直接、数万人規模の同時接続ユーザーやエージェントに対してミリ秒単位のクエリレイテンシーを実現 Lakehouse//RTにより、既存のリアルタイムサービング基盤と比較して最大16倍のパフォーマンス向上を実現。小規模データセットでは10ミリ秒、大規模データセットでも100ミリ秒未満の応答を達成 Lakehouse//RTのすべてのクエリは、「Unity Catalog」によるガバナンスの下でネイティブに実行されるため、個別の権限管理レイヤーや独自フォーマット、同期・CDCパイプラインが不要となり、レイクハウスとは別に、リアルタイムサービング基盤を維持管理するコストや複雑性を解消 データとAIの企業であるDatabricks（本社：米国カリフォルニア州サンフランシスコ、以下「データブリックス」）は、レイクハウスをリアルタイム対応へと進化させる「Lakehouse//RT」を、米国時間6月16日に発表しました。Lakehouse//RTは、適切なガバナンスが施された「Delta Lake」と「Apache Iceberg™」上のデータに対して直接リアルタイム分析を実行できるため、企業はミリ秒単位の応答パフォーマンスを実現するために、別のサービングシステムを構築する必要がありません。Lakehouse//RTは、現代のエージェント型企業が求める高い同時実行性と低レイテンシー要件に対応するために開発された、新しいコンピュートエンジン「Reyden」を基盤としており、現在ベータ版として提供されています。 リアルタイム・レイクハウスの実現 これまで、高い同時接続数と低レイテンシーを必要とする企業には、レイクハウスとは別に、リアルタイムサービングレイヤーを構築する以外に選択肢がありませんでした。しかし、そのサービングレイヤーには、ベンダーロックインやインフラコストの増加、ガバナンスの分断、常にコピーされたもののためリアルタイム性を欠くデータといった課題がありました。その結果、企業は「レイテンシーを受け入れるか、データ基盤を分断するか」という選択を迫られてきました。これは人間のユーザーにとって悩みの種ですが、常時稼働し継続的に推論を行いながら動作するAIエージェントにとってその仕組みは機能しません。エージェントの能力は、複雑な企業データへ、どれだけ高速にアクセスできるかに大きく左右されます。 Lakehouse//RTは、この課題を解消するために開発されました。適切なガバナンスが施されたレイクハウス上のDeltaおよびIcebergテーブルを直接クエリすることで、AIエージェントやユーザーは、データをコピーしたり移動したりすることなく、最新かつ完全で信頼できるデータにアクセスできます。その実行エンジンは、数万規模の同時接続ユーザーやエージェントをサポートしながら、一貫して低レイテンシーを維持できるよう設計されています。標準的な分析ベンチマークでは、毎秒12,000クエリで100ミリ秒未満のレイテンシーを実現しており、顧客環境では既存の専用リアルタイムサービング基盤と比べて、最大16倍の性能向上が確認されています。また、別のサービングレイヤーを構築する必要がなくなることで、それに伴うコスト、CDC・同期パイプライン、ガバナンス上の課題、独自技術によるベンダーロックインも解消されます。 データブリックスの共同設立者兼CEOであるアリ・ゴディシは、次のように述べています。 「この10年間で当社は、データエンジニアリングとデータサイエンスはSparkで、データウェアハウスをPhotonとLakehouseで実現し、現代のデータスタックにおける主要なワークロードを、単一のオープン基盤へと統合してきました。Lakehouse//RTは、そのエンジンスペクトラムを完成させる存在です。人々が求め、エージェントが必要とするミリ秒単位の処理レイヤーを提供します。私たちが『最高のデータウェアハウスは、レイクハウスである』ことを証明したように、今や『最高のリアルタイム分析エンジンも、レイクハウスである』と言えるでしょう」 詳細情報 Lakehouse//RTは、大規模なリアルタイムサービングという特定の要件を満たすために設計されています。主な特徴は、以下の通りです。 あらゆる規模で、ミリ秒単位のレイテンシー Reydenの完全非同期実行モデルにより、小規模データセットでは10ミリ秒、大規模データセットでも100ミリ秒程度の応答時間を実現