キーノート1こんにちは。Summit2024が開催されていますね。現地参加しているメンバーから、キーノートの速報をお届けします。Summit2024は年に1度実施されるDatabricksの年次カンファレンス。サンフランシスコで開催され、全世界から1.6万人が現地で参加、6万人以上がオンラインで参加。140か国から参加者が集まり、APACからは700名、日本からは250名が参加しているとのこと。日本からの参加者は昨年から倍増しているそうで、Databricksの注目の高まりを感じます。日本からの参加者に向けた特別セッションもあり、それも含めると次のような日程です。Summitの主要なテーマや方向性が発表される13日のキーノートの内容を速報でお届けします。Ghodsi氏の登場で幕を開けたキーノート。多くの企業がデータ+AIの企業になりたい、競争力を高めるためにこの5年間データとAIが重要になると言っている。そのためにはデータとAIの民主化が必要になる。課題は「AIを本番業務で利用すること」「セキュリティ確保」「断片化するデータスタックの統合」。AIを実行していかないといけない。Databricksはこの課題にオープンで、包括的なプラットフォームを提供することで応える。UniForm先日買収をしたTabularのニュースを報告。Icebergを立ち上げたメンバーが創業した企業で、Icebergの開発に深く関わっている。Lakeの技術で実現してきていたが、Tabularの技術を活用しIcebergにも対応できるようになる。Truthの実現に近づけることができる。CatalogのOSS化を発表。Catalogではテーブル、ファイルだけではなく、データモデルやダッシュボードなど、あらゆるアセットを統合して管理することが可能。Catalogを呼び出して使えるようになる。今後OSSのコミュニティ、ユーザーの支援を受けながら大きく成長していくことが期待される。Serverlessレイクハウス上でデータ活用をするレイヤすべてのサーバレス化を発表。AIもDWHもStream処理もETLもあらゆるコンピューティング機能を実際に使った分だけの支払いで利用することが可能。サーバレス化は7月1日より順次行われるとのこと。Ghodsi氏のあとは主要な製品カテゴリのアップデイトの共有がありました。中心的な発表を記載します。AI一般的なAIはインターネットのデータを使ってトレーニングしている。Databricksで作れるのは汎用モデルではなく、自社データをもとにした専用のモデル。データ自体の理解はもちろん、販売する製品や自社特有のメタデータなども考慮しないと有効なデータ活用にはつながらない。AIを活用は、特定の(モノリシックな)モデルの活用で完結するほど単純ではなく、複数のモデルやコンポーネントを組み合わせた、自社独自のモデルを作っていく必要がある。その点でDatabricksは自社専用のモデルを包括的に支援するアップデートを追加している。SQLを発表したのは2021年。該当製品は最も成長がはやく、当時372秒かかっていた処理が2024年には5秒に短縮している。顧客は何もせずにこれだけの性能改善を得られている。某雪印のCDWHとTPC-DSのベンチマークで比較すると性能差は顕著で30TBのETL処理ならコストは10倍、1TBでも2倍レベルの差がある、何もチューニング市内巣の状態で計算処理は60%高速、BIのユースケースでたとえば512人が同時接続すると10倍の費用差が出てくると発表している。SQLから直接AIを実行可能に。AI/BIに名称変更。これまで以上に、容易にグラフィカルにダッシュボードを作成することが可能。共有や閲覧制限の管理も実施できる。それに加え自然言語で自社データの内容に問い合わせができるGINIEを新たに発表。Catalogと連動しお客様のデータの内容やメタデータを理解したうえで、自然言語の問い合わせに回答をしてくれます。ダッシュボードでKPIだけでみたあと、その深堀りの分析や別の角度での分析を自然言語で実現するというような使い方が可能になります。(ただし現時点ではDatabricksにログインしないと該当機能は使えない、実際にはもっとも恩恵を受けるのは、Databricksユーザーでない社内の一般ユーザーが共有されたBIをみて~がいうシナリオと考えられるため、もう一段機能改善が期待される)キーノート速報2に続く初日のキーノートで発表された内容はここまで。Catalogや、噂されているデータ取り込みの新規機能の話はまだ出ていません。明日のキーノート2で発表されるでしょうか。明発表があれば、次のブログ記事アップデイトを報告します!!記事を更新しました。双日テックイノベーション(旧:日商エレクトロニクス)特設サイト「Azure導入支援デスク」サイトマスターです。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。Preferences。