Box AI Enterprise EvalでGemma 3を検証

公開日:2025.03.18 Box Japan

適切なAIモデルを選択するためには、パフォーマンス、コスト、インフラ制御のバランスを慎重に判断する必要があります。Boxは最近、Googleの新しいオープンソースモデルGemma 3を検証し、多くの企業にとって重要なタスクである文書内の非構造化データからメタデータを抽出する能力に焦点を当てました。我々の調査の結果、オープンソースのモデルは、多くの利点を提供しながらも、パフォーマンスでは独自のモデルに匹敵するという説得力のあるストーリーが明らかになりました。

Gemma 3の実力を測る

Box AI Enterprise Eval (All fields) V2

我々の評価では、メタデータ抽出の2つの重要なメトリクス、すなわち精度（抽出された情報がどれだけ正しいか）と抽出量（どれだけ多くの情報を抽出できたか）を中心に実施しました。Gemma 3をGoogleのGemini 1.5 Flash、Gemini 2.0 Flash、そしてその前身であるGemma 2と比較しました。

精度に関しては、驚くほどフラットでした。Gemma 3はGemini 1.5 Flashと同等の精度を達成し、Gemini 2.0 Flashに対しても僅差を追いかける結果となりました。これらの数値は、各モデルがどれだけのフィールドを識別し、正しい値を示したかを示しています。注目すべきは、Gemma 3はGemma 2よりも大幅に改善され、精度が大幅に向上していることです。

抽出量では、Gemma 3がGemini 1.5 Flashを上回り、強力な実力を示しましたが、Gemini 2.0 FlashはテストしたGoogleのモデルの中でトップを維持しました。

Box AI Enterprise Eval (8K)

これらの結果は、Gemma 3が単に「オープンソースのモデルとして優れている」だけでなく、全体的に高性能なモデルであることを示しています。このレベルのパフォーマンスとオープンソースのコスト的な利点が相まって、Gemma 3は強力な潜在力を秘めていることは明らかです。我々の分析によれば、Gemma 3の運用コストはGemini 1.5 Flashの約半分であり、コスト面でも魅力的なプロファイルとなっています。

Gemma 3のようなオープンソースモデルを検討する理由

パフォーマンスやコストだけでなく、Gemma 3のようなオープンソースモデルには、検討する価値のある戦略的な利点が他にも複数あります。

カスタマイズと柔軟性： Gemma 3は、利用可能な設計図を備えた強力なエンジンとお考えください。例えば、法律事務所の法律文書に関するトレーニングや、契約書分析の精度を大幅に向上させるなど、特定のタスクのために広範囲な微調整が可能です。また、独自のデータセットを統合し、お客様独自のデータに適応させることも可能です。
透明性：オープンソースのコードにより、監査、バイアス検査、直接デバッグが可能になり、信頼が醸成され、責任あるAIの使用が保証され、倫理的な考慮事項に対処することができます。このオープン性は、モデルの出力に対する信頼性を構築する上で極めて重要です。
コントロールとベンダーによる囲い込みの低減： Gemma 3のようなオープンソースのオプションを選択することで、柔軟性と制御性が得られ、カスタマイズも可能で、単一のベンダーへの依存を避けることができます。Gemma 3を自社でホストすることから、技術的な専門知識と継続的なメンテナンスが必要となるものの、データプライバシー、インフラの最適化、長期的なコスト削減の可能性があります。

企業イノベーションのためにモデルの柔軟性を取り入れる

Gemma 3のような強力で手頃な価格のオープンソースAIモデルの台頭は、AIを利用する企業にとってターニングポイントとなるでしょう。オープンソースのモデルは、より多くの制御、カスタマイズ、透明性、低コスト化を望む企業にとって良い選択肢となります。これは、AIを自社でホスティングしたい企業にとっては特に当てはまります。

Gemma 3に関するBoxの分析は、AIを使用する企業にとって重要な戦略を浮き彫りにしています。新しい独自開発モデルが最新の機能を提供する一方で、オープンソースの代替モデルは性能面ですぐに追いつき、大幅なコスト削減を実現することが期待されています。今回の比較では、Gemini 1.5のフラッシュリリースからGemma 3のリリースまでに6ヶ月が経過しています。そうすることで、企業は費用に対する実用的なアプローチを維持しながら、AIの進歩の最前線にとどまることができるでしょう。

※このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年3月15日付投稿の翻訳です。
著者：Vishal Naik, Head of Product Marketing, Platform at Box
原文リンク：https://blog.box.com/testing-gemma-3-box-ai-enterprise-eval

＜関連コンテンツ＞