HEROZ Tech Blog

日本将棋連盟公認「将棋ウォーズ」や、AIを活用したシステム企画・開発を行う、AI企業HEROZの公式テックブログです。

HEROZ ASK を支えるインフラ技術

はじめに

こんにちは、HEROZ ASK の開発チームです。

herozask.ai

今回のポストでは、このプロダクトの開発で活用しているインフラ技術を紹介したいと思います。

『Azure OpenAI Service リファレンスアーキテクチャ』の賛同パートナーについて

日本マイクロソフト株式会社が公開する『Azure OpenAI Service リファレンスアーキテクチャ』に対し、賛同するパートナーを認定する新たなパートナープログラムです。 私たち HEROZ は、賛同パートナーとして参画しています。

heroz.co.jp www.microsoft.com

日本マイクロソフト株式会社や賛同パートナー企業と連携し、お客様が大規模な Generative AI を活用することをご支援いたします。

『Azure AI Hub』について

Azure AI Hub は Azure の AI サービスに関して利用している方、興味のある方向けの技術情報交換の場を提供することを目的として設立されました。

azure-ai-hub.connpass.com

賛同パートナーとしての参画がきっかけとなり、記念すべき第一回目の『Azure OpenAI Service 生成AI実践知』でイベント登壇させていただきました。

azure-ai-hub.connpass.com

オフラインのみのイベントで、参加者(60人)というクローズドなイベントだったにも関わらず、資料公開後、10.6K Views(2024/2/26現在)となり、ドクセルの人気のスライドにも掲載されました。Azure OpenAI Service に対する関心の高さが窺える印象的なイベントでした。

www.docswell.com

コミュニティとも連携し、お客様が Azure を活用することをご支援いたします。

『HEROZ ASK』アーリーアクセス版について

先日、私たちが新しく開発しているSaaS型プロダクト、HEROZ ASK の新バージョンがリリースされました。

heroz.co.jp

『Azure OpenAI Service リファレンスアーキテクチャ』を参考に、

  • 『Azure Application Gateway』による負荷分散
  • 『Azure API Management』による API 管理
  • 『Azure Key Vault』による秘密情報の管理
  • 『Azure OpenAI Service』による OpenAI モデルの管理
  • 『Azure Database for PostgreSQL - フレキシブル サーバー』によるベクトル検索
  • 『Azure Virtual Machines』による仮想マシンの管理

などのアーキテクチャを採用しています。また、リファレンスアーキテクチャを拡張し、

  • Microsoft Defender for Cloud』によるセキュリティ対策
  • 『Azure Communication Services Email』によるメール送信
  • 『Azure Monitor』、『Application Insights』による監視
  • 『Azure Logic Apps』による Slack レポート
  • 『Azure Backup』によるバックアップ運用
  • 『OpenAI』への API 切り替えによる新機能検証

など、エンタープライズ企業への導入や ChatGPT の新機能検証に、いち早く対応するため、改善の工夫をしています。

また、セキュリティ評価プラットフォーム「Assured」のような第三者サービスによるセキュリティチェックなどの調査も受け、正式サービス開始に向けた改善を進めています。

assured.jp

正式サービス開始に向けて

クローズドβ版』、『アーリーアクセス版』と段階的にサービス公開し、お客様からのフィードバックを頂戴しながら、機能改善やUIUXの抜本見直しなどを計画しています。また、『Azure OpenAI Service』以外のクラウドサービスへの対応も検討しています。

  • Amazon Bedrock』の『Anthropic Claude』への対応
  • Google Cloud Vertex AI』の『Gemini』への対応

など。

また、HEROZ は、NVIDIA V100/A100/H100 搭載サーバーを導入し、大規模な自社計算資源を保有しています。

heroz.co.jp

自社計算資源を活用した、

  • 業界特化したデータセットによる『ファインチューニングモデル』への対応

についても、検証を進めています。

他にも様々なクラウドオープンソース/論文技術に対する検証や機能改善も進めていますので、ご期待ください。

最後に

今後も HEROZ は、クラウド技術と生成 AI を活用したサービス提供について、今後も技術的にさらに踏み込んだ内容を発信して行きたいと思います。本ブログをご愛顧いただければ幸いです。最後までお付き合いいただきありがとうございました。