CATDOLL：Hunyuan大型モデルがテンセントクラウドを通じて正式に発表され、一般公開される

Fast Technologyは本日（9月7日）、「2023 Tencent Global Digital Ecosystem Conference」において、TencentのHunyuan Modelが正式に発表され、Tencent Cloudを通じて一般に公開されることを発表した。

Tencent Hunyuan Large Model は、Tencent がチェーン全体にわたって開発した汎用的な大規模言語モデルであると理解されています。パラメータスケールは 1000 億を超え、事前トレーニング済みのコーパスは 2 兆を超えるトークンで構成されています。強力な中国語作成機能、複雑なコンテキストでの論理的推論機能、信頼性の高いタスク実行機能を備えています。

パラメータ優先から実用優先へ

テンセントの渾源ビッグモデルは、「実践から生まれ、実践に向かう」実践レベルのビッグモデルであることは注目に値する。テンセントクラウド、テンセント広告、テンセントゲーム、テンセントファイナンシャルテクノロジー、テンセントミーティング、テンセントドキュメント、WeChat検索、QQブラウザなど、50を超えるテンセントの事業と製品がテンセントフンユアンモデルのテストに接続され、初期成果を達成しました。

渾源ビッグモデルはテンセントクラウドのMaaSサービスの基盤となるものとみられる。顧客は API を通じて Hunyuan を直接呼び出すだけでなく、Hunyuan をベースモデルとして使用して、さまざまな産業シナリオ専用のアプリケーションを構築することもできます。

テンセントグループの上級副社長で、クラウドおよびスマートインダストリーグループのCEOであるトム・トン氏は、「ビッグモデル生成技術を中核とする人工知能は、デジタル開発の次のラウンドの重要な原動力となりつつあり、業界の問題点を解決するための新しいアイデアももたらしています。ビッグモデルは、業界のシナリオに基づき、企業データと統合されて初めて最大の価値を引き出すことができます」と述べています。

自社開発のフルリンク技術

テンセントグループの副社長である江傑氏によると、テンセントのHunyuan大規模モデルは最初のトークンからゼロからトレーニングされており、モデルアルゴリズムから機械学習フレームワーク、AIインフラストラクチャに至るまで、フルリンクの自社開発技術を習得しているという。

テンセントは2021年以来、数千億、数兆のパラメータを持つNLPスパース大規模モデルを相次いでリリースし、CLUEリストの3大記録を破り、中国語理解能力の新たな飛躍的進歩を達成しました。

現在、業界における大規模モデルの応用はまだ限られており、主にフォールトトレランスが高くタスクが単純なレジャーシナリオに集中しています。テンセントはアルゴリズムレベルで一連の自社開発の革新を実行し、モデルの信頼性と成熟度を向上させました。

大規模モデルが「ナンセンス」になりやすいという問題に対処するため、テンセントは事前トレーニングのアルゴリズムと戦略を最適化し、主流のオープンソース大規模モデルと比較して、Hunyuan 大規模モデルの幻覚を 30% ～ 50% 削減しました。強化学習法を通じて、モデルはトラップの問題を識別することを学習しました。位置エンコーディングの最適化により、非常に長いテキストの処理効果とパフォーマンスが向上しました。そして、新しい思考チェーン戦略が提案され、大規模なモデルが人間のように実際のアプリケーションシナリオに基づいて推論し、決定を下すことができるようになりました。

さらに、テンセントは独自の機械学習フレームワーク「Angel」も開発しており、業界の主流フレームワークと比較してトレーニング速度が1倍、推論速度が1.3倍に向上しています。

テンセントのHunyuanモデルは、フルリンクの自社開発技術のおかげで、文脈の意味を理解し、長いテキストを記憶する能力があり、専門分野で複数回の会話をスムーズに行うことができます。さらに、文学創作、テキスト要約、ロールプレイングなどのコンテンツも作成でき、ユーザーの意図を完全に理解し、効率的かつ正確にタイムリーな応答を提供します。

中国情報通信研究院の「大規模事前学習モデル技術と応用の評価方法」の標準準拠テストにおいて、Hunyuan 大規模モデルは合計 66 の能力を評価し、「モデル開発」と「モデル能力」という 2 つの重要な領域の総合評価で現在最高得点を獲得しました。主流の評価セットである MMLU、CEval、AGI-eval では、Hunyuan 大規模モデルは、特に中国の科学、大学入試問題、数学において優れたパフォーマンスを発揮します。

上海財経大学の劉元春学長は、「中国は全リンク自主研究の助けを借りて、大型モデルに関連する人材と技術を蓄積し続け、徐々に体系的な産業チェーン、人材チェーン、技術チェーン、イノベーションチェーンを形成し、最終的に汎用人工知能の発展に向けた中国の道を見出し、デジタル技術のイノベーションで画期的な進歩を遂げるのに役立つだろう」と信じている。

テンセントはビッグモデルを全面的に採用

江傑氏は「ビッグモデルを開発する私たちの目標は、評価で高得点を取ることではなく、その技術を実際のシナリオに適用することです。テンセントはビッグモデルを全面的に採用していきます」と語った。

カンファレンスでは、江傑氏がテンセントミーティング、テンセントドキュメント、テンセント広告など複数のビジネスをテンセント渾源ビッグモデルに接続した後の実際の応用を実演しました。

たとえば、Tencent Meeting は、Hunyuan Big Model をベースにした AI アシスタントを作成しました。会議情報の抽出やコンテンツ分析などの複雑なタスクを完了するには、単純な自然言語コマンドのみが必要であり、会議後にインテリジェントな要約議事録を生成することもできます。実際のテストによると、Hunyuan Large Model は、コマンドの理解、会議中の質疑応答、会議の要約、会議の ToDo 項目など、多くの面で高いユーザー採用率を達成しています。

文書処理の面では、テンセントのHunyuanモデルは数十のテキスト作成シナリオをサポートしており、Tencent Docsがリリースしたインテリジェントアシスタント機能にも応用されています。同時に、Hunyuan はワンクリックで標準形式のテキストを生成することができ、数百の Excel 数式に精通しており、自然言語生成機能をサポートし、表の内容に基づいてグラフを生成します。これらの機能は現在社内テスト段階にあり、成熟した後にユーザーに公開される予定です。

広告ビジネスのシナリオでは、テンセントのHunyuan Big Modelはインテリジェントな広告素材の作成をサポートし、業界や地域の特性に適応し、何千人ものニーズを満たし、テキスト、画像、ビデオの自然な統合を実現します。さらに、Hunyuan の大規模モデルの機能に基づいて、インテリジェントなショッピング ガイドを宣伝することで、企業 WeChat などのシナリオで小売業者がサービスの品質と効率を向上させることができます。

テンセントクラウドは今年6月にモデル・アズ・ア・サービス（MaaS）ソリューションを立ち上げ、モデルの事前トレーニング、モデルの微調整、インテリジェントアプリケーション開発などをカバーするワンストップの業界大手モデルサービスを提供しているとのことだ。

最近、Tencent Cloud は Llama 2 や Bloom など 20 を超える主流モデルも完全に統合しました。 Hunyuan と同様に、これらはすべて直接の展開と呼び出しをサポートしています。お客様は、実際のニーズに応じて、Hunyuan またはオープンソース モデルに基づいて独自の業界ビッグ モデルを構築できます。