事前学習から構築したSLMの開発レポートを公開 - Huawei Cloud Ascend A3 NPUを活用 -
Huawei Cloud上のAscend A3 NPU環境で実施した事前学習モデルで構築した小規模言語モデル（SLM）の開発・学習・推論検証に関する実践知をまとめたレポートを公開しました。また、本内容の一部は2026年６月19日に実施されたHuawei Japan様主催の「Huawei Japan コンピューティングエコシステム交流会」でも講演しました。
取組概要
本レポートでは、Huawei Cloud上のAscend A3 NPU環境を対象に、PyTorch系ワークフローとの親和性、MoE系モデルを含む事前学習の安定性、教師ありファインチューニング（SFT）、構造化出力、推論API化までを一連の流れとして検証した内容を紹介しています。
単一のベンチマーク結果だけではなく、LLM開発を実務で継続するうえで重要となる、開発環境の整備、学習の安定性、メモリ効率、データやテンプレートの設計、推論実装への接続といった観点から、検証を通じて得られた実践知見を整理しました。
検証で確認した主なポイント
- 既存のPyTorch系ワークフローや開発知見を活かしながら、Ascend A3 NPU環境へ適応しやすい構成を確認しました。
- MoE系モデルを含む事前学習において、分散実行、チェックポイント保存、再開処理を含む学習の安定性を確認しました。
- 事前学習後のSFTに加え、構造化された応答や日本語データへの適応など、業務要件を想定した調整の可能性を検証しました。
- 学習済みモデルの推論サーバー化・API化までを一つの流れとして確認しました。
- 導入判断では、速度だけでなく、メモリ効率、分散安定性、再現性、推論連携などを含めた総合的な運用性の確認が重要であることを整理しました。
開発環境とソフトウェアスタック
開発環境は、PyTorch系ワークフローを中心に構成しました。torch-npuを用いることで、既存のCUDA向けPyTorchコードに大きな変更を加えず、Ascend NPU上で実行する流れを確認しました。
学習から推論までの検証
事前学習では、MoE系マルチモーダルアーキテクチャを含むモデルを対象に、長時間の学習ジョブにおける継続性、分散実行、チェックポイント保存・再開などを確認しました。
また、混合精度、勾配計算の節約、分散最適化などを組み合わせ、メモリ効率を確保しながら学習を継続できる構成を検証しました。
SFT・構造化出力・推論API化
事前学習後の工程では、構造化された応答、キーワード生成、質疑応答、日本語データへの適応などを想定したSFTを行いました。データ形式の整形やテンプレート設計、出力フォーマットの明示が、実用性を左右する重要な要素であることを確認しました。
推論面では、JSONのような構造化出力への対応可能性を確認し、推論サーバー側の制御と組み合わせることで、要約、分類、情報抽出、対話支援などの実システム接続を想定した検証を進めました。
検証を通じた実務的な示唆
今回の検証を通じて、Ascend A3 NPU環境は、LLMの事前学習だけでなく、SFT、構造化出力、推論API化までを含む開発基盤として検証に値することを確認しました。
一方で、導入にあたっては、バックエンド固有の設定、周辺ツールとの接続性、運用標準化のしやすさなどを、既存パイプラインや運用体制と合わせて確認することが重要です。本レポートでは、こうした導入時の確認事項も含め、実務での検討材料として整理しています。
レポートについて
本レポートの詳細は、以下の「Huawei Cloud Ascend A3 NPUでのLLM開発・学習検証の実践知レポート」から、フォームに記入の上ダウンロード頂けます。
enableXは今後も、マルチモーダル基盤モデルをはじめとするAI技術の開発・検証と社会実装に取り組んでまいります。本件で開発したSLMに関連するサービスサイトは以下です。
開発者と著者
小村 淳己 （コムラ ジュンキ）
enableXのエグゼクティブディレクター。テクノロジー統括として事業開発やプロジェクトを主導。これまで官民学に対し各種AI技術、パーソナライゼーションやLLMソリューション提供を通じた技術の社会実装を推進。電気工学修士&MBA。enableXでは、JDLA(日本ディープラーニング協会)、応用脳科学コンソーシアム、AIRoA （AIロボット協会）にも正式加入し、R&D活動も推進。
Nguyen Tuan Duc （グェン トアン ドゥク）
enableXの研究・技術顧問。多くの論文での受賞実績・特許保有。日本企業でAI研究・開発を主導。官民で複数のLLMを事前学習段階から構築し実装した実績を持つ。高速GPU適用やインフラ技術の実装にも精通。2018年にAimesoft（ベトナム）を設立し、LLMやマルチモーダルAIの先駆者としてAI技術の社会実装を日本および東南アジアで推進。東京大学博士（情報理工学）。
