갤럭시 웜홀 시스템서 DGX A100급 이상 성능 구현…GPU 대안 가능성 제시
GPU·텐스토렌트 이종 분산 서빙으로 HBM 비용 절감…인프라 효율 개선
AI 인프라 기업 모레가 텐스토렌트 기반 시스템에서 대형언어모델(LLM) 추론 성능을 입증하며 GPU 중심 구조에 대한 대안 가능성을 제시했다. 성능과 비용 효율을 동시에 확보했다는 점에서 의미가 크다.
모레는 텐스토렌트 ‘갤럭시 웜홀’ 시스템에 자사 ‘MoAI 추론 프레임워크’를 적용해 GPT-OSS, Qwen, GLM, DeepSeek 등 최신 MoE 모델 기준 테스트에서 엔비디아 DGX A100급 이상의 성능을 달성했다고 밝혔다. 이는 기존 GPU 기반 인프라와 경쟁 가능한 수준으로 평가된다.
TT-Deploy 행사 현장 (사진 제공: 모레)
GPU·NPU 혼합 구조로 비용 낮춘 ‘이종 분산 서빙’ 전략
이번 성과의 핵심은 GPU와 텐스토렌트 칩을 결합한 ‘이종 분산 서빙’ 구조다. 모레는 텐스토렌트 칩을 입력 처리(prefill) 전용 가속기로 활용해 고비용 HBM 사용을 줄이고 전체 인프라 비용을 절감했다.
해당 기술은 미국 샌프란시스코에서 열린 텐스토렌트 신제품 발표 행사 ‘TT-Deploy’에서 처음 공개됐으며, 현장 데모를 통해 실제 데이터센터 환경에서의 적용 가능성도 확인했다. 모레는 AMD GPU 운영 경험을 기반으로 프로덕션 수준의 LLM 추론 환경을 구현했다고 설명했다.
MoAI 프레임워크는 엔비디아, AMD, 텐스토렌트 등 다양한 GPU·NPU를 단일 클러스터에서 통합 운영할 수 있는 구조로, 특정 벤더에 종속되지 않는 유연한 AI 인프라 구축을 지원한다.
조강원 대표는 “이번 성과는 텐스토렌트 기반에서도 실서비스 수준의 성능과 안정성을 확보했다는 데 의미가 있다”며 향후 이종 GPU 간 최적화와 NPU 통합을 통해 추가 성능 개선을 추진하겠다고 밝혔다.
Ai인프라
GPU
LLM추론
NPU
데이터센터
딥테크
모레
이종컴퓨팅
클라우드
텐스토렌트
Shaking up the GPU dominance… Successfully proving 'DGX-class' Tensorrent-based LLM inference performance the day after tomorrow
AI infrastructure company Morera has demonstrated Large Language Model (LLM) inference performance on a Tensorrent-based system, presenting a potential alternative to GPU-centric architectures. This is significant in that it simultaneously secured performance and cost efficiency.
More announced that by applying its 'MoAI inference framework' to Tensorrent's 'Galaxy Wormhole' system, it achieved performance exceeding that of the NVIDIA DGX A100 in tests based on the latest MoE models such as GPT-OSS, Qwen, GLM, and DeepSeek. This is evaluated as a level competitive with existing GPU-based infrastructure.
TT-Deploy event scene (Photo courtesy of More)
'Heterogeneous Distributed Serving' Strategy Lowers Costs with Hybrid GPU and NPU Architecture
The key to this achievement is the 'heterogeneous distributed serving' architecture that combines GPUs and Tentorrent chips. More utilized the Tentorrent chip as a dedicated accelerator for input processing (prefill), reducing the use of high-cost HBM and lowering overall infrastructure costs.
The technology was first unveiled at TenTorrent's new product launch event, 'TT-Deploy,' held in San Francisco, USA, and its applicability in actual data center environments was confirmed through on-site demonstrations. More explained that they implemented a production-grade LLM inference environment based on their experience operating AMD GPUs.
The MoAI framework is structured to integrate and operate various GPUs and NPUs, such as NVIDIA, AMD, and Tensorrent, within a single cluster, supporting the construction of a flexible AI infrastructure that is not dependent on a specific vendor.
CEO Jo Kang-won stated, “This achievement is significant in that it secures real-service level performance and stability even on a TenTorrent basis,” and announced that they would pursue further performance improvements through optimization between heterogeneous GPUs and NPU integration in the future.
GPUソロ振る…モーレ、テンストレントベースのLLM推論性能「DGX級」実証成功
AIインフラストラクチャ企業Moreは、テンストレントベースのシステムで大型言語モデル（LLM）推論性能を実証し、GPU中心構造に対する代替可能性を提示した。性能とコスト効率を同時に確保したという点で意味が大きい。
モーレはテンストレント「ギャラクシーワームホール」システムに自社「MoAI推論フレームワーク」を適用し、GPT-OSS、Qwen、GLM、DeepSeekなど最新のMoEモデル基準テストでNVIDIA DGX A100級以上の性能を達成したと明らかにした。これは、既存のGPUベースのインフラストラクチャと競争可能なレベルで評価されます。
TT-Deployイベント現場（写真提供：モレ）
GPU・NPU混合構造でコストダウンした「異種分散サービング」戦略
今回の成果の核心は、GPUとテンストレントチップを組み合わせた「異種分散サービング」構造だ。モーレはテンストレントチップを入力処理（prefill）専用のアクセラレータとして活用し、高コストのHBMの使用を減らし、全体のインフラコストを削減した。
同技術は米国サンフランシスコで開かれたテンストレント新製品発表イベント「TT-Deploy」で初めて公開され、現場デモを通じて実際のデータセンター環境での適用可能性も確認した。 Moreは、AMD GPUの運用経験に基づいて、本番レベルのLLM推論環境を実装したと説明しました。
MoAIフレームワークはNVIDIA、AMD、テンストレントなど多様なGPU・NPUを単一クラスタで統合運営できる構造で、特定ベンダーに依存しない柔軟なAIインフラ構築を支援する。
チョ・ガンウォン代表は「今回の成果はテンストレント基盤でも実サービス水準の性能と安定性を確保したことに意味がある」とし、今後異種GPU間最適化とNPU統合を通じてさらなる性能改善を推進すると明らかにした。
撼动GPU主导地位……后天成功证明基于Tensorrent的LLM推理性能达到“DGX级”
人工智能基础设施公司 Morera 展示了基于 Tensorrent 的系统上的大型语言模型 (LLM) 推理性能，为以 GPU 为中心的架构提供了一种潜在的替代方案。其意义在于，它同时保证了性能和成本效益。
More公司宣布，将其“MoAI推理框架”应用于Tensorrent的“Galaxy Wormhole”系统，在基于最新MoE模型（例如GPT-OSS、Qwen、GLM和DeepSeek）的测试中，性能超越了NVIDIA DGX A100。这一性能被认为与现有的基于GPU的架构相当。
TT-Deploy 活动现场（图片由 More 提供）
“异构分布式服务”策略通过混合GPU和NPU架构降低成本
这项成就的关键在于结合了GPU和Tentorrent芯片的“异构分布式服务”架构。更多应用将Tentorrent芯片用作输入处理（预填充）的专用加速器，从而减少了高成本HBM的使用，并降低了整体基础设施成本。
这项技术首次亮相于TenTorrent在美国旧金山举办的新产品发布会“TT-Deploy”上，并通过现场演示验证了其在实际数据中心环境中的适用性。More解释说，他们基于自身使用AMD GPU的经验，构建了一个生产级LLM推理环境。
MoAI 框架旨在将各种 GPU 和 NPU（如 NVIDIA、AMD 和 Tensorrent）集成到单个集群中并进行操作，从而支持构建不依赖于特定供应商的灵活 AI 基础设施。
首席执行官赵康元表示：“这一成就意义重大，因为它即使在 TenTorrent 的基础上也能确保真实服务级别的性能和稳定性。”他还宣布，未来他们将通过优化异构 GPU 和 NPU 集成来进一步提高性能。
Bousculer la domination des GPU… Démontrer avec succès, après-demain, des performances d'inférence LLM basées sur Tensorrent de niveau « DGX ».
Morera, entreprise spécialisée dans les infrastructures d'IA, a démontré les performances d'inférence de Large Language Model (LLM) sur un système basé sur Tensorrent, offrant ainsi une alternative potentielle aux architectures centrées sur le GPU. Ce résultat est significatif car il permet d'obtenir simultanément des performances élevées et un bon rapport coût-efficacité.
More a annoncé qu'en appliquant son framework d'inférence MoAI au système Galaxy Wormhole de Tensorrent, elle a obtenu des performances supérieures à celles du NVIDIA DGX A100 lors de tests basés sur les modèles MoE les plus récents, tels que GPT-OSS, Qwen, GLM et DeepSeek. Ce niveau de performance est considéré comme compétitif par rapport aux infrastructures GPU existantes.
Scène de l'événement TT-Deploy (Photo courtoisie de More)
La stratégie de « service distribué hétérogène » réduit les coûts grâce à une architecture hybride GPU et NPU.
La clé de cette réussite réside dans l'architecture de « service distribué hétérogène » qui combine GPU et puces Tentorrent. More a utilisé la puce Tentorrent comme accélérateur dédié au traitement des entrées (préremplissage), réduisant ainsi le recours à la mémoire HBM coûteuse et les coûts d'infrastructure globaux.
Cette technologie a été présentée pour la première fois lors de l'événement de lancement des nouveaux produits de TenTorrent, « TT-Deploy », qui s'est tenu à San Francisco, aux États-Unis. Son applicabilité dans des environnements de centres de données réels a été confirmée par des démonstrations sur site. More a expliqué avoir mis en œuvre un environnement d'inférence LLM de niveau production, s'appuyant sur son expérience avec les GPU AMD.
Le framework MoAI est structuré pour intégrer et exploiter divers GPU et NPU, tels que NVIDIA, AMD et Tensorrent, au sein d'un seul cluster, prenant en charge la construction d'une infrastructure d'IA flexible qui ne dépend pas d'un fournisseur spécifique.
Le PDG Jo Kang-won a déclaré : « Cette réalisation est importante car elle garantit des performances et une stabilité dignes d'un service réel, même sur la base de TenTorrent », et a annoncé qu'ils poursuivraient à l'avenir des améliorations de performances supplémentaires grâce à l'optimisation entre les GPU hétérogènes et l'intégration NPU.
댓글
0