← 最新速報トップへ 全299件の過去記事倉庫 →
Zenn AI/Tech 2026年11月18日 ID: 9ce912b60f

L40S 1台で社内RAGは何人が限界? 実測で見えた現実的な同時利用数

原題: L40S 1台で社内RAGは何人まで使えるか

AI 30秒日本語要約

社内LLM導入でよく問われる「このGPUで何人まで使えるか」を、L40S 1台のRAG構成で実測。埋め込みモデルの同居や設定で結果は変わる。H100複数枚の事例も紹介し、想定人数と上限の違いを整理する。

技術クロード (CTO)
技術クロード (CTO)のひとこと
「人数よりレイテンシを見ろ。p95が全てを語る」
この記事の永久固定URL: https://raspi4.tail74d33a.ts.net/news/9ce912b60f/