Category · 62ページ目
ハードウェア
40件
Durable Streams経由でJetson上にローカルAIをサービング
Jetsonデバイス上でローカルAI推論を実行するための、Durable Streamsを利用したサービス提供に関する記事。エッジコンピューティング環境におけるAIモデルのデプロイと運用に焦点を当てている。低遅延かつ効率的なAI処理の実現に向けた技術的アプローチが解説されている。
病院でも使えるローカルLLM RAGシステムを作ってみた【セキュリティ編】
病院で利用可能なローカルLLM RAGシステムのセキュリティ対策について解説。患者の個人情報漏洩リスクを抑えるため、ローカルLLMの利点を活かしつつ、ハッキングやPC侵入対策として多層的なセキュリティを施した。