Hermes

 NVIDIA NIM — fertig eingerichtet

NVIDIA NIM — fertig eingerichtet

Du musst nichts konfigurieren. Der API-Key ist im Stack hinterlegt und wird automatisch durchgereicht an:

Tool Wie nutzen Endpoint
Open WebUI (/-Subdomain ai.) Modell-Dropdown links oben → NVIDIA-Modelle erscheinen automatisch OpenAI-kompatibel
n8n (n8n.) Im Workflow den OpenAI-Node nehmen, Base URL = https://integrate.api.nvidia.com/v1, API-Key = ={{ $env.NVIDIA_API_KEY }} OpenAI-kompatibel
CLI / eigene Scripts Bearer-Token aus /opt/hermes-stack/.env (Variable NVIDIA_API_KEY) https://integrate.api.nvidia.com/v1

Welche Modelle gibt's?

NIM bietet u.a. (alle frei nutzbar mit deinem Key):

Die volle Liste findest du unter https://build.nvidia.com/models.

Quick-Test in Open WebUI

  1. Öffne https://ai.168-119-232-59.sslip.io
  2. Account anlegen (erste Person wird Admin)
  3. Oben links Modell auswählen → es sollten dutzende NVIDIA-Modelle erscheinen
  4. Lieblings-Pick: meta/llama-3.3-70b-instruct für allgemeine Chats, qwen/qwen2.5-coder-32b-instruct für Code

Quick-Test in n8n

  1. Öffne https://n8n.168-119-232-59.sslip.io
  2. Erste Person legt den Owner-Account an
  3. Neuer Workflow → Node OpenAI → Create Credential:
    - API Key Feld: klick auf den Gear, „Add Expression" → ={{ $env.NVIDIA_API_KEY }}
    - Base URL: https://integrate.api.nvidia.com/v1
  4. Im Node Model z.B. meta/llama-3.3-70b-instruct eintragen → Run.

Quick-Test direkt (curl)

ssh root@168.119.232.59
source /opt/hermes-stack/.env
curl -s https://integrate.api.nvidia.com/v1/chat/completions \
  -H "Authorization: Bearer $NVIDIA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"meta/llama-3.3-70b-instruct","messages":[{"role":"user","content":"Sag Hallo auf Bayrisch."}]}' | jq -r '.choices[0].message.content'

Troubleshooting