You are viewing a single comment's thread from:

RE: Steem Powerup Day 01.08.26[GER/ENG]

in #deutschyesterday

Viel Spaß mit Hermes ist ein nettes spielzeug :)

Nemotron ist echt fix ja. Noch 2 Tipps . Erstens schau mal ob bei dir auf dem vps das dashboard von hermes läuft wenn ja deaktivieren .
Mit diesen 3 befehlen solltest du das raus bekommen

  1. ss -tulpn | grep -E 'python|node|hermes' Zeigt alle lauschenden TCP-Ports und die zugehörigen Prozesse an
    2)ss -tulpn | grep :8000 (prüft ob irgendwas direkt auf dem port 8000 läuft)
  2. curl -I http://localhost:8000 hiermit prüfst du ob auf dem server ein server unter dem port läuft.
    Deaktivieren kannst du das entweder in der .env datei oder in der config.yaml von hermes danach musst du den container nochmal neu starten falls du was gefunden hast.

Zweiter tipp deaktiviere in der Config.yaml skills und tools die du nicht brauchst . Spart erstesn token beim start das ist besonders wenn du vor hast hermes mit nem lokalen llm mal zu betreiben wichtig. Es ist schon ein unterschied ob Hermes mit 10k Token von 64k context length startet oder mit 20k. Bei Nemotron fällt das mit 1 Millionen Token nicht so ins Gewicht.

Sort:  

Danke Nerdi!

Dashboard ist installiert, läuft aber nicht, sollte so passen. Hab ja im gleichen LXC-Container auch open WebUI laufen, damit kann ich auch auf Hermes zugreifen. Ob ich das so lasse weiß ich noch nicht, normales Zeug kann man ja auch andere KI's fragen :-)

Bei den Skills und Tools hab ich aufgeräumt und mit Hilfe von Hermes einen schlanken Systemprompt erstellt, eingebunden in der config.yaml mit:

system:
  prompt_file: /home/hermes/system-prompt-optimized.md



So sieht's jetzt aus:

MetrikVorherNachherDelta
System Prompt Chars~25.000~3.100-87%
Est. Tokens~6.500~800-88%
Tool Schema Tokens~5.0000 (on-demand)-100%

Skills kann ich bei Bedarf nachladen, also kein Ding.

Wow ok und ich war schon stolz dass ich auf 10k runter gekommen bin ich glaube ich muss mir da ein paar Tipps von dir holen :D
Sichere dir auf jedenfall deine config.yaml weil Hermes überschreibt gerne bei nem update die yaml .