You are viewing a single comment's thread from:
RE: Steem Powerup Day 01.08.26[GER/ENG]
Jein für die meisten Sachen nutze ich mittlerweile Gemma 4 26B 4EB Qat das reicht für die meisten sachen. Damit habe ich es geschafft meine Rechnung diesen Monat von sonst 25 bis 30€ auf 8€ zu drücken .
Ich spiele gerade mit so sachen wie Hermes Agent,unsloth studio und oh my pi rum . Hermes Agent mag ich persönlich sogar echt gerne so gerne das ich 1 Agent local auf meinem pc laufen habe und einen auf meinem vps.
Den VPS Agent kann ich von Unterwegs per email ansteuern und als Model läuft da nemotron-3-ultra-550b-a55b und nvidia build als provider .
Nvidia Build ist kostenlos aber die trainieren damit natürlich ihre Modele .
Hehe, schau mal:
Hab ich jetzt auch auf meinem VPS in einem LXC-Container laufen. DANKE für den Tipp!
Er kann auch schön Seiten aus dem Netz auswerten, hab ihm einen Link zu deinem Kommentar gegeben, er soll eine Antwort darauf schreiben. Nein, ich mach das nur zum Testen, keine Sorge :-)
Das kam raus:
Hab aktuell nemotron-3-ultra-550b-a55b:free über Openrouter - das antwortet momentan innerhalb 2s, kann man lassen.
Echt cooles Spielzeug, damit werd ich wohl ein Weilchen beschäftigt sein. Mercy nochmal für den Tipp 👍
0.00 SBD,
10.64 STEEM,
10.64 SP
Viel Spaß mit Hermes ist ein nettes spielzeug :)
Nemotron ist echt fix ja. Noch 2 Tipps . Erstens schau mal ob bei dir auf dem vps das dashboard von hermes läuft wenn ja deaktivieren .
Mit diesen 3 befehlen solltest du das raus bekommen
2)ss -tulpn | grep :8000 (prüft ob irgendwas direkt auf dem port 8000 läuft)
Deaktivieren kannst du das entweder in der .env datei oder in der config.yaml von hermes danach musst du den container nochmal neu starten falls du was gefunden hast.
Zweiter tipp deaktiviere in der Config.yaml skills und tools die du nicht brauchst . Spart erstesn token beim start das ist besonders wenn du vor hast hermes mit nem lokalen llm mal zu betreiben wichtig. Es ist schon ein unterschied ob Hermes mit 10k Token von 64k context length startet oder mit 20k. Bei Nemotron fällt das mit 1 Millionen Token nicht so ins Gewicht.
0.00 SBD,
5.40 STEEM,
5.40 SP
Danke Nerdi!
Dashboard ist installiert, läuft aber nicht, sollte so passen. Hab ja im gleichen LXC-Container auch open WebUI laufen, damit kann ich auch auf Hermes zugreifen. Ob ich das so lasse weiß ich noch nicht, normales Zeug kann man ja auch andere KI's fragen :-)
Bei den Skills und Tools hab ich aufgeräumt und mit Hilfe von Hermes einen schlanken Systemprompt erstellt, eingebunden in der config.yaml mit:
So sieht's jetzt aus:
Skills kann ich bei Bedarf nachladen, also kein Ding.