RE: Steem Powerup Day 01.08.26[GER/ENG]
Gratuliere zu den 1000 STEEM! War ja ein langer Weg.
Bin übrigens gerade mit verschiedenen LLM's am Experimentieren. Hab mir dazu bei openrouter.ai einen Account angelegt und bissl was über 10 USDC eingezahlt. So bekommt man in den free Modellen 1000 Anfragen am Tag. Ohne die 10$ wären es nur 50.
Uff, die ganzen Modelle, über 400 die man wählen könnte. Aber ich nutze nur die free, dann wird's überschaubar.
Evtl. wär Openrouter auch was für dich, weil du ja schon einiges mit deinen Versuchen verbraten hast.
Als UI hab ich open WebUI, das ist auch nicht so kompliziert. Bin aber nur im Versuchsstadium. Ach ja, Ollama installieren und einbinden ist ja echt einfach, hätte ich nicht gedacht.
Oh da fällt mir ein, du bist ja auf lokale Modelle umgestiegen oder? Dann vergiss das mit Openrouter, war grad etwas zu euphorisch ;-)
Jein für die meisten Sachen nutze ich mittlerweile Gemma 4 26B 4EB Qat das reicht für die meisten sachen. Damit habe ich es geschafft meine Rechnung diesen Monat von sonst 25 bis 30€ auf 8€ zu drücken .
Ich spiele gerade mit so sachen wie Hermes Agent,unsloth studio und oh my pi rum . Hermes Agent mag ich persönlich sogar echt gerne so gerne das ich 1 Agent local auf meinem pc laufen habe und einen auf meinem vps.
Den VPS Agent kann ich von Unterwegs per email ansteuern und als Model läuft da nemotron-3-ultra-550b-a55b und nvidia build als provider .
Nvidia Build ist kostenlos aber die trainieren damit natürlich ihre Modele .
0.00 SBD,
16.18 STEEM,
16.18 SP
Hehe, schau mal:
Hab ich jetzt auch auf meinem VPS in einem LXC-Container laufen. DANKE für den Tipp!
Er kann auch schön Seiten aus dem Netz auswerten, hab ihm einen Link zu deinem Kommentar gegeben, er soll eine Antwort darauf schreiben. Nein, ich mach das nur zum Testen, keine Sorge :-)
Das kam raus:
Hab aktuell nemotron-3-ultra-550b-a55b:free über Openrouter - das antwortet momentan innerhalb 2s, kann man lassen.
Echt cooles Spielzeug, damit werd ich wohl ein Weilchen beschäftigt sein. Mercy nochmal für den Tipp 👍
0.00 SBD,
10.76 STEEM,
10.76 SP
Viel Spaß mit Hermes ist ein nettes spielzeug :)
Nemotron ist echt fix ja. Noch 2 Tipps . Erstens schau mal ob bei dir auf dem vps das dashboard von hermes läuft wenn ja deaktivieren .
Mit diesen 3 befehlen solltest du das raus bekommen
2)ss -tulpn | grep :8000 (prüft ob irgendwas direkt auf dem port 8000 läuft)
Deaktivieren kannst du das entweder in der .env datei oder in der config.yaml von hermes danach musst du den container nochmal neu starten falls du was gefunden hast.
Zweiter tipp deaktiviere in der Config.yaml skills und tools die du nicht brauchst . Spart erstesn token beim start das ist besonders wenn du vor hast hermes mit nem lokalen llm mal zu betreiben wichtig. Es ist schon ein unterschied ob Hermes mit 10k Token von 64k context length startet oder mit 20k. Bei Nemotron fällt das mit 1 Millionen Token nicht so ins Gewicht.
0.00 SBD,
5.47 STEEM,
5.47 SP