Post B6cCd8A9DfHBGvbN8C by nerstix@mastodon.social
 (DIR) More posts by nerstix@mastodon.social
 (DIR) Post #B6c8b1UAfqIyAShtvk by kuketzblog@social.tchncs.de
       0 likes, 1 repeats
       
       #UnplugBigTech Tipp 24: Open-Source-KIMeide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.#AI #GPT4All #Ollama #Privacy #FOSS
       
 (DIR) Post #B6c9IANFVFCqBd2e1Y by StefanHirsch@mastodon.social
       0 likes, 0 repeats
       
       @kuketzblog was ist mit mistral ai?
       
 (DIR) Post #B6c9QBvpaxB3Ko2mQa by tomarsch@mastodontech.de
       0 likes, 0 repeats
       
       @kuketzblog Was ist mit Mistral?
       
 (DIR) Post #B6c9lgle8y4l3EWy7U by MarcelErnst@vivaldi.net
       0 likes, 0 repeats
       
       @kuketzblogWie ist le Chat zu bewerten?
       
 (DIR) Post #B6cAaJDpRdACnLqmi8 by exi@chaos.social
       0 likes, 0 repeats
       
       @kuketzblog …oder versuch mal wieder selber zu denken. So fällt der Schlick von den Zellen. 😉
       
 (DIR) Post #B6cAaPkJBmi31p5oAa by oneiromanticor@chaos.social
       0 likes, 0 repeats
       
       @kuketzblogBei passender Modellwahl und OpenCode kannan dann sogar Codingagenten weiter nutzen.Aber gibt es eine Empfehlung, mit dem Leistungsunterschied umzugehen? Lokal werde ich vmtl. nicht die hunderte Gigabyte großen Vollmodelle auf meiner Consumerhardware laufen lassen können (oder wollen). Preise für größere CUDA-fähige Grafikkarten brauchen ja schon fast eine Triggerwarnung.
       
 (DIR) Post #B6cAw45IPGtGDXEWCO by zahnfee@vivaldi.net
       0 likes, 0 repeats
       
       @kuketzblogHm, naja, ich wollte jetzt eigentlich nicht mehr 45 Minuten auf eine Antwort von Oolama warten (selbstverständlich selbst ausprobieren, auf meiner dann doch zu schwachen Hardware) um dann die Frage wieder zu verändern weil das Ergebnis nicht befriedigend war.Dann lieber #Mistral und wenn man einen Account hat die #Proton AI.
       
 (DIR) Post #B6cBEM32MCt18utj7I by danielbierstedt@norden.social
       0 likes, 0 repeats
       
       @kuketzblog ich bin auch der Meinung, dass europäische KI Anbieter nur minimal besser sind. Lokal habe ich probiert, aber meine heimische Rechenleistung reicht nicht für die einfachsten Dinge. Ich habe selber noch keine Idee, wie ich damit umgehen soll, denn auch der Qualitätsunterschied ist teils enorm.
       
 (DIR) Post #B6cBbdlae6vikxqBOq by larsmb@mastodon.online
       0 likes, 0 repeats
       
       @kuketzblog Diese Systeme wurden doch auch mit fragwürdigen Daten trainiert ...?
       
 (DIR) Post #B6cBll4OLbWQIqSYFs by devSJR@fosstodon.org
       0 likes, 0 repeats
       
       @kuketzblogNach meinem Verständnis ist die Aussage leicht irreführend. ollama und GPT4All (wird kaum weiterentwickelt) sind Werkzeuge, um LLMs betreiben zu können. Es sind keine Modelle. ChatGPT & Gemmini sind Werkzeuge mit einem Modell. Für ollama und GPT4All braucht man Modelle wie gemma-4 (Google). Lokal hat man dann idR auch  Systeme den fragwürdigen Trainingsdaten,  Urheberrechtsfragen ... aber ohne Überwachung.P. S.:https://infosec.exchange/@zoug/116422318307766663https://www.jan.ai/ Apache License 2.0
       
 (DIR) Post #B6cC8VLUyX0GCDJ7g0 by BarbaraNiedner@mastodon.social
       0 likes, 0 repeats
       
       @kuketzblog wie speichert Mistral die Daten, was machen die mit den Daten und welche Cloud Infrastruktur wird genutzt?
       
 (DIR) Post #B6cCMDkNChxJfVTzSS by byteborg@chaos.social
       0 likes, 0 repeats
       
       @kuketzblog searxng nehmen, schwups, keine AI...
       
 (DIR) Post #B6cCd8A9DfHBGvbN8C by nerstix@mastodon.social
       0 likes, 0 repeats
       
       @kuketzblog Unter #macOS ist die App "Locally AI" aus dem AppStore absolut zu empfehlen. AI Modelle wie #Llama, #Gemma oder auch #Ministral lassen sich mit wenigen Klicks herunterladen und offline nutzen.Seit langem im Einsatz und super happy damit. Schützt nicht nur meine Privatsphäre sondern schont z.B. auch die Umwelt. Mein MacMini nuckelt sich deutlich weniger Energie aus der Steckdose, als ein großes Datacenter 😀 https://apps.apple.com/de/app/locally-ai-local-ai-chat/id6741426692
       
 (DIR) Post #B6cCmZpVisxXgcSAK0 by doperdo@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog wie schaut es mit Euria https://euria.infomaniak.com/ aus? ich denke da tut sich was!
       
 (DIR) Post #B6cDeN07dW2vXI4ENM by g0tch4@hessen.social
       0 likes, 0 repeats
       
       @kuketzblog ich kann apps wie anythingll oder LmStudio für den pc empfehlen. Diese apps suchen dann je nach hardware ein "passendes" modell heraus. Persönlich habe ich gute Erfahrung mit gemma4 gemacht (ist aber von google erzeugt.
       
 (DIR) Post #B6cEosb57LScNaviXw by hengstenberg@nrw.social
       0 likes, 0 repeats
       
       @kuketzblog Selber denken und schreiben hält fit und verhindert Cerebralaplasie.
       
 (DIR) Post #B6cF1JAq8DaIHTa9BY by anonvist@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog Wer nicht selbst hosten möchte oder kann:- duck.ai (duckduckgo): kein Konto erforderlich, anonymisierte Chats, kein KI-Training mit eigenen Daten - Ensu (ente.io): On-Device-LLM, Open source, privacy-first, offline
       
 (DIR) Post #B6cG2G7b475J3f5AVE by macharius@kanoa.de
       0 likes, 0 repeats
       
       @kuketzblog Frage für mich an alle: hier wird lokale AI empfohlen statt chatgpt usw.Dies ist auch absolut richtig und das Optimum.Verständnisproblematik Beispiel: Bei dem Messengern wird aber Signal empfohlen weil es praktikabel für die breite Masse ist, welches auch richtig ist. Bei dem hier Thema gibt es aber, nur nach meiner Auffassung, böse BigTech (was ich auch so sehe) und lokal betrieben. Oder gibt es auch Praktikable und leichte Lösungen für die breite Masse, wie z.B. Tante Bommel, die immer noch lustige Meme postet auf wer-kennt-wen :) (überspitzt dargestellt) Als Anhang bzw Info: Ich nutze AI um mein Heimnetzwerk auszubauen open source Lösung zu implentieren und Problemlösung/suche durchzuführen, dass wars. Mittlerweile habe ich nginx, pihole, vaultwarden, obsidian, syncthing, VPN implementiert, sowie graphene os installiert und ja das wird für die Cracks heißen omg das programmier und installier ich dir im schlaf. Das freut mich ehrlich und ich bin absolut neidisch auf euch. *kein sarkasmus* ich brauche Hilfe dabei und beim Zusammenspiel von allem, ist für mich die AI ein super HILFSMITTEL.
       
 (DIR) Post #B6cGJbGHihmRXuPmnA by xya@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog Dein Punkt "KI lokal betreiben" wäre ein sehr gutes Thema für einen Blogbeitrag.
       
 (DIR) Post #B6cH3Q0ZtMHxxturEu by Thomas_D@sueden.social
       0 likes, 0 repeats
       
       @kuketzblogSelbst hosten ist zwar der idealste Fall aber für die Breite Masse in diesem speziellen Fall eher unpraktikabel.Wenn man tatsächlich Ki nutzen möchte ist duck.ai vermutlich am besten geeignet. Zumindest, wenn da nicht gelogen wird.Ansonsten vielleicht Lumo von Proton? Kann ich nicht genau beurteilen, dazu fehlt mir die Expertise. Ich finde Proton allerdings mittlerweile echt shady. Das entwickelt sich alles zu einem walled garden, finde ich.
       
 (DIR) Post #B6cI34u2SfcMShG7JQ by Zeugs@social.cologne
       0 likes, 0 repeats
       
       @kuketzblog Das sind keine Modelle sondern Anspielsoftware für kleine Modelle aller Anbieter. Die meisten, wenn nicht alle, modelle sind von großen non EU Firmen auf den gleichen fragwürdigen Daten trainiert.Die qualität, wenn man bei LLMs davon reden kann, ist eher gering. "Lokale Hardware" wird weitgehend unbezahlbar wenn sich alles so weiterentwickelt (Graphikkarten/speicher). Ansonsten warte ich noch auf Initiativen die erfolgreich kleine Modelle fine tuenen und bereitstellen.
       
 (DIR) Post #B6cJvsnjFzdkoI0Kv2 by hype@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog was ist mit DeepSeek? Angeblich das effizienteste Opensource Modell.
       
 (DIR) Post #B6cLPtigVQPsIiWMbo by Okuna@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog Ollama und GPT4ALL sind nur Tools, in denen man Modelle ausführen kann. Ich kann in denen problemlos das Open-Weight-Modell von OpenAI nutzen. Das ist genauso schlecht trainiert. Alternativ könnte ich die chinesischen Modelle benutzen, die man auf Huggingface runterladen kann, aber wie sind die trainiert? Es tut mir leid, aber dieser Kommentar ist in meinen Augen schwach.
       
 (DIR) Post #B6cLsp2sxmwcCalJWi by Okuna@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog venice.ai Er hat ein sehr schönes Modell um die Daten im Großen und Ganzen zu schützen und sie bieten alle Modelle an die kommerziellen als auch frei verfügbare. Dazu Ende zu Ende Verschlüsselung in einer Trusted Enclave.
       
 (DIR) Post #B6cMkXr163fkWNpMzA by duco@norden.social
       0 likes, 0 repeats
       
       @kuketzblog ist Ollama oder LM Studio die vertrauenswürdigere Software um LLMs lokal zu nutzen? Hatte Ollama nicht gerade ne riesige Sicherheitslücke?
       
 (DIR) Post #B6cRc7e59hLmgta3l2 by ridedontslide@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog Bei https://nano-gpt.com kann man beliebige Modelle anonym benutzen, bezahlt aber tokenbasiert. Auch API möglich.
       
 (DIR) Post #B6cXu0mk04RyLqXno8 by dirksche@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblog Ich nutze seit längerem confer.to und bin recht zufrieden.
       
 (DIR) Post #B6caae8EIh8eSB3L6W by Bibobach@mastodon.social
       0 likes, 0 repeats
       
       @kuketzblog Oder shreib einfach selbst.
       
 (DIR) Post #B6cp1DnjhgU3y428Ui by liarsworld@social.tchncs.de
       0 likes, 0 repeats
       
       @kuketzblogIch gründele und denke lieber selber. Hält den Bregen fit.Das Gründeln latürnich ohne AI = Absent Intelligence.;-)