Post AjBKxdZJsib9U4XdoG by isotopp@chaos.social
 (DIR) More posts by isotopp@chaos.social
 (DIR) Post #AjBKxaWjBtk63AJ1qy by isotopp@chaos.social
       2024-06-22T08:06:41Z
       
       0 likes, 0 repeats
       
       https://www.heise.de/news/Apple-verweist-auf-neue-Regeln-vorerst-keine-Apple-Intelligence-fuer-EU-iPhones-9774039.htmlIch bin ja sehr froh, daß Apple seinen radioaktiven Giftmüll nicht an Europäern testet, aber die Begründung ist halt auch toxisch.Der wahre Grund ist: die Features sind unfertig, weil sie nicht auf eine Weise funktionieren können, die Apples Ansprüchen genügen. Sie können nicht einmal McDonald's Bestellungen annehmen.
       
 (DIR) Post #AjBKxbfGxcAhZxJMoK by isotopp@chaos.social
       2024-06-22T08:09:03Z
       
       0 likes, 0 repeats
       
       Sie können auch viel weniger in device tun als Apple verspricht, weil einstellige GB RAM für ein leistungsfähiges Inferenzmodell echt knapp sind. Es bräuchte vier bis acht Mal mehr RAM für ein leistungsfähiges Inferenzmodell.RAM braucht Strom.Guckt Euch Apple Hardware in 2 Jahren an.
       
 (DIR) Post #AjBKxcsQSCHrL2TNx2 by isotopp@chaos.social
       2024-06-22T08:13:39Z
       
       0 likes, 0 repeats
       
       Weil wenig Inferenz on device geht (3b Parameter Modell on device), wird viel online in RZ ausgelagert (https://machinelearning.apple.com/research/introducing-apple-foundation-models)Die RZ dazu gibt es noch nicht, RZ bauen hat Latenz von Jahren. Und die Hardware dazu, die das effizient rechnet hätte Apple gerne selbst entwickelt und nicht von Nvidia gekauft. Auch das nicht vor 2026."Apple Intelligence" ist jetzt gerade nur dazu da, den Kurs von AAPL zu stützen.Aber zwischendrin FOMO pflegen und EU dissen kann Apple gerne noch mal mitnehmen.
       
 (DIR) Post #AjBKxdZJsib9U4XdoG by isotopp@chaos.social
       2024-06-22T09:40:43Z
       
       0 likes, 1 repeats
       
       Die lineare Algebra in Computerspielen und die Mathematik in LLMs sind zum Großteil Matrizenmiltiplikationen.Daher werden Grafikkarten, superschnelle Matrizen-Multiplizierer, vielfach für LLMs "mißbraucht". Sie implementieren die benötigte Operation sehr flink, in Hardware.https://www.youtube.com/watch?v=-P28LKWTzrIMythbusters haben das für ein NVidia Werbevideo einmal korrekt visualisiert.
       
 (DIR) Post #AjBKxiRLlmC6anqqa8 by isotopp@chaos.social
       2024-06-22T09:42:07Z
       
       0 likes, 0 repeats
       
       Zur Geschichte von Grafikkarten habe ich vor sieben Jahren mal einen Link-Artikel geschrieben,https://blog.koehntopp.info/2017/11/25/d-abc-at-scale.htmld = a*b + c at scaleder die Entwicklung von Grafik-Hardware in den 20 Jahren vor 2017 beschreibt.Aber "KI" Matrizenmultiplikation und und "Grafik" Matrizenmultiplikation laufen langsam auseinander.Es hat sich herausgestellt, daß wir vielfach mit super ungenauer Mathematik hin kommen, wenn wir "KI" rechnen.