Post AVgPLECQzEZH2GfDlo by mephisto@social.netz.org
 (DIR) More posts by mephisto@social.netz.org
 (DIR) Post #AVfzUpPnOMooFtpYzw by netzwerkgoettin@konfigurationsmanufaktur.de
       2023-05-15T09:16:34Z
       
       0 likes, 0 repeats
       
       mds.ceph-alpha  *** got signal Terminated ***mds.ceph-alpha suicide!#Ceph ist bisweilen ne echte Drama-Queen 😳
       
 (DIR) Post #AVfzUr27NN4DH2lgMy by ij@nerdculture.de
       2023-05-15T09:21:39Z
       
       0 likes, 0 repeats
       
       @netzwerkgoettin Ja, allerdings, wobei in letzter Zeit laeuft es recht zuverlaessig. Aber man sollte nicht die Redundanz ausreizen, indem man 2 von 3 Nodes waehrend eines Syncs rebootet. Nicht gut. Fuer euch getestet. ;)
       
 (DIR) Post #AVfzUs01mczOGqnWka by netzwerkgoettin@konfigurationsmanufaktur.de
       2023-05-15T09:21:58Z
       
       0 likes, 0 repeats
       
       ORRR und danach kann man nichtmal sinnvoll googlen! Weil jedes Mal die Rufnummer von der Telefonseelsorge erscheint!!1 🙄😂 #Ceph
       
 (DIR) Post #AVfzUtijNuLFbmik4G by netzwerkgoettin@konfigurationsmanufaktur.de
       2023-05-15T09:22:35Z
       
       0 likes, 0 repeats
       
       @ij Warum wollte man das tun? Das klingt generell nach einer schlechten Idee. 🤔
       
 (DIR) Post #AVfzUuHTIk8BLWyUDY by ij@nerdculture.de
       2023-05-15T09:52:08Z
       
       0 likes, 0 repeats
       
       @netzwerkgoettin Genau das habe ich ja dann auch festgestellt. Seitdem warte ich mit dem naechsten Schritt, bis wieder alles gruen ist. Zu dem Zeitpunkt hatte ich die OSDs umkonfiguriert und das ging mir wohl alles etwas zu langsam oder weiss der Geier... jedenfalls war dann mein Mailstorage auf dem CephFS 2 Tage lang am recovern. Aber alles wieder da... :-)
       
 (DIR) Post #AVfzUunjMnw2xa4FV2 by mephisto@social.netz.org
       2023-05-15T10:30:04Z
       
       0 likes, 0 repeats
       
       @ij @netzwerkgoettin passiert etwas schlimmeres als dass keine writes mehr funktionieren bis mindestens ein node aus dem reboot wieder da ist?
       
 (DIR) Post #AVgFD19uaYjgjSvjrU by isotopp@chaos.social
       2023-05-15T13:26:09Z
       
       0 likes, 0 repeats
       
       @mephisto @ij @netzwerkgoettin Das ist für Mail ja schlimm genug.Nein, ohne Quorum werden Writes abgelehnt, um schlimmeres zu verhindern.
       
 (DIR) Post #AVgPLDKYDZSyL9SBma by ij@nerdculture.de
       2023-05-15T13:28:05Z
       
       0 likes, 0 repeats
       
       @isotopp @mephisto @netzwerkgoettin In dem Fall war auch lesen nicht mehr moeglich. Sagen wir es so: es ist gut, die Grenzen von Ceph nun genauer zu kennen. 🙂
       
 (DIR) Post #AVgPLECQzEZH2GfDlo by mephisto@social.netz.org
       2023-05-15T15:19:42Z
       
       0 likes, 0 repeats
       
       @ij @isotopp @netzwerkgoettin okay vmtl braucht cephfs zwangsläufig RW und die atime schreiben zu können. Benutze ceph fast nur als s3 oder rbd. 2d Recovery zeit ist hart. Magst du was zur Hardware config sagen?
       
 (DIR) Post #AVgZ0f8Ceuya1VW7TE by ij@nerdculture.de
       2023-05-15T17:08:02Z
       
       0 likes, 0 repeats
       
       @mephisto @isotopp @netzwerkgoettin Nunja, das war ja noch ganz zu Anfang mit meinem Ceph: 2 Server mit 2x 18 TB HDD & 4x10 GbE, 1 Server mit 1x 18 TB und 1x 10 GbE und 2x 1 GbE. Mittlerweile haben alle Server 2x 18 TB und demnaechst wird der eine Server gegen einen mit ebenfalls 4x 10 GbE ausgetauscht. Aber wie gesagt: das Problem war wohl eher, dass ich die OSDs neu organisiert habe & *dann* noch die Server rebootet habe, während Ceph noch am Daten rumschaufeln war.
       
 (DIR) Post #AVh4oB6peTBPyAxzfM by mephisto@social.netz.org
       2023-05-15T23:04:22Z
       
       0 likes, 0 repeats
       
       @ij @isotopp @netzwerkgoettin Meine Erfahrung ist, daß Ceph mit so wenigen HDD's und ohne WAL/rocksdb auf flash eigentlich nicht mehr zu gebrauchen ist, weil alles ewig dauert. Wenn Daten einmal in Bewegung kommen, liegt der cluster. Insofern klingen die zwei Tage sehr plausibel.
       
 (DIR) Post #AVheuJWGtMfm8o5gae by ij@nerdculture.de
       2023-05-16T05:48:50Z
       
       0 likes, 0 repeats
       
       @mephisto @isotopp @netzwerkgoettin Mittlerweile hat das Ceph ja WAL/DB auf NVMe und es gibt darueber hinaus ja auch noch ZFS auf SSDs und NVMe, wenn es mal schneller sein muss. Das Ceph ist fuer grosse Datenmengen und fuer Dinge, die redundant sein muessen, eben z.B. Mailstorage fuer die beiden Mailserver. Mastodon liegt auch auf Ceph, da ich nicht Stunden auf das Kopieren der Daten warten will, wenn ich mal nen Server rebooten muss. Insofern langt die Performance fuer mich nun.