2026-04-29T21:26:37Z https://yabu.me Felix Ostrowski https://yabu.me/npub13wm3rdmhq75k7q46m9sqlw0drdjcxvl9fyyzddaug8z4dgsm9clqtajxw9 https://openbiblio.social/system/accounts/avatars/000/020/824/original/3f8cddb0f85216e0.png https://openbiblio.social/system/accounts/avatars/000/020/824/original/3f8cddb0f85216e0.png https://yabu.me/nevent1qqs9xraq9vla8hknzfs3vnjm5t6v36ka5eqfw7gmlu63hau2p9lj7pczyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhruatwzq6 In reply to <a href='/nevent1qqs9um3ytlfegegn8x78x8hhctvhe0zztmd27tqz088ztl96ffm3t0q94k8nu'>nevent1q…k8nu</a><br/>_________________________<br/><br/>Für openbiblio.social ziehen wir Konsequenzen: Die Instanz wird in den kommenden Wochen zu einem professionellen Mastodon-Dienstleister migriert, mit belastbaren Backup- und Recovery-Konzepten. Der Ausfall hat uns zugleich gezeigt, was für eine großartige Community wir haben. Danke für eure Geduld, euer Vertrauen und eure Treue. 9/9 2026-01-15T16:05:11Z https://yabu.me/nevent1qqs9um3ytlfegegn8x78x8hhctvhe0zztmd27tqz088ztl96ffm3t0qzyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhruwequpa In reply to <a href='/nevent1qqszaxh5c7s3hw73ktqaruf9uj5yuumedu2ma0uedq0xj3am8sv9nxgca77q2'>nevent1q…77q2</a><br/>_________________________<br/><br/>Wichtig ist uns ein Punkt ausdrücklich: Dieses Szenario ist nicht repräsentativ für die Infrastruktur der [@stabi_berlin](<a href="https://openbiblio.social/@stabi_berlin">https://openbiblio.social/@stabi_berlin</a> ). Unsere anderen Dienste laufen im eigenen Rechenzentrum – dort wären Recovery-Zeiten von Stunden, nicht Wochen, realistisch gewesen. Auch der Datenverlust wäre ausgeblieben. 8/9 2026-01-15T16:04:53Z https://yabu.me/nevent1qqszaxh5c7s3hw73ktqaruf9uj5yuumedu2ma0uedq0xj3am8sv9nxgzyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhrulzh7e7 In reply to <a href='/nevent1qqst98mpkf524wyr3dg2ruuj6gl6fn0davgy2ktpf6uvzywd6ywexagkjctn5'>nevent1q…ctn5</a><br/>_________________________<br/><br/>Dieser Dump wurde auf einen neuen Server übertragen, dort migriert und in eine frische Mastodon-Instanz eingespielt. Bei der finalen Inbetriebnahme hatten wir Unterstützung durch einen externen Dienstleister. Trotz aller Bemühungen ließ sich ein Datenverlust nicht vollständig vermeiden – das tut uns sehr leid. 7/9 2026-01-15T16:04:35Z https://yabu.me/nevent1qqst98mpkf524wyr3dg2ruuj6gl6fn0davgy2ktpf6uvzywd6ywexagzyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhrur76adn In reply to <a href='/nevent1qqspjnly7rnqyt7zph07ap5j2n8vn99w5sukxjq8m7pg7dnyrw7576ch3md86'>nevent1q…md86</a><br/>_________________________<br/><br/>Nach vielen Versuchen fanden wir noch eine alte PostgreSQL-13-Instanz, die im Zuge einer Migration auf PG15 am 19.11. abgeschaltet worden war. Auch diese war beschädigt, aber noch erreichbar. In aufwändiger Kleinstarbeit wurden Fehler in rund 100.000.000 Tabellenzeilen behoben, bis ein konsistenter Dump erzeugt werden konnte. 6/9 2026-01-15T16:04:20Z https://yabu.me/nevent1qqspjnly7rnqyt7zph07ap5j2n8vn99w5sukxjq8m7pg7dnyrw7576czyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhruu8gcyt In reply to <a href='/nevent1qqs8pa4ly8yzlp2ummetvcp6y8wpjxnzj22cejr9427t7rmn6qp89wsjgddmx'>nevent1q…ddmx</a><br/>_________________________<br/><br/>Hier ist uns eine klare Einordnung wichtig: Der kurzfristige Serverumzug an Feiertagen ist aus unserer Sicht inakzeptabel. Gleichzeitig trifft uns selbst eine erhebliche Mitschuld: Wir hatten kein externes, unabhängig gelagertes Backup. Diese Kombination hat die Situation eskalieren lassen. 5/9 2026-01-15T16:04:03Z https://yabu.me/nevent1qqs8pa4ly8yzlp2ummetvcp6y8wpjxnzj22cejr9427t7rmn6qp89wszyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhrulz3nqu In reply to <a href='/nevent1qqsx0msy95d5p8ng372xq8h0h2rmwnt9k3hsypy5p65ejy22r05xxaq2hy6cd'>nevent1q…y6cd</a><br/>_________________________<br/><br/>Ein regulärer Dump aus der produktiven Datenbank war ebenfalls nicht mehr möglich, mehrere Tabellen enthielten beschädigte Heaps. Reindexing schlug fehl, Reparaturen hätten massiven Datenverlust bedeutet. Parallel baten wir den Hoster um Hilfe, insbesondere um Snapshots vor der Migration. Die ernüchternde Antwort: Es existierte kein nutzbares Backup mehr. 4/9 2026-01-15T15:59:44Z https://yabu.me/nevent1qqsx0msy95d5p8ng372xq8h0h2rmwnt9k3hsypy5p65ejy22r05xxaqzyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhruw3hstz In reply to <a href='/nevent1qqs92p9r9y2sr20fc6fd2yaykn90xstwrvv97g3ctty9rvvldykxpxgsqaj2t'>nevent1q…aj2t</a><br/>_________________________<br/><br/>Nach der Migration ließ sich der Server nicht mehr ordnungsgemäß starten. Es traten massive Dateisystem-Fehler auf, Speicheroptimierungen brachen ab. In den folgenden Tagen zeigte sich das Ausmaß: defekte Blöcke, Inode-Probleme und eine schwer beschädigte PostgreSQL-Datenbank. Unsere Backup-Dateien waren allesamt davon betroffen, ein System-Snapshot ist vorab vom Hoster gelöscht worden. 3/9 2026-01-15T15:59:28Z https://yabu.me/nevent1qqs92p9r9y2sr20fc6fd2yaykn90xstwrvv97g3ctty9rvvldykxpxgzyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhruu82wn9 In reply to <a href='/nevent1qqs26ppxn0halue7v3p0jrd83eahrz8vpcpsx30a99qezjnsqyka7lcjyrwul'>nevent1q…rwul</a><br/>_________________________<br/><br/>Am 26.12.2025 wurde die Instanz zunächst träge, kurz darauf war kein Zugriff mehr möglich. Ein regulärer Neustart ließ sich nicht mehr durchführen. Noch am selben Tag informierte uns der Hoster, dass unser Server aus „Stabilitätsgründen“ kurzfristig auf ein anderes Wirtssystem migriert werden müsse – mit sehr kurzer Vorlaufzeit und mitten an Weihnachten. 2/9 2026-01-15T15:59:11Z https://yabu.me/nevent1qqs26ppxn0halue7v3p0jrd83eahrz8vpcpsx30a99qezjnsqyka7lczyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhrultu8vk Wir möchten den längeren Ausfall von openbiblio.social transparent erklären. Der Vorfall war technisch komplex, organisatorisch unerquicklich und für uns alle belastend. In diesem Thread schildern wir, was passiert ist, wo Fehler lagen und wie wir künftig mit solchen Risiken umgehen werden. /cc <span itemprop="mentions" itemscope itemtype="https://schema.org/Person"><a itemprop="url" href="/npub13e9t26ezw9276qszey3wpyt7ayvvykcexrjq2gdqwtrx2avnpsmsf7qmuw" class="bg-lavender dark:prose:text-neutral-50 dark:text-neutral-50 dark:bg-garnet px-1"><span>Ralf Stockmann</span> (<span class="italic">npub13e9…qmuw</span>)</a></span> <span itemprop="mentions" itemscope itemtype="https://schema.org/Person"><a itemprop="url" href="/npub1h2m6cmfnqy9kf66kuc2xkpk756z0xpnqmy5hl24s0spdjmrpf0fqwdxj26" class="bg-lavender dark:prose:text-neutral-50 dark:text-neutral-50 dark:bg-garnet px-1"><span>Marinhio Schlicht</span> (<span class="italic">npub1h2m…xj26</span>)</a></span> <span itemprop="mentions" itemscope itemtype="https://schema.org/Person"><a itemprop="url" href="/npub1scrynqfgf43l0nmzqvd7p7qc806m6kuajl7pu3vg7paye73caxws9jtxv5" class="bg-lavender dark:prose:text-neutral-50 dark:text-neutral-50 dark:bg-garnet px-1"><span>Gerrit Gragert</span> (<span class="italic">npub1scr…txv5</span>)</a></span> 1/9 2026-01-15T15:58:54Z https://yabu.me/nevent1qqs8m7afuptsg8lhjghalk52mxwzftv22jgr6kgwhl35sknp7w3j2zczyz9mwydhwur6jmczhtvkqraea5dktqenu4yssf4hh3qu244zrvhrurzlvv6 In reply to <a href='/nevent1qqs2cycmcuvqmzwxywujmlqfqdg64hvvelqdctl0f6nqkq7su08rtzq4p0mgf'>nevent1q…0mgf</a><br/>_________________________<br/><br/>Das Problem sollte behoben sein. Hintergrund war, dass nach einem Server-Reboot der Opensearch-Dienst nicht wieder hochgefahren war: <a href="https://docs.joinmastodon.org/admin/elasticsearch/">https://docs.joinmastodon.org/admin/elasticsearch/</a> <span itemprop="mentions" itemscope itemtype="https://schema.org/Person"><a itemprop="url" href="/npub1scrynqfgf43l0nmzqvd7p7qc806m6kuajl7pu3vg7paye73caxws9jtxv5" class="bg-lavender dark:prose:text-neutral-50 dark:text-neutral-50 dark:bg-garnet px-1"><span>Gerrit Gragert</span> (<span class="italic">npub1scr…txv5</span>)</a></span> <span itemprop="mentions" itemscope itemtype="https://schema.org/Person"><a itemprop="url" href="/npub1s9rmklzpltj5p46kf2rcy05zylppdjav7pa8mkw6rrx4jk9ywxjsegmgl3" class="bg-lavender dark:prose:text-neutral-50 dark:text-neutral-50 dark:bg-garnet px-1"><span>Henrik Schönemann</span> (<span class="italic">npub1s9r…mgl3</span>)</a></span> 2025-01-15T11:01:16Z