Post B5WkFpeA50jAsVQZ0K by drq@mastodon.ml
(DIR) More posts by drq@mastodon.ml
(DIR) Post #B5WixFtg9qbWpsGPZY by mo@mastodon.ml
0 likes, 2 repeats
Это ещё не конец, но передышка. Мы перебрались на временный сервер, и будем мигрировать обратно, когда машину у флокинета приведут в порядокЭто были очень тяжелые выходные, но хотя бы мы выжилиСпасибо всем, кто за нас искренне переживал, особенно ВиталикуПолный разбор крушения будет позже
(DIR) Post #B5WkCmdaoMyKg0hwNU by mo@mastodon.ml
0 likes, 1 repeats
Я решила, что раз ммл лежит, капитан должен оставаться с ним, и альты даже не доставалаИ я хочу сказатьВаляться на дне было довольно паршиво
(DIR) Post #B5WkFpeA50jAsVQZ0K by drq@mastodon.ml
0 likes, 0 repeats
@mo А у меня их, альтов, даже и нет.
(DIR) Post #B5a63SC2EdIX82ebom by fox9378@shitpost.poridge.club
0 likes, 0 repeats
@mo@mastodon.ml @wonderfox_dev@mastodon.ml по классике(у меня нету доказательств того, что это виталик, но мне так кажется)RE: https://toot.community/ap/users/116183452253276818/statuses/116443004999664517
(DIR) Post #B5a63STlAjTa10wlRg by salt_komaru@shitpost.poridge.club
0 likes, 0 repeats
@fox9378 @mo@mastodon.ml @wonderfox_dev@mastodon.ml это он
(DIR) Post #B5a63SuhYZ1jMZYHRI by mo@mastodon.ml
0 likes, 0 repeats
@wonderfox_dev а нормальной ссылки нет, он удалился@salt_komaru @fox9378
(DIR) Post #B5a63TAebFmsA311Iu by salt_komaru@shitpost.poridge.club
0 likes, 0 repeats
@mo@mastodon.ml @fox9378 @wonderfox_dev@mastodon.mlна щепке все открываетсяhttps://shitpost.poridge.club/notes/alc8sxmgexнаш пациент
(DIR) Post #B5a63TIS8G1eYEfFSa by Sarotar@shitpost.poridge.club
0 likes, 0 repeats
@mo@mastodon.ml @fox9378 @wonderfox_dev@mastodon.ml @salt_komaru очередная подеба щепача :Jokerge:Жители ммл и других околомастодонт инстансов. Ждём на щепаче. У нас сохраняется весь позор федиверса :Jokerge:
(DIR) Post #B5eeLRGIbso4WjEfnU by mo@mastodon.ml
0 likes, 1 repeats
Я обещала полный разбор, значит будет полный разбор. Итак, история Самой Длинной ПерезагрузкиНо сначала предысторияКак и любой уважающий себя кусочек инфраструктуры, MML эволюционировал постепенно, с каждым из трех админов немного менялсяИ в результате стохатической эволюции мы пришли к странному сетапу, где на железной машине стоит ProxmoxVE, но его функционал не используется, и все сервисы развернуты в докер контейнерахПроксмокс крайне не любит такое, и рекомендует держать докер исключительно в виртуальной машине. Но миграция всех данных это довольно долгий процесс, поэтому, немного поресерчив, мне пришла в голову идея: почему-бы просто не удалить компоненты Proxmox, оставив базовый Debian? У людей вроде получалось…https://forum.proxmox.com/threads/uninstall-proxmox-ve.169608/Proxmox и Debian стабильные дистрибутивы, требующие минимального ручного вмешательства, так что план казался мне простым и беспроблемным. А чтобы минимизировать последствия неизбежного даунтайма, всё было запланировано на нерабочие дни…
(DIR) Post #B5eeLUu74JR7p4t0ls by mo@mastodon.ml
0 likes, 0 repeats
…в день X, я спросонок забыла прогнать бекап перед перезагрузкой. Ведь что может пойти не так, при удалении пакетов из старого, но стабильного дебиана…? Итого самым актуальным бекапом остался регулярный еженочный, который делается автоматическиКак оказалось, пойти не так может много чего. Сервер из перезагрузки не поднялся (как выяснилось постфактум, там отвалилась сеть, но не суть)Осознав что сервер так и не начал отвечать на пинги, я в панике пытаюсь достучаться до iLO консоли чтобы понять в чем дело. Это требует специального VPN, и старый конфиг, который выслали ещё Доку после настройки сервера, не работал. За новым нужно идти в саппорт, что я сразу и сделалаПравда, мне не ответили. Ни через час, ни через три, ни вообще в этот деньА при попытке восстановиться из бекапа, оказалось что они были рассчитаны на повреждение данных…но не на полную потерю сервера. В процессе очередной перестройки перестали бекапиться критичные конфиги, без которых мастодон не заработал бы…
(DIR) Post #B5eeLXAUeNjAqSZ7a4 by mo@mastodon.ml
0 likes, 1 repeats
…вся надежда оставалась на саппорт. В воскресенье я пыталась дозвониться до них по телефону (как со своего, так и через друзей за рубежом), но ни на один телефон не ответилитак прошло воскресенье…в понедельник утром, саппорт подключился к тикету, и выслал новые конфиги для доступа. Впрочем, заставить работать Java-апплет древней iLO так и не получилось, собрать rescue-iso доступный из интернета — тоже, но на попытки ушла половина понедельникаВторую половину понедельника саппорт пытался починить сеть, безуспешно. В итоге они загрузили rescue-образ, и отправили мне ssh-креды к нему. Так получилось как минимум выгрузить конфиги, с которыми можно было бы развернуть ночной бекап, и потерять все посты что были сделаны после. Мне очень этого не хотелось, поэтому я продолжила доставать данные…пока доступ внезапно не оборвался, а так как дело было поздним вечером, рабочий день техподдержки закончился. Пришлось ждать до вторника…
(DIR) Post #B5eeLaFvAeqsQA7zxQ by mo@mastodon.ml
0 likes, 1 repeats
Во вторник, как только мне выслали новые креды к rescue-системе, я заказала VPS на Hetzner, и начала переносить все данные туда. Как только мастодон успешно запустился, я написала в саппорт, и попросила переустановить Proxmox. Плевать, если там будет только одна виртуалка, надежная консоль стоит любого оверхедаПроксмокс переустановили в среду, и после небольшого подкручивания настроек QEMU, я начала перенос данных обратно, успешноЧто дальше?Дальше мне нужно будет полностью перепланировать систему бекапов, и удостовериться, что их можно развернуть без доступов к оригиналу. В идеале делать эту процедуру хотя бы раз в полгодаТакже перед любым, даже минорным обновлением бекап будет делаться *обязательно*, пока не войдёт в привычкуЛюбые операции с Proxmox на хосте будут делаться исключительно в рабочее времяПереезжать с Flokinet мы не планируем. Переезжать на российский хостинг тоже. Есть веские причиныЯ не планировала учиться делать бекапы на *таком* примере, но так уж вышло