this post was submitted on 15 Jun 2023
21 points (100.0% liked)
Supporto feddit.it e accoglienza Redditors
463 readers
3 users here now
Comunità di supporto agli utenti e ai moderatori
NB: abbiamo attivato su questa comunità un centro di accoglienza, smistamento e primo soccorso per i migranti di Reddit! 😁
Lemmy, funzionalità e integrazione con altre piattaforme
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Che ne penseresti d'inviare una copia dei backup - magari sezionati in mesi o trimestri - ad archive, come faceva una volta StsckExchange?
Il problema principale sarebbe di dirlo chiaramente nella privacy policy che i post (o più precisamente i db dump) sono salvati in questo modo.
Ciò permetterebbe di migrare facilmente i contenuti in una nuova istanza Lemmy, se ve ne fosse bisogno, o di usarli come dataset per la ricerca (e, indirettamente, finalmente si formerebbe un dataset organico in Italiano di discreta qualità per il training di LLM).
I backup di Hetzner sono utilizzabili esclusivamente sulle loro macchine e, soprattutto, non sono in alcun modo scaricabili.
Si può pensare in futuro a fare dei backup di altro genere, io non ho assolutamente idea di come ma se salterà fuori qualcuno che vuole dare una mano e farlo se ne potrebbe discutere.
Purtroppo non ho ancora avuto abbastanza tempo linearmente coeso per immergermi nella documentazione di Lemmy, ma da una ricerca veloce ho visto nella documentazione presente su join-lemmy che i dati vengono immagazzinati in un database Postgresql.
Se hai accesso alla shell dell'host non dovrebbe esser complicato creare dei dump del database usando pgdump.
Purtoppo qui siamo sui bordi esterni del mio campo di competenza, quindi se qualcun altro mi può correggere?
Se è basato su Postgres le opzioni sono illimitate. Pgdump, cdc live sulle tabelle, export parquet…
L’idea di averlo come dataset è fantastica. Se serve faccio queste cose per lavoro, magari in un momento più tranquillo darei volentieri una mano 😀
Probabilmente non basta solo il dump del database per avere una copia direttamente funzionante, ma sicuramente è la parte più importante.
Direi che ci sono vari approcci:
Una volta che c'è il dump del DB, si prende quella e le altre directory utili, e si butta tutto dentro un repository restic/borg, che è cifrato e deduplicato. Si prende il repository e lo si sincronizza su https://www.borgbase.com/ (o Backblaze, o un'altra macchina qualsiasi - basta SSH).
Chiaramente questo è un modo, non Il modo, ma se @[email protected] è interessato a farsi una chiacchierata sull'argomento sarei felice di aiutare, anche praticamente.
Come dicevo più di un backup esiste già ed è anche dislocato su data center differenti e anche i vari snapshot sono distribuiti su altri data center, insomma a me sembra che su questo lato si è abbastanza protetti (per quanto non lo si è mai davvero abbastanza ovviamente).
Non so, chiedo anche a @[email protected] ma in questo momento mi sembra uno "sforzo" non necessario, ma non so se mi sbaglio o meno.
Assolutamente, l'idea non era principalmente per "ridurre il rischio", quanto per avere funzionalità diverse (che potrebbero non essere necessarie). Ad esempio poter scaricare o accedere liberamente ai backup, avere backup più piccoli (presumibilmente i backup ora sono dump di tutto il disco?), avere flessibilità nel gestire pruning (tipo tenere 1 backup mensile, 1 settimanale, 3 giornalieri etc.) e anche quello di poter estrarre singoli contenuti dai backup (magari questo è possibile già ora).
Non so poi quanto sia facile ad oggi testare la procedura di restore (serve prendere un altro vps?), ma con restic e simili uno può anche testare e scriptare la procedura in locale.
Da un punto di vista " i miei dati sono al sicuro" credo non ci siano problemi di sorta al momento, sembra essere tutto coperto!