Migrating big data
Dette er en artikel i min serie om flytning af fra US-baserede til EU-baserede tech-løsninger.
Jeg havde ikke overvejet det særligt grundigt, før jeg gik i gang – men jeg har store mængder data. Foto og video, kundeinformationer og et hav af webprojekter i mere eller mindre færdig stand.
Og al den data skal flyttes. Fra én sky til en anden.
Jeg vil ikke undvære den tilgængelighed, det giver at have mine ting liggende online – også selvom det “bare” er en andens computer, jeg lejer plads på.
Hybridløsning: én sky er ikke nok
Jeg har tidligere haft en privat OneDrive og en anden til firmaet, og det har fungeret fint.
Min nye løsning deler dataen op:
- Firmadata ligger på Proton Drive
- Private data ryger i Nextcloud (hostet hos Hetzner i Tyskland)
Dels for at splitte det mere op; placere det i løsninger, der passer til behov; men også for at prøve lidt forskelligt af i praksis.
Men: alle data skal flyttes. Og vi taler omkring 1 TB i alt.
Første forsøg: OneDrive ? Proton Sync
Naivt og langsomt
Min første tanke var ret ligetil: Jeg flytter bare indholdet fra min OneDrive-mappe på pc’en til Proton-mappen og så lade deres respektive synkroniseringsrutiner klare mosten.
Men… det var ikke så lige til. Her er nogle af de små tuer, der væltede læsset undervejs:
1. Enorme kræfter, minimale boligforhold
Min pc har ikke plads nok til, at alle filer kan ligge lokalt på en gang. Derfor har jeg brugt den smarte OneDrive-funktion med “filer efter behov”, hvor man kun har en slags skygge af filerne.
Det fungerer fint til daglig – men når man skal flytte data, virker det ikke.
Jeg flyttede mapper med tusindvis af filer… uden indhold. Altså: de så ud til at være der, men var det ikke.
2. Sync-fejl i Proton
Proton Drive-appen fejlede løbende. Den sync’ede fint i 5-10 minutter, og så gik den i stå med en række fejl. Efter lidt tid vågnede den igen. Og sådan gentog det sig.
Supporten (som i øvrigt var meget hjælpsomme) forklarede, at mange små filer trigger en API-grænse, som midlertidigt forstyrrer forbindelsen. Der arbejdes på en løsning.
3. Alt for langsomt
Processen var generelt ubrugelig til formålet. Først skulle jeg sikre, at OneDrive-filerne virkelig lå lokalt. Det krævede sync-tid. Og derefter skulle de flyttes til Proton og uploades igen. For langsomt – og alt for omstændeligt.
Andet forsøg: rclone
Now we’re talking!
Det her er et værktøj, der rent faktisk er bygget til den slags opgaver.
rclone er et kommandolinjeværktøj, som du opsætter med adgang til dine online lagre – og derefter kan du klone, kopiere, flytte eller synkronisere.
Der gik lidt tid med at finde den rigtige sti til mit SharePoint-dokumentlager (tak, Microsoft!) og jeg lavede også nogle navngivningsfejl i starten. Men da det først spillede, gik det stærkt – og med meget få fejl.
PS: Der findes også en grafisk brugerflade til rclone. Men opsætning og tilkobling er klart for de mere teknisk erfarne.
Zip it or skip it
Små filer = store problemer
Jeg har mange gamle WordPress-installationer liggende som udviklingsprojekter. De fylder ikke meget hver især, og derfor har jeg aldrig pakket dem sammen. Det var jo nemt bare at hoppe ind og finde en enkelt fil.
Men det straffer mig nu.
Mange små filer dræber overførselshastigheden. For hver fil skal der bruges tid på håndtryk, overførsel og kontrol – selv hvis filen kun er 1 KB.
En mappe med 15.000 små filer performer markant dårligere end den samme mappe som én samlet zip-fil.
Så mit råd er klart:
Pak dine arkivprojekter løbende. Det betaler sig – især når du en dag skal flytte dem.
