Transfer data transaksi ke MongoDB di AWS dengan platform manajemen data Arena Zaloni

Database


Memulai perjalanan migrasi cloud tidak selalu mudah, dan di setiap langkah, rencana dengan tujuan dan langkah sangat penting.

Sebagai Solutions Engineering Manager di Zaloni, baru-baru ini saya berkesempatan bekerja dengan salah satu klien saya untuk merencanakan dan mengelola proyek migrasi cloud. Proyek tersebut melibatkan pemindahan aplikasi transaksi dan infrastruktur data pelanggan ke cloud.

Apa tujuannya?

Saat memutuskan untuk bermigrasi ke cloud, hal terpenting sebelum Anda mulai adalah menentukan apa yang ingin Anda capai.

Dalam kasus ini, klien telah mengalami transformasi digital dan mengalami kesulitan menskalakan lingkungan datanya pada kecepatan yang sesuai dengan penerimaan harian data langsung melalui servernya. Tujuan awalnya adalah untuk meningkatkan skalabilitasnya dengan memindahkan seluruh program transaksi ke cloud. Zaloni kemudian menguraikan langkah-langkah yang diperlukan untuk mentransfer semua data transaksi dari lingkungan internal pelanggan ke cloud. Transfer data transaksi adalah pengiriman utama untuk Zaloni, yang akhirnya mencapai tujuan mentransfer seluruh database SQL Server ke MongoDB di AWS.

Apa saja tantangannya?

Setelah Anda memutuskan tujuan migrasi cloud, langkah selanjutnya adalah memastikan bahwa Anda mengetahui potensi tantangan yang akan Anda hadapi selama proses tersebut.

Perusahaan harus mentransfer 4 terabyte data dari database relasionalnya saat ini ke cloud lake AWS dan akhirnya ke MongoDB Atlas. Namun, kompleksitas mentransfer data dalam jumlah besar secara efektif dari database relasionalnya ke AWS dan MongoDB memiliki tantangan yang cukup besar.

Tantangan pertama adalah mengenali potensi kompleksitas data karena basis pelanggan global. Penting bagi kami untuk memperhatikan dengan seksama standar yang berbeda dari kode UTF di setiap negara. Zaloni menjamin akurasi, kualitas data, dan kepatuhan pelanggan di seluruh halaman. Kedua, lingkungan internal klien memiliki contoh server SQL yang relatif besar yang masih digunakan, yang membuatnya jauh lebih sulit untuk mentransfer data historis yang tersimpan ke cloud karena mereka menerima data baru setiap detik.

Validasi data adalah aspek lain yang menantang dari proyek migrasi ini karena ukuran dan jenis datanya sangat berbeda. Jenis dan ukuran data yang berbeda memperpanjang validitas data dan proses kualitas data saat mentransfer semua data historis dan tambahan ke cloud. Selama proyek, tim kami menulis kode menggunakan berbagai bahasa, termasuk Python, Shell, Java, dan beberapa bahasa lainnya. Untuk memaksimalkan alat yang disediakan tim kami, kami menggunakan platform Arena Zaloni untuk membuat kode, membangun, dan mengoordinasikan proses validasi data.

Bagaimana kami mengatasi tantangan?

Tim pakar data kami menerapkan kualitas data, memvalidasi data historis dan langsung menggunakan aturan bisnis tertentu, serta meningkatkan akuisisi dan transmisi data. Dengan pengaturan ini, Zaloni menciptakan lingkungan data berbasis cloud yang dapat beroperasi tanpa interaksi manusia, memungkinkan tim untuk mengalihkan fokusnya ke migrasi aplikasi yang tersisa.

Platform Zalona Arena memainkan peran penting dalam proses migrasi karena kemampuan manajemen otomatisnya dan pengembangan Arena secara keseluruhan. Garis keturunan data Arena memungkinkan tim untuk dengan cepat mengidentifikasi dan menyelesaikan masalah data dengan migrasi.

Untuk menguji dampaknya, Zaloni memindahkan data transaksi perusahaan ke data lake berbasis AWS selama enam bulan terakhir selama enam bulan terakhir, yang berfungsi sebagai solusi untuk mengonversi hampir 70 juta dokumen ke dalam format MongoDB yang diperlukan. .

Apa yang kita pelajari?

Ketika saya memikirkan proyek ini lagi, jelas bahwa membuat proses validasi data sangat penting untuk kesuksesan kami. Kami belajar bagaimana menyederhanakan proses ini ke depan. Aspek penting dari hal ini adalah akses ke data sampel sebelum produksi dimulai. Dengan melakukan ini, tim dapat mulai menulis skrip validasi data yang berbeda pada kumpulan data yang lebih kecil dan melihat apa yang paling sesuai dengan data tanpa memperlambat timeline proyek migrasi.

Pelajaran penting lainnya adalah transfer data historis dan tambahan ke Amazon S3. Langkah ini sangat penting untuk keberhasilan proyek migrasi cloud dan diselesaikan menggunakan platform Arena Zaloni. Dengan platform ini, tim Zaloni mentransfer semua data transaksi ke cloud, mengelola data tambahan, dan menyediakan semua konversi data yang diperlukan menggunakan AWS EMR melalui platform Arena terintegrasi.

Zaloni Arena dan platform MongoDB

Dengan bantuan platform data Arena, perusahaan dapat dengan mudah menangani proses migrasi cloud, karena transfer data dari lingkungan internal ke MongoDB Atlas bertindak sebagai katalis untuk memodernisasi arsitektur data dan mencapai transformasi digital.

Arena memungkinkan transfer data yang disederhanakan sambil memberikan tampilan kaca dari lingkungan data mereka untuk meningkatkan visibilitas data, kualitas data, manajemen data, dan manajemen saluran data. Terakhir, Arena dapat menanamkan banyak kepercayaan pada warga data yang mengetahui bahwa data tersebut telah divalidasi, dibersihkan, dan bahwa keakuratan serta relevansinya dapat dipercaya. Untuk informasi lebih lanjut tentang bagaimana Arena dan MongoDB dapat membantu Anda mengatasi tantangan data Anda, kunjungi https://www.zaloni.com/mongodb/.



Source link

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *