Galeri template di database Azure Synapse Lake

Database


Pada artikel ini, kita akan mempelajari bagaimana pertama-tama kita dapat membuat tabel di instance Azure Synapse Lake Database dan kemudian menautkannya dengan data.

pengantar

Di artikel sebelumnya, (TOC di bawah), kami memulai dengan konsep Lake House dan mempelajari ekosistem Azure Synapse Analytics termasuk database Azure Synapse Lake. Kami membuat instance Lake Database, membuat tabel baru pada instance ini, menghosting data di akun Azure Data Lake Storage, dan mengonfigurasi tabel untuk menunjuk ke data yang dihosting di data lake. Kemudian kami mempelajari cara mengonfigurasi dan menyesuaikan skema tabel-tabel ini dan memodelkan hubungan antara tabel-tabel ini jika diperlukan. Ini adalah salah satu jenis kasus penggunaan di mana kita sudah memiliki data dan tabel Azure Synapse dibuat untuk menyediakan kerangka kerja bagi kumpulan data untuk dikonsumsi secara terstruktur.

Jenis penggunaan lain adalah di mana tabel perlu dibuat terhadap domain tertentu dan data kemudian dikirim ke lokasi host, biasanya data lake. Ini memperkenalkan dua tantangan – satu adalah pemodelan tabel berdasarkan kebutuhan domain tertentu dan yang lainnya menghubungkan tabel ini ke data saat data tiba. Dalam artikel ini, kami akan membahas tantangan-tantangan ini.

Buat tabel dari template di database Azure Synapse Lake

Diasumsikan bahwa seseorang telah membuat instance database Azure Synapse Lake seperti yang dijelaskan dalam seri artikel sebelumnya tentang topik yang sama. Urutan yang harus kita ikuti dalam hal ini mengharuskan pembuatan tabel terlebih dahulu. Biasanya, pemodel data yang berspesialisasi dalam domain tertentu dapat membuat model data dari domain tersebut. Data lake adalah lokasi yang dihosting tempat data dari berbagai jenis dan domain dikumpulkan di lokasi logis yang sama. Oleh karena itu, ada kebutuhan untuk membuat model data secara organik dari domain yang berbeda. Galeri model data yang menyertakan tabel untuk domain dan subdomain tertentu bisa sangat berguna karena mengurangi ketergantungan berlebih pada pemodel data untuk mulai memproses data pada data yang disimpan di data lake. Meskipun ini bukan pengganti atau pengganti untuk pemodel data, ini setidaknya mengurangi hambatan untuk memulai sesuatu dan sebagai gantinya memberikan lompatan awal bagi analis dan pengembang untuk memulai sementara pemodel data menemukan model terbaik.

Azure Synapse Lake Database menyediakan mekanisme untuk membuat tabel dari sekumpulan pola yang telah ditentukan sebelumnya. Untuk membuat tabel Anda menggunakan salah satu template ini, buka instance Lake Database dan klik tanda + seperti yang ditunjukkan di bawah ini dan pilih item menu. Dari template Seperti yang ditunjukkan di bawah ini.


Opsi templat

Opsi ini membuka galeri template baru berdasarkan domain seperti pertanian, perbankan, barang konsumsi, perdagangan energi dan komoditas, transportasi dan logistik, pengelolaan dana, asuransi jiwa dan anuitas, minyak dan gas, asuransi properti dan kecelakaan. , ritel, adalah rahasia. Dan masih banyak lagi seperti gambar dibawah ini.


galeri template

Ini adalah domain tingkat atas dan masing-masing dapat memiliki banyak subdomain. Misalkan kita akan membuat tabel buku besar untuk menyimpan data yang berhubungan dengan buku besar. Ini terkait dengan domain perbankan, jadi klik pada perbankan dan itu akan memberikan sub-domain berikut seperti yang ditunjukkan di bawah ini. Angka di depan setiap subdomain menunjukkan jumlah definisi tabel di dalamnya. Mari kita pilih akuntansi dan pelaporan keuangan karena buku besar terkait dengan subdomain ini.


Subdomain

Saat kami memperluas subdomain ini, kami menemukan tabel Buku Besar seperti yang ditunjukkan di bawah ini. Kita bisa melihat definisi tabel serta field-field yang menjelaskan tujuan dari tabel ini.


Deskripsi meja

Saat kita mengkliknya kolom tab, kita dapat menemukan definisi kolom serta deskripsi bidang, yang memudahkan orang teknis untuk memahami aspek terkait domain yang dimodelkan dalam tabel. Kami memiliki opsi untuk memilih atau membatalkan pilihan bidang apa pun sesuai kebutuhan.


Deskripsi lapangan

Seperti yang kita lihat di artikel sebelumnya tentang Azure Synapse Lake Database Hubungan tab memberitahu kita dependensi internal dan eksternal dari tabel. Di sini sepertinya tabel ini independen, jadi kita tidak perlu menambahkan tabel terkait untuk saat ini. Klik tombol Add untuk menambahkan tabel ke sampel.


Hubungan

Ketika tabel ditambahkan, maka akan terlihat seperti gambar di bawah ini. Ini melengkapi bagian pertama dari latihan di mana kita pertama-tama harus membuat definisi skema sebelum data tiba.


meja buku besar

Klik pada tabel sehingga kita dapat melihat properti umum dan pengaturan yang terkait dengan penyimpanan tabel ini. Secara default, karena tabel ini dibuat dari template, tabel ini memilih konfigurasi database dan disimpan di Azure Data Lake Storage, yang merupakan konfigurasi kami untuk instans Azure Synapse Lake Database. Pengaturan penyimpanan ini tidak dapat diubah. Nilai folder input menunjukkan jalur yang diharapkan tabel untuk menerima data saat meminta akses ke data tabel ini. Jalur ini saat ini tidak ada di Azure Data Lake Storage.


Fitur yang tidak dapat diedit

Sisa properti yang terkait dengan pemformatan atau penguraian data dapat diubah seperti yang ditunjukkan di bawah ini. Memahami pengaturan mana yang dapat dan tidak dapat diubah untuk tabel yang dibuat dari template adalah penting agar tabel dikonfigurasi dengan benar saat dibuat dari template.


Properti yang dapat diedit

Berdasarkan bidang di log, kita sekarang membutuhkan beberapa data sampel. Data ini mungkin berasal dari penyimpanan data yang berbeda, tetapi harus memiliki skema yang sama seperti yang ditentukan dalam tabel agar tabel mencapai sumber data. Untuk mensimulasikan situasi ini, kita dapat membuat file CSV dengan beberapa record di dalamnya. Bidang diuraikan dalam posisi dan urutan berurutan yang sama seperti yang didefinisikan dalam tabel. Di bawah ini adalah contoh dari beberapa catatan dalam file CSV.


Contoh data

Buka akun Azure Data Lake Storage dan buat jalur dan folder tempat tabel diharapkan dan unggah file CSV ke lokasi ini seperti yang ditunjukkan di bawah ini. Nama file CSV tidak terlalu menjadi masalah dalam kasus ini.


Penyimpanan Data Lake Azure

Ini melengkapi paruh kedua latihan kami, di mana data tiba setelah mendefinisikan skema di database Azure Synapse Lake. Dalam praktiknya, data ini diisi menggunakan saluran data dan aliran data yang didukung oleh Azure Synapse Analytics atau Azure Data Factory. Untuk menguji apakah pendekatan dan konfigurasi berfungsi, buka instance Azure Synapse Lake Database dan buka tabel. Menggunakan tindakan elips dan memilih opsi SELECT 100 baris di atas. Ini akan membuka halaman baru seperti yang ditunjukkan di bawah ini. Klik menu Run untuk menjalankan skrip SQL, dan jika semuanya berjalan seperti yang diharapkan, kita harus dapat melihat data yang sama di halaman hasil seperti yang ditunjukkan di bawah ini.


Cari data menggunakan tabel yang dibuat dari template

Dengan cara ini, kita dapat menggunakan templat di database Azure Synapse Lake untuk memulai proses pemodelan data dan sumber data dengan cepat menggunakan model data yang ditentukan.

Hasil

Dalam artikel ini, kami memperkenalkan dua kasus penggunaan di mana model data didefinisikan pertama dan terakhir. Kami menjelajahi galeri template di database Azure Synapse Lake, membuat tabel darinya, lalu menautkannya ke data yang dihosting di Azure Data Lake Storage.

Gauri Mahajan
Postingan terbaru Gauri Mahajan (Lihat semua)



Source link

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *