Azure Data Lake to repozytorium danych zaprojektowane do analizy danych Big Data. ADL Storage daje możliwość szyfrowania danych przesyłanych i znajdujących się w spoczynku. Dane w czasie wysyłania są zawsze szyfrowane przy pomocy HTTPS. Podczas tworzenia magazynu dla Data Lake mamy możliwość wyboru pomiędzy szyfrowaniem a nie szyfrowaniem danych. Wybrać możemy także czy klucze mają być zarządzane przez Data Lake czy przez własny Key Vault.
Utworzyć własny magazyn dla Azure Data Lake możemy klikając w portalu Azure:
All rosources -> Add -> Storage -> Data Lake Storage Gen1
W nowo utworzonym magazynie dla Data Lake można tworzyć foldery i ładować dane.
Możliwe jest także ustawianie uprawnień dostępu do plików.
Zarządzanie Data Lake Storage przy pomocy PowerShella
Tworzenie magazynu Data Lake:
|
1 2 3 |
$resourceGroupName = "RG01" $dataLakeStoreName = "mydatalakestorage02" New-AzureRmDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStoreName -Location "West Europe" |
Sprawdzenie czy konto zostało utworzone pomyślnie:
|
1 2 |
PS C:\> Test-AzureRmDataLakeStoreAccount -Name $dataLakeStoreName True |
Wynik True oznacza, że konto zostało utworzone.
Tworzenie katalogów w magazynie data Lake:
|
1 2 |
$myrootdir = "/" New-AzureRmDataLakeStoreItem -Folder -AccountName $dataLakeStoreName -Path $myrootdir/mynewdirectory |
Sprawdzenie czy katalog został utworzony:
|
1 2 3 4 5 |
Get-AzureRmDataLakeStoreChildItem -AccountName $dataLakeStoreName -Path $myrootdir Mode LastWriteTime Length Name Type ---- ------------- ------ ---- ---- 770 2018-08-29 16:12:32 +00:00 0 mynewdirectory DIRECTORY |
Upload danych z lokalnego katalogu do magazynu Data Lake:
|
1 2 |
Import-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path "D:\Documents\plik.pdf" -Destination $myrootdir\mynewdirectory\plik.pdf //mynewdirectory/plik.pdf |
Zmiana nazwy pliku:
|
1 2 |
Move-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path $myrootdir\mynewdirectory\plik.pdf -Destination $myrootdir\mynewdirectory\plik2.pdf //mynewdirectory/plik2.pdf |
Pobranie pliku :
|
1 2 |
Export-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path $myrootdir\mynewdirectory\plik2.pdf -Destination "D:\Documents\plik2.pdf" D:\Documents\plik2.pdf |
Wykasowanie pliku:
|
1 2 3 4 5 |
Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\mynewdirectory\plik2.pdf Confirm Are you sure you want to remove the Data Lake item at path: '//mynewdirectory/plik2.pdf'? [Y] Yes [N] No [S] Suspend [?] Help (default is "Y"): y |
Jeżeli mielibyśmy więcej plików do usunięcia to podajemy kilka ścieżek do plików oddzielonych przecinkami:
|
1 |
Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\mynewdirectory\plik2.pdf, $myrootdir\mynewdirectory\plik3.pdf |
Usuwanie konta magazynu Data Lake:
|
1 2 3 4 5 |
Remove-AzureRmDataLakeStoreAccount -Name $dataLakeStoreName Confirm Are you sure you want to remove DataLakeStore account 'mydatalakestorage02'? [Y] Yes [N] No [S] Suspend [?] Help (default is "Y"): y |
Więcej informacji:
https://docs.microsoft.com/pl-pl/azure/data-lake-store/data-lake-store-get-started-portal