{"id":2387,"date":"2018-08-29T15:27:50","date_gmt":"2018-08-29T13:27:50","guid":{"rendered":"http:\/\/miroslaw.borodziuk.eu\/?p=2387"},"modified":"2018-08-29T20:49:54","modified_gmt":"2018-08-29T18:49:54","slug":"azure-data-lake-storage","status":"publish","type":"post","link":"http:\/\/miro.borodziuk.eu\/index.php\/2018\/08\/29\/azure-data-lake-storage\/","title":{"rendered":"Azure Data Lake Storage"},"content":{"rendered":"<p><em>Azure Data Lake<\/em> to repozytorium danych zaprojektowane do analizy danych Big Data. ADL Storage daje mo\u017cliwo\u015b\u0107 szyfrowania danych przesy\u0142anych i znajduj\u0105cych si\u0119 w spoczynku. Dane w czasie wysy\u0142ania s\u0105 zawsze szyfrowane przy pomocy HTTPS. Podczas tworzenia magazynu dla Data Lake mamy mo\u017cliwo\u015b\u0107 wyboru pomi\u0119dzy szyfrowaniem a nie szyfrowaniem danych. Wybra\u0107 mo\u017cemy tak\u017ce czy klucze maj\u0105 by\u0107 zarz\u0105dzane przez Data Lake czy przez w\u0142asny Key Vault.<\/p>\n<p><!--more--><\/p>\n<p>Utworzy\u0107 w\u0142asny magazyn dla <em>Azure Data Lake<\/em> mo\u017cemy klikaj\u0105c w portalu Azure:<\/p>\n<p><em><code>All rosources -&gt; Add -&gt; Storage -&gt; Data Lake Storage Gen1<\/code><\/em><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-full wp-image-2393\" src=\"http:\/\/miroslaw.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage.jpg\" alt=\"\" width=\"626\" height=\"819\" srcset=\"http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage.jpg 626w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage-229x300.jpg 229w\" sizes=\"(max-width: 626px) 100vw, 626px\" \/><\/p>\n<p>W nowo utworzonym magazynie dla Data Lake mo\u017cna tworzy\u0107 foldery i \u0142adowa\u0107 dane.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-full wp-image-2397\" src=\"http:\/\/miroslaw.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage2.jpg\" alt=\"\" width=\"1002\" height=\"687\" srcset=\"http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage2.jpg 1002w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage2-300x206.jpg 300w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage2-768x527.jpg 768w\" sizes=\"(max-width: 767px) 89vw, (max-width: 1000px) 54vw, (max-width: 1071px) 543px, 580px\" \/><\/p>\n<p>Mo\u017cliwe jest tak\u017ce ustawianie uprawnie\u0144 dost\u0119pu do plik\u00f3w.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-full wp-image-2404\" src=\"http:\/\/miroslaw.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage3.jpg\" alt=\"\" width=\"1395\" height=\"532\" srcset=\"http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage3.jpg 1395w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage3-300x114.jpg 300w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage3-768x293.jpg 768w, http:\/\/miro.borodziuk.eu\/wp-content\/uploads\/AzureDataLakeStorage3-1024x391.jpg 1024w\" sizes=\"(max-width: 767px) 89vw, (max-width: 1000px) 54vw, (max-width: 1071px) 543px, 580px\" \/><\/p>\n<p>&nbsp;<\/p>\n<p><span style=\"color: #3366ff;\">Zarz\u0105dzanie Data Lake Storage przy pomocy PowerShella<\/span><\/p>\n<p>Tworzenie magazynu Data Lake:<\/p>\n<pre class=\"lang:ps decode:true \">$resourceGroupName = \"RG01\"\r\n$dataLakeStoreName = \"mydatalakestorage02\"\r\nNew-AzureRmDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStoreName -Location \"West Europe\"<\/pre>\n<p>Sprawdzenie czy konto zosta\u0142o utworzone pomy\u015blnie:<\/p>\n<pre class=\"lang:ps decode:true \">PS C:\\&gt; Test-AzureRmDataLakeStoreAccount -Name $dataLakeStoreName\r\nTrue<\/pre>\n<p>Wynik True oznacza, \u017ce konto zosta\u0142o utworzone.<\/p>\n<p>Tworzenie katalog\u00f3w w magazynie data Lake:<\/p>\n<pre class=\"lang:ps decode:true \">$myrootdir = \"\/\"\r\nNew-AzureRmDataLakeStoreItem -Folder -AccountName $dataLakeStoreName -Path $myrootdir\/mynewdirectory<\/pre>\n<p>Sprawdzenie czy katalog zosta\u0142 utworzony:<\/p>\n<pre class=\"lang:ps decode:true \">Get-AzureRmDataLakeStoreChildItem -AccountName $dataLakeStoreName -Path $myrootdir\r\n\r\nMode LastWriteTime Length Name Type\r\n---- ------------- ------ ---- ----\r\n770 2018-08-29 16:12:32 +00:00 0 mynewdirectory DIRECTORY\r\n\r\n<\/pre>\n<p>Upload danych z lokalnego katalogu do magazynu Data Lake:<\/p>\n<pre class=\"lang:ps decode:true\">Import-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path \"D:\\Documents\\plik.pdf\" -Destination $myrootdir\\mynewdirectory\\plik.pdf\r\n\/\/mynewdirectory\/plik.pdf<\/pre>\n<p>Zmiana nazwy pliku:<\/p>\n<pre class=\"lang:ps decode:true \">Move-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path $myrootdir\\mynewdirectory\\plik.pdf -Destination $myrootdir\\mynewdirectory\\plik2.pdf\r\n\/\/mynewdirectory\/plik2.pdf<\/pre>\n<p>Pobranie pliku :<\/p>\n<pre class=\"lang:ps decode:true \">Export-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Path $myrootdir\\mynewdirectory\\plik2.pdf -Destination \"D:\\Documents\\plik2.pdf\"\r\nD:\\Documents\\plik2.pdf<\/pre>\n<p>Wykasowanie pliku:<\/p>\n<pre class=\"lang:ps decode:true \">Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\\mynewdirectory\\plik2.pdf\r\n\r\nConfirm\r\nAre you sure you want to remove the Data Lake item at path: '\/\/mynewdirectory\/plik2.pdf'?\r\n[Y] Yes [N] No [S] Suspend [?] Help (default is \"Y\"): y<\/pre>\n<p>Je\u017celi mieliby\u015bmy wi\u0119cej plik\u00f3w do usuni\u0119cia to podajemy kilka \u015bcie\u017cek do plik\u00f3w oddzielonych przecinkami:<\/p>\n<pre class=\"lang:ps decode:true \">Remove-AzureRmDataLakeStoreItem -AccountName $dataLakeStoreName -Paths $myrootdir\\mynewdirectory\\plik2.pdf, $myrootdir\\mynewdirectory\\plik3.pdf<\/pre>\n<p>Usuwanie konta magazynu Data Lake:<\/p>\n<pre class=\"lang:ps decode:true \">Remove-AzureRmDataLakeStoreAccount -Name $dataLakeStoreName\r\n\r\nConfirm\r\nAre you sure you want to remove DataLakeStore account 'mydatalakestorage02'?\r\n[Y] Yes [N] No [S] Suspend [?] Help (default is \"Y\"): y<\/pre>\n<p>&nbsp;<\/p>\n<p>Wi\u0119cej informacji:<\/p>\n<p><a href=\"https:\/\/docs.microsoft.com\/pl-pl\/azure\/data-lake-store\/data-lake-store-get-started-portal\">https:\/\/docs.microsoft.com\/pl-pl\/azure\/data-lake-store\/data-lake-store-get-started-portal<\/a><\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Azure Data Lake to repozytorium danych zaprojektowane do analizy danych Big Data. ADL Storage daje mo\u017cliwo\u015b\u0107 szyfrowania danych przesy\u0142anych i znajduj\u0105cych si\u0119 w spoczynku. Dane w czasie wysy\u0142ania s\u0105 zawsze szyfrowane przy pomocy HTTPS. Podczas tworzenia magazynu dla Data Lake mamy mo\u017cliwo\u015b\u0107 wyboru pomi\u0119dzy szyfrowaniem a nie szyfrowaniem danych. Wybra\u0107 mo\u017cemy tak\u017ce czy klucze maj\u0105 &hellip; <\/p>\n<p class=\"link-more\"><a href=\"http:\/\/miro.borodziuk.eu\/index.php\/2018\/08\/29\/azure-data-lake-storage\/\" class=\"more-link\">Continue reading<span class=\"screen-reader-text\"> &#8220;Azure Data Lake Storage&#8221;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":2388,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[70],"tags":[],"_links":{"self":[{"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/posts\/2387"}],"collection":[{"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/comments?post=2387"}],"version-history":[{"count":13,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/posts\/2387\/revisions"}],"predecessor-version":[{"id":2405,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/posts\/2387\/revisions\/2405"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/media\/2388"}],"wp:attachment":[{"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/media?parent=2387"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/categories?post=2387"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/miro.borodziuk.eu\/index.php\/wp-json\/wp\/v2\/tags?post=2387"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}