본문 바로가기

Data Engineering/MS Azure

(2)
Python 라이브러리를 활용한 Azure Blob 파일 획득 예제 Python 라이브러리를 활용해서 Azure Blob 스토리지의 Blob 파일을 획득하는 예제를 진행해보겠다. 이를 위해 azure-storage-blob 이라는 이름의 패키지를 설치한다. pip install azure-storage-blob사용할 때에는 azure.storage.blob으로 임포트한다. 단, 패키지 사이즈가 크므로 사용할 라이브러리만 이름으로 임포트하여 사용하는 것을 추천한다.from azure.storage.blob import * 1. MS Azure Blob File 획득1-1. MS Azure Blob File 이름 리스트 획득컨테이너 하위의 blob 파일 리스트에 대한 정보는 Python azure-storage-blob의 BlobServiceClient 클래스가 지원한다. ..
Azure Blob 스토리지에 대한 이해 클라우드 제품이 MS Azure 클라우드 기반으로 만들어진 많은 경우, 비용적인 측면과 사용에의 편리함 때문에 데이터 레이크로 Blob 스토리지를 사용할  가능성이 매우 높다. 본인 역시 회사에서 운영 중인 클라우드 제품 일부가 Azure 기반으로 설계되어, 데이터 파이프라인 구축할 때 Azure에 대한 이해가 필수적으로 필요했다. 예전에 정리해둔 내용을 공개해본다.. 1. MS Azure Blob Storage  Azure Blob Storage는 클라우드를 위한 Microsoft의 개체 스토리지 솔루션이다. Blob Storage는 대량의 비정형 데이터를 저장하도록 최적화되어 있다. 비정형 데이터는 텍스트 또는 이진 데이터와 같은 특정 데이터 모델이나 정의를 따르지 않는 데이터이다.사용자 또는 클라이..