Framework pour charger des données d’Oracle vers Azure

Posté par Dino, mise à jour le 11/05/2026 à 10:10:10

Étape 1 : Configurer le stockage de blob Azure

Étape 2 : Installer les bibliothèques requises

pip install cx_Oracle 

ip install azure-storage-blob

Étape 3 : Connectez-vous à Oracle

import cx_Oracle

conn = cx_Oracle.connect('username/password@hostname:port/servicename')

Étape 4 : Requête des données d’Oracle

import pandas as pd

query = 'SELECT * FROM my_table'

df = pd.read_sql(query, conn)

Replace my_table with the name of the table that you want to query.

Étape 5 : Écrire les données dans un fichier Parquet

import pyarrow as pa

import pyarrow.parquet as pq

table = pa.Table.from_pandas(df)

pq.write_table(table, 'my_file.parquet')

Replace my_file.parquet with the name that you want to give to the Parquet file.

Étape 6 : Téléverser le fichier Parquet vers Azure Blob Storage

from azure.storage.blob import BlobServiceClient

connection_string = 'DefaultEndpointsProtocol=https;AccountName=myaccount;AccountKey=mykey;EndpointSuffix=core.windows.net'

container_name = 'my_container'

blob_name = 'my_file.parquet'

blob_service_client = BlobServiceClient.from_connection_string(connection_string)

blob_client = blob_service_client.get_blob_client(container_name, blob_name)

with open('my_file.parquet', 'rb') as data:

    blob_client.upload_blob(data)

Étape 7 : Charger le fichier Parquet dans le pool SQL dédié Synapse

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';

CREATE DATABASE SCOPED CREDENTIAL cred_name

WITH IDENTITY = 'username',

SECRET = 'password';

CREATE EXTERNAL DATA SOURCE data_source_name

WITH (

    TYPE = HADOOP,

    LOCATION = 'wasbs://container_name@account_name.blob.core.windows.net',

    CREDENTIAL = cred_name

);

CREATE EXTERNAL TABLE external_table_name

(

    column1 datatype1,

    column2 datatype2,

    ...

)

WITH (

    LOCATION = '/path/to/parquet/file',

    DATA_SOURCE = data_source_name,

    FILE_FORMAT = 'parquet'

);

INSERT INTO regular_table_name

SELECT column1, column2, ...

FROM external_table_name;

Conclusion

Ajouter une réponse

A voir aussi :

Les dernières discussions: