Aperçu
La capacité à traiter, collecter et analyser efficacement les données n’a fait que gagner en valeur ces dernières années. L’entreposage de données cloud permet aux grandes organisations de répondre à ce besoin avec une agilité, une efficacité et une rapidité considérables. Gartner a prédit qu’en 2022, 75 % de toutes les bases de données auront migré vers — ou seront initialement déployées dans — le cloud.
Toutes les preuves disponibles semblent indiquer que l'utilisation des données par les entreprises continuera d'augmenter, et que les types de données diffusés, ainsi que leurs sources, deviendront plus variés. Cette diversité évolutive des données nécessite une approche flexible qui peut dépasser le cadre de ce que peuvent gérer les méthodes traditionnelles d'entreposage de données, et c'est là que le cloud intervient.
L'infrastructure sur site offre toujours une valeur ajoutée pour l'entreposage de données, mais l'entrepôt de données cloud-first, y compris les environnements hybrides, est rapidement devenu la norme. Les tendances indiquent que ce changement se poursuivra. Examinons les fondamentaux de cette technologie et examinons la meilleure façon d'évaluer et de mettre en œuvre une solution de data warehousing cloud pour votre entreprise.
Qu’est-ce que le stockage de données cloud et comment fonctionne-t-il ?
Un entrepôt de données cloud réalise toutes les fonctions que l’on attendrait d’un entrepôt de données traditionnel, telles que le traitement des données, la collectation, l’intégration, le nettoyage, le chargement et la gestion de rapports. Mais il le fait dans un environnement cloud public. Parmi les exemples figurent Microsoft Azure SQL Data Warehouse, Amazon Redshift, Teradata Autonomous Knowledge Platform, Google Cloud’s BigQuery et Snowflake Cloud Data Platform.
Comme son homologue sur site, un entrepôt de données d'entreprise déployé dans le cloud est généralement une base de données relationnelle, centrée sur des données structurées et semi-structurées. C'est le type que l'on retrouve dans diverses applications de gestion de la relation client (CRM), de planification des ressources d'entreprise (ERP) et de point de vente, pour n'en citer que quelques-unes. Les données non structurées, quant à elles, sont généralement agrégées à l'aide d'un cadre de lac de données, qui peut également être basé sur le cloud.
Au niveau le plus granulaire, la majorité des données stockées dans un entrepôt sont caractérisées soit par des faits, des mesures ou des dimensions :
- Faits : Données liées à des événements ou transactions spécifiques, par exemple : « L’employé John Smith rémunéré 4 000 $ pour le mois de 48 000 $ de salaire brut par an. »
- Mesures : Chiffres précis liés aux faits — d’après l’exemple ci-dessus, l’une des mesures serait « Salaire mensuel : 4 000 $ ».
- Dimensions : Celles-ci catégorisent les faits et mesures avec des informations contextuelles plus structurées, telles que « Nom de l’employé : John Smith » et « Dates de dépôt direct : 15 et 30 novembre ».
Une base de données cloud se distingue par sa polyvalence, et elle peut donc être facilement multidimensionnelle. En plus de sa capacité à gérer facilement de nombreuses dimensions du big data actuel et historique en un seul lieu, une base de données cloud moderne peut fonctionner sur une architecture serverless, ce qui aide à minimiser les responsabilités de gestion des données d'une entreprise. Alternativement, les bases de données cloud peuvent utiliser l'approche cluster-and-node, dans laquelle deux serveurs physiques ou plus sont utilisés.
Architecture traditionnelle vs. cloud
Les entrepôts de données d’entreprise traditionnels utilisent des architectures sur site, à plusieurs niveaux , où les organisations gèrent elles-mêmes le provisionnement matériel, le stockage et les ressources de calcul. Les données circulent à travers plusieurs couches avant d’être disponibles pour le reporting et l’analyse.
La plupart des architectures d’entrepôt traditionnelles suivent une structure à trois niveaux. À la base se trouve la couche de base de données qui collecte les données des systèmes opérationnels et d’autres sources. La couche intermédiaire contient des services de traitement analytique en ligne (OLAP) qui transforment et organisent les données pour analyse. Au niveau supérieur, les outils de reporting et d’analyse fournissent des tableaux de bord, des visualisations et des interfaces de requête pour les utilisateurs métier.
Les configurations traditionnelles vont des entrepôts d’entreprise centralisés agrégeant des données à l’échelle de l’entreprise aux data marts spécifiques à chaque département ou aux entrepôts virtuels qui interrogent simultanément plusieurs bases de données.
Les entrepôts de données cloud adoptent une approche différente. Au lieu de s’appuyer sur une infrastructure fixe, les entrepôts de données cloud utilisent des plateformes cloud élastiques, permettant aux organisations d’évoluer dynamiquement la capacité de calcul et de stockage en fonction de volumes de données croissants. Les déploiements cloud s’inscrivent généralement en deux grands schémas architecturaux : les systèmes basés sur des clusters, qui utilisent plusieurs nœuds pour traiter les requêtes, et les systèmes serverless, où le fournisseur cloud gère dynamiquement les ressources de calcul.
Une autre différence clé entre le stockage de données traditionnel et le cloud réside dans la manière dont l’infrastructure est partagée ou isolée entre les clients. Les fournisseurs cloud proposent généralement plusieurs modèles de location qui équilibrent performance, efficacité des coûts et contrôle opérationnel.
| Modèle de déploiement | Description architecturale | Caractéristiques de performance | Profil de coûts | Niveau de contrôle | Cas d’usage typiques |
|---|---|---|---|---|---|
| Entrepôt de données cloud monolocataire | Infrastructure dédiée pour une seule organisation. Les ressources de calcul et de stockage ne sont pas partagées avec d’autres clients. | Des performances élevées et constantes grâce à des ressources isolées et à des charges de travail prévisibles. | Le coût est plus élevé car l’infrastructure est réservée à un seul locataire. | Contrôle maximal sur la configuration, les politiques de sécurité et l’allocation des ressources. | Des industries hautement réglementées, des charges de travail sensibles et des entreprises nécessitant une isolation stricte des performances. |
| Entrepôt de données cloud multi-locataire | Plusieurs organisations partagent la même infrastructure sous-jacente gérée par le fournisseur cloud. | Les performances peuvent varier selon l’allocation des ressources et le partage de la charge de travail entre les locataires. | Coût plus bas grâce à l’infrastructure partagée et aux économies d’échelle. | Contrôle limité puisque la gestion de l’infrastructure est principalement gérée par le fournisseur. | Les organisations privilégient l’efficacité des coûts, le déploiement rapide et la simplification des opérations. |
| Entrepôt de données hybride cloud | Combine des ressources dédiées avec des services cloud partagés ou intègre l’infrastructure sur site avec des environnements cloud. | Performance équilibrée selon les charges de travail qui fonctionnent sur une infrastructure dédiée ou partagée. | Une structure de coûts flexible qui permet aux organisations d’optimiser les dépenses selon les environnements. | Contrôle modéré à élevé selon la conception du déploiement et l’intégration avec les systèmes existants. | Les entreprises migrent depuis des systèmes sur site ou exécutent des charges de travail mixtes nécessitant à la fois contrôle et évolutivité. |
Avantages de l’utilisation du cloud data warehousing pour l’analyse
Accumuler et compiler tous ces gigaoctets sur gigaoctets (et, à terme, téraoctets) de données ne concerne pas le stockage ou les opérations. Les informations qu'elle peut révéler peuvent servir de fondement au développement stratégique qui stimule la croissance et les résultats financiers — et elles doivent être débloquées grâce à des outils d'analyse.
Exécuter des analyses de données et faire des rapports sur un entrepôt de données hébergé via une solution cloud est très différent d'accomplir les mêmes tâches pour un entrepôt sur site. En fait, c'est sans doute l'une des tendances les plus passionnantes de l' informatique en nuage dans le monde des entreprises actuellement.
Un entrepôt de données cloud offre une scalabilité et une élasticité rentables pour les charges de travail analytiques sur des déploiements uniques, multi-cloud ou hybrides. Les requêtes s’exécutent plus rapidement que dans un entrepôt sur site, à un coût global inférieur en raison de l’absence de surcharge matérielle.
Avec le bon moteur d'analyse de données pour le cloud, vous pouvez offrir à votre organisation la flexibilité de concevoir et de mettre en œuvre des algorithmes aussi sophistiqués que vos circonstances l'exigent, en utilisant les langages de programmation que vous connaissez, tels que SQL, Python, SAS et R. L'analyse évolutive dans ce contexte met en œuvre des processus d'apprentissage automatique de pointe, le clustering et la segmentation, l'analyse du sentiment, l'extraction de texte, la création graphique et l'analyse géospatiale ou des séries temporelles.
De plus, exécuter des analyses d’entrepôts de données dans le cloud vous permet d’intégrer de nombreux services de gestion de données : Amazon EBS, S3, SageMaker, Glue et Lambda, ainsi que Azure Blob Storage, Data Factory, ML Studio et PowerBI, ce ne sont que quelques exemples.
Comment sélectionner et déployer un entrepôt de données basé sur le cloud
Tout d'abord, vous devez réfléchir à savoir si une architecture d'entrepôt basée sur un cluster ou serverless conviendra au déploiement cloud de votre organisation.
Les entrepôts en grappe offrent des prix plus prévisibles et permettent une supervision plus directe, mais ce dernier avantage se fait au détriment de plus de temps et de ressources pour gérer l’élasticité, la capacité et la santé du cluster. En revanche, les modèles serverless sont entièrement supervisés par votre CSP et l’élasticité est automatiquement mise à l’échelle, mais vous payez soit par requête, soit en fonction de l’utilisation, ce qui peut être difficile à prévoir.
La tarification est en fait peut-être l'aspect le plus complexe du choix d'un entrepôt de données cloud, quel que soit le modèle. L'un des principaux avantages d'une plateforme cloud solide est son élasticité, mais lorsque les charges de travail de données sont stables, vous pouvez rencontrer des inefficacités de coûts. De plus, il est crucial de surveiller les coûts liés aux flux de travail qui déplacent les données hors du cloud, ainsi que les budgets complexes et les contrôles de coûts qui peuvent rapidement devenir incontrôlables.
Enfin, la mise en œuvre initiale d’un entrepôt basé sur le cloud peut s’accompagner de performances inférieures à l’attente et obliger les utilisateurs à modifier leurs pratiques pour s’adapter à ce problème précoce.
Maximiser un entrepôt de données cloud nécessite une plateforme de données agile et multi-cloud comme la Teradata Autonomous Knowledge Platform. Son service cloud, Teradata Cloud, est conçu spécialement pour les charges de travail d’entreprise, et sa tarification fixe + flexible combine une base fixe engagée avec une capacité flexible à la demande. La plateforme prend en charge les déploiements cloud, sur site et hybrides pour traiter les données là où elles se trouvent, minimisant ainsi les déplacements de données.
Questions fréquemment posées
Qu’est-ce qu’un entrepôt de données cloud ?
Qu’est-ce qu’un entrepôt de données cloud ?
Un entrepôt de données cloud regroupe des données provenant de systèmes transactionnels, d’applications et d’autres sources pour des requêtes analytiques et de l’intelligence économique, avec un stockage et un calcul qui évoluent à la demande.
Quelle est la différence entre les entrepôts de données cloud basés sur un cluster et les entrepôts de données cloud serverless ?
Quelle est la différence entre les entrepôts de données cloud basés sur un cluster et les entrepôts de données cloud serverless ?
Les systèmes basés sur un cluster utilisent plusieurs nœuds pour traiter les requêtes, tandis que dans les systèmes serverless, le fournisseur cloud gère les ressources de calcul de manière dynamique. Les tarifs varient également. Les modèles serverless facturent par requête ou par utilisation, ce qui peut être difficile à prévoir. La location est une décision distincte. Choisissez un locataire unique si vous avez besoin d’une isolation stricte des performances, ou multi-locataire si le coût inférieur compte davantage.
Quelle est la différence entre un entrepôt de données cloud et un data lake ?
Quelle est la différence entre un entrepôt de données cloud et un data lake ?
Un entrepôt de données stocke des données relationnelles sous un schéma défini à l’avance, optimisé pour des requêtes SQL rapides et des rapports. Un data lake stocke des données structurées et non structurées telles quelles, à n’importe quelle échelle, pour des analyses telles que le traitement des mégadonnées et l’apprentissage automatique.
Comment choisir un entrepôt de données cloud ?
Comment choisir un entrepôt de données cloud ?
Commencez par vos charges de travail, votre budget et vos besoins en déploiement plutôt qu’un classement. Choisissez entre une architecture basée sur un cluster et une architecture serverless, comparez les modèles tarifaires et vérifiez si vous avez besoin d’un déploiement cloud, multi-cloud ou hybride. Les plateformes qui fonctionnent dans le cloud, sur site et en déploiements hybrides peuvent traiter les données là où elles se trouvent, minimisant ainsi les mouvements de données.
À quoi devriez-vous faire attention lors du passage vers un entrepôt de données cloud ?
À quoi devriez-vous faire attention lors du passage vers un entrepôt de données cloud ?
Principalement le coût et les performances précoces. La tarification peut être la partie la plus compliquée du choix. Les modèles serverless facturent par requête ou par utilisation, ce qui est difficile à anticiper. Et déplacer les données hors du cloud ajoute des coûts. La mise en œuvre initiale peut aussi être plus lente que prévu et obliger les utilisateurs à ajuster leurs pratiques.