- Publié le
Vue d'ensemble du pipeline de données
- Auteurs
- Nom
- AbnAsia.org
- @steven_n_t
À quoi ressemble un pipeline de données moderne
Un pipeline de données comporte généralement 5 étapes :
- Collecte :
Les données sont acquises à partir de magasins de données, de flux de données et d'applications.
- Ingestion :
Au cours de l'ingestion, les données sont chargées dans les systèmes et organisées dans des files d'attente d'événements.
- Stockage :
Après ingestion, les données organisées sont stockées dans des entrepôts de données, des lacs de données et des lakehouses de données. Elles sont également stockées dans des bases de données et d'autres systèmes.
- Calcul :
Les données subissent une agrégation, un nettoyage et une manipulation pour se conformer aux normes de l'entreprise. Cela inclut la conversion de format, la compression des données et le partitionnement. Le traitement par lots et le traitement en flux sont utilisés, le traitement en flux tapant également directement dans la phase d'ingestion pour une efficacité dans de nombreux cas de charge.
- Consommation :
Les données traitées sont mises à disposition pour la consommation via l'analyse, la visualisation, les magasins de données opérationnelles, les moteurs de décision, les applications orientées utilisateur, les tableaux de bord, la science des données, l'apprentissage automatique, l'intelligence d'affaires et l'analyse en libre-service.
Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.
Auteur
AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.
N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.
© ABN ASIA