Data Catalog Implementation Specialist (m/w/d)
- Herausforderung
- zeitnaher Start
Start: asap
Project Duration: 03 Months + Workload: 5 days / per week Location: Remote (95%) Düsseldorf Industry: Sales Project language: English/German (nice to have) AUFGABENGEBIET:We are seeking a hands-on Data Catalog Expert to lead a critical pilot project focused on democratizing data access for our Data Science team.
The engagement involves setting up an initial data catalog instance and integrating it with our Databricks environment to register key source datasets. The objective is to demonstrate the value of a centralized metadata repository by transforming raw table lists into a searchable, context-rich asset library that accelerates model development and analytics. ANFORDERUNGSPROFIL:Key Responsibilities:
- Pilot Configuration:
- Deploy and configure the initial instance of the data catalog (e.g., Atlan or DataHub ) to support a Proof of Concept (PoC) scope. Work with the DataHub open-source framework within our ecosystem.
- Needs Assessment:
- Consult on how effectively the data catalog meets organizational requirements and identify gaps.
- Databricks Integration:
- Establish secure connectivity between the data catalog and Databricks Unity Catalog/Delta Lake to automate ingestion of schemas, tables, and views.
- Metadata Enrichment:
- Execute automated metadata extraction and implement tagging strategies to classify sensitive data (PII) and add business context (descriptions, owners).
- User Onboarding:
- Design a streamlined workflow enabling Data Scientists to search, query, and request access to datasets directly through the catalog interface.
Required Technical Skills:
- Data Cataloging:
- Proven experience configuring modern data governance platforms, specifically Atlan and/or DataHub .
- DataHub Open Source Framework:
- Hands-on knowledge of the DataHub open-source catalog framework .
- Data Platforms:
- Strong proficiency with Databricks (Lakehouse architecture, Delta Lake, Unity Catalog) and Spark SQL .
- Metadata Management:
- Expertise in metadata ingestion frameworks, API-based integration ( REST/GraphQL ), and automated classification policies.
- Scripting:
- Proficiency in Python or SQL for custom connector configuration and metadata manipulation.
- Governance:
- Familiarity with data stewardship principles, including ownership assignments, glossary creation, and certification workflows.
- Functional connection between Databricks and the data catalog ( Atlan/DataHub ).
- Registration of high-priority source datasets with complete metadata (descriptions/tags).
- Demonstrable "Search-to-Query" workflow for the Data Science team.
- Final recommendation report on catalog scalability and long-term architecture.
Empfohlene Jobs
Praktikum im Bereich Audit / Wirtschaftsprüfung (w/m/d)
Praktikum im Bereich Audit / Wirtschaftsprüfung (w/m/d) Standorte: Aachen, Augsburg, Berlin, Bielefeld, Bremen, Dortmund, Dresden, Düsseldorf, Essen, Frankfurt, Freiburg, Hamburg, Hannover, Jena, …
Praktikum Controlling International - Reporting in Neckarsulm, Lidl
Einleitung Eine gute Idee war der Ursprung, ein erfolgreiches Konzept ist das Ergebnis. Qualität zum guten Preis möglichst vielen Menschen anbieten zu können treibt uns an - mittlerweile weltweit,…
Senior Elektroplanungs-Ingenieur (m/w/d) für gewerbliche Photovoltaik & New Energy Systeme - Region West (Remote)- 1KOMMA5° Commercial & Industrial Solutions
1KOMMA5° Bei 1KOMMA5° bauen wir Europas führende Energie-Software-Plattform “Heartbeat” und schaffen so ein virtuelles Kraftwerk , das Photovoltaik, Stromspeicher, Wärmepumpen und Ladesäulen der …
Mitarbeiter Warenverräumung (m/w/d)
EIN ARBEITGEBER, DER ZU DIR PASST Du suchst einen Aushilfsjob mit fairem Stundenlohn? Starte als Mitarbeiter Warenverräumung (m/w/d) in unserer Filiale – auch als Quereinsteiger:in. Du erhältst Ur…
Flughafen-Kommissionierer für Bordverpflegung (m/w/d)
Wir sind Unique ... und das im wahrsten Sinne des Wortes. Sie suchen einen sicheren und abwechslungsreichen Job eine faire Bezahlung mit vielen Extras und einen Arbeitgeber, der sich für Sie einset…
Werkstudent SAP Consulting Public Sector (all genders)
Das erwartet dich bei uns Beitrag zur Zukunftsfähigkeit des Public Sector, z. B. durch die Migration von SAP‑Themen in die Cloud sowie die Gestaltung moderner SAP‑Systemlandschaften auf Basis von …
Technischer SAP Berater (m/w/d) - Raum Düsseldorf
Technischer SAP-Berater* / Raum Düsseldorf - remote / minimale Reisetätigkeit Nach ausführlicher Absprache suche ich für unseren international erfolgreichen Kunden Sie als Technischer SAP-Berater…
Einzelhandel und Ladenverkauf
Die Unternehmensgruppe ALDI Nord ist einer der führenden Lebensmitteleinzelhändler. Mit einer Tradition von über 110 Jahren steht ALDI für die Erfindung des Discount-Prinzips. Unsere Mission ist es, …
Mitarbeiter (m/w/d) in der Serviceannahme
Die S.U.S. Autotechnik GmbH ist ein freier Kfz-Meisterbetrieb mit Sitz im Zentrum von Krefeld , das sich auf hochwertige Dienstleistungen im Bereich Fahrzeugtechnik spezialisiert hat. Mit über 40…
Werkstudent (m/w/d) Marketing
Stelleneinleitung Wir sind ein dynamisches Unternehmen im Bereich der Unternehmens- und Personalberatung. Zur Verstärkung unseres Teams am Standort Düsseldorf suchen wir zum nächstmöglichen Zeitpunk…