Data Engineer – Java / Spark F/H
Hybrid
Toulouse, France
€ 40,000 / year
Full Time
13-03-2025
Job Specifications
Rejoignez une équipe passionnée et boostez la transformation Big Data !
Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l’industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l’exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs.
Votre défi à relever
En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l’optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.
Situation géographique : Toulouse
Quelques infos importantes à retenir :
- Démarrage : ASAP
- Expérience d'au moins minimum 2 ans sur un poste similaire
- Télétravail 2 jours/semaine
Profil recherché
Vos missions au quotidien
· Développer et optimiser des pipelines de données massifs avec Spark et Scala.
· Assurer l’ingestion, le nettoyage et l’enrichissement des données en vue de leur exploitation.
· Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML.
· Contribuer à l’industrialisation et à la mise en production des traitements Big Data.
· Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning.
· Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse.
Votre environnement technique
· Langages : Java (J2EE / JDK 17), Scala
· Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet
· Infrastructure & DevOps : Docker, Kubernetes, Helm, Git, Maven
· Messaging & Streaming : Kafka, Redis
· Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock
· API : Web Services Rest
Et pour réussir dans ce rôle ?
· Vous avez minimum 2 ans d’expérience en tant que Data Engineer.
· Vous maîtrisez Spark, Scala et l’écosystème Big Data.
· Vous avez des bases solides en développement backend et en conception de pipelines de données.
· Vous appréciez travailler en équipe et collaborer avec des profils variés (développeurs, data scientists, métiers).
· Une appétence pour le Machine Learning est un plus !
· Anglais courant indispensable pour évoluer dans un contexte international.
About the Company
Depuis 30 ans, CELAD accompagne plus de 250 clients grâce à ses 12 agences en France sur des projets en Systèmes d'information, Systèmes Industriels et Embarqués. N'oublions pas nos centres d'expertise en Software/Hardware. Nos domaines d'activités : -IoT/ Objets connectés -Web -Banque / Assurance -Automobile / Ferroviaire -Aéronautique / Spatial Nous recrutons quotidiennement des Consultant.es : -Développeur Logiciel -Tech Lead -Architecte -MOA -Management de projets Vous avez ces compétences ou vous souhaitez les dévelo... Know more
Related Jobs
- Company Name
- DTA Ingénierie
- Job Title
- Data Engineer H/F
- Job Description
- Missions Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 840 collaborateurs en mission chez nos clients grands comptes dans tout secteur d'activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech Vos missions Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous Aurez La Charge De Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management Transcrire des besoins métier en règles de gestion data Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Vos compétences En Tant Que Data Engineer Vous Maîtrisez Le langage SQL Un langage objet (Python, JAVA, Scala) Un framework de calcul distribué L'intégration continue (Git, JUnit, SonarQube, Jenkins) Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax) Les concepts de la modélisation relationnelle et non-relationnelle Votre profil Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'au minimum 3 ans d'expérience professionnelle dans un contexte projet Data. Rigoureux(se), proactif(ve) et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet. Avantages à travailler chez JEMS Une JEMS Académie au service de votre montée en compétences (formations et certifications sur les technologies de pointe) Un accompagnement personnalisé et un management de proximité pour vous proposer des évolutions de carrière Une intégration dans des communautés techniques et de pratiques JEMS (encadrement par des experts, échanges sur les bonnes pratiques, favoriser l'innovation) Une entreprise reconnue "Great Place To Work" Des événements et séminaires inoubliables, des soirées d'agence conviviales Mobilité Une mobilité nationale et internationale pour vous accompagner dans vos projets de vie. Diversité Le Groupe JEMS porte fièrement sa valeur "Diversité" en se mobilisant pour l'inclusion et l'égalité des chances et en luttant contre toutes formes de discrimination. Tous nos postes sont ouverts aux personnes en situation de handicap. Description Entreprise A propos de JEMS Nous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients.
- Company Name
- Renault Digital
- Job Title
- Développeur (se) backend genAI (F/H)
- Job Description
- Pourquoi nous rejoindre ? Le groupe RENAULT entre dans une nouvelle ère grâce à la stratégie RENAULuTion qui place L’IA au cœur de notre business. Renault Digital, créé en 2017, est un acteur incontournable de ce nouveau cycle et participe activement à relever les challenges de la genAI dans l’ensemble des activités du groupe Nous recherchons un Senior Backend Developer idéalement expérimenté en GenAI pour renforcer notre équipe platefome GenAI à l’échelle du groupe. Vous travaillerez sur des technologies modernes comme LangGraph, FastAPI, Kubernetes et MongoDB dans un environnement cloud GCP, avec une approche orientée craftsmanship, performance et innovation Le poste est en CDI, localisé à Boulogne Billancourt (92) avec 2 jours de télétravail par semaine Vos missions : Développer et optimiser des services backend scalables et performants pour les solutions GenAI Concevoir des API robustes et sécurisées (REST, GraphQL, Event-driven) Mettre en place des pipelines CI/CD, des tests automatisés et du monitoring Participer aux décisions architecturales et aux revues de code en équipe Contribuer activement aux communautés internes GenAI et aux outils open-source Compétences pour réussir au poste : Vous êtes titulaire d'un diplôme d'ingénieur, d'un BAC +5 ou équivalent Vous avez minimum 7 ans d’expérience en développement backend, avec une expertise en Python (FastAPI, asyncio, Pydantic) Vous avez une bonne connaissance des LLM, LangGraph (ou autre framework llm) et RAG. Vous avez de l'expérience en bases de données SQL & NoSQL (PostgreSQL, MongoDB) & Vectorielles. Vous maîtrisez les principes SOLID, TDD, Design Patterns. Vous avez une bonne culture DevOps : CI/CD (Gitlab), Docker, Kubernetes. Vous avez une bonne connaissance des problématiques Cloud (notamment GCP), OpenID connect, Auth 2 & autre Ce que nous offrons : Travailler sur des projets innovants en IA générative Évoluer dans une culture technique exigeante et bienveillante Tirer avantage d’une une stack moderne et d’un environnement cloud GCP/Kubernetes Rejoindre une large communauté de Devs Meetups10% never stop learning et bien d'autres...
- Company Name
- WEVII
- Job Title
- Data Analyst H/F
- Job Description
- Missions En Tant Que Data Analyst, Vous Serez Un Acteur Clé Dans L'exploitation Et La Valorisation Des Données Au Sein De L'entreprise. Vous Aurez Pour Responsabilités Définir, collecter et analyser des données complexes pour répondre aux enjeux stratégiques et opérationnels. Construire et optimiser des modèles analytiques avancés pour améliorer la prise de décision. Concevoir des tableaux de bord et visualisations de données pour fournir des insights clairs et exploitables aux équipes métiers. Garantir la qualité et l'intégrité des données en mettant en place des processus de gouvernance et de nettoyage. Piloter des projets analytiques transverses et accompagner les équipes dans l'utilisation des outils data. Assurer une veille technologique et proposer des améliorations continues des méthodes d'analyse et des outils utilisés. Encadrer et accompagner des profils plus juniors au sein de l'équipe. Profil Formation : Bac +5 en Statistiques, Mathématiques, Informatique, Économie ou équivalent. Expérience : Minimum 5 ans en analyse de données. Compétences Techniques Excellente maîtrise de SQL et des langages analytiques comme Python (Pandas, NumPy, Scikit-learn) ou R. Expérience avec des outils de visualisation de données : Power BI, Tableau, Looker, etc. Connaissance des bases de données relationnelles et NoSQL. Compréhension des techniques de modélisation statistique et d'analyse prédictive. Expérience avec des outils de gestion et transformation de données (ETL, Airflow, dbt). Bonne maîtrise des environnements Cloud (AWS, GCP, Azure) et des solutions Data Warehouse (BigQuery, Snowflake, Redshift). Qui es-tu ? Passionné(e) par le contact humain et le service client Aime partager ses compétences Sens de l'entraide et de la collaboration Empathique et dévoué(e) Prêt(e) à créer des liens authentiques Si vous êtes animé(e) par l'envie d'avoir un impact positif, accompagner nos clients au quotidien et que vous aimez travailler dans un environnement techniquement stimulant, vous êtes au bon endroit ! Infos complémentaires Nous avons créé le contrat de trajectoire : une projection sur 3 ans avec formations et évolutions au sein de l'entreprise, un engagement fort pour se donner les moyens d'aller au bout de ses ambitions. (Une rémunération qui suit ta montée en compétences) Dotation digitale Séminaire d'intégration : montgolfière, parachute, etc. Carte Swile Un avantage supplémentaire chaque année Indemnité forfaitaire de déplacement à hauteur de 4 Euros / jours Description Entreprise Qui sommes-nous ? ESN Bordelaise, Lilloise et Parisienne créée en 2019 avec pour projet, la création et le développement d'une véritable communauté d'Experts partageant les mêmes valeurs. PASSION PERFORMANCE PROXIMITÉ Les 3P chez WeVii, c'est notre ADN Le process de recrutement chez WeVii Un premier échange téléphonique avec Clémentine ou Julie sur Bordeaux et Lucile sur Lille pour faire connaissance et convenir d'un RDV au Niid (nos locaux en plein centre ville de Bordeaux, quartier Fondaudège) ou en plein coeur de Lille Une rencontre au Niid pour parler de ton projet, de ton évolution et te présenter l'équipe ! Une proposition détaillée et la création de ton contrat de trajectoire
- Company Name
- Département des alpes maritimes
- Job Title
- DATA ENGINEER Responsable gouvernance de la donnée H/F (32463)
- Job Description
- FILIERE TECHNIQUE Catégorie : A Cadre Emplois : IngénieurLimite de candidature : 11/04/2025 La direction des services numériques (DSN) du Département des Alpes-Maritimes met en œuvre la stratégie numérique de la collectivité. Nous développons, faisons évoluer et maintenons les applications à destination des directions métiers du Département. Notre équipe, localisée à Nice rassemble 30 profils diversifiés qui travaillent au sein d'équipes spécialisées, toutes réunies autour d'une raison d'être : accompagner les agents du département pour usage performant et responsable du numérique. Fort d'une culture reposant sur le management 3.0, nous favorisons la collaboration, la communication et la créativité, pour améliorer notre qualité de réponse aux besoins des directions clientes. Nos équipes évoluent dans un environnement agréable, dans lequel chacun peut faire preuve d'autonomie, d'initiative et être écouté. Missions : Nous recherchons un "DATA Engineer" pour rejoindre notre équipe en charge des projets de la définition et la mise en œuvre d'une stratégie DATA ambitieuse. Les missions concernent la conduite de projets data (infrastructure, modèles de données et production d'algorithme, dashboard, animations de référentiels) destinés au suivi et au pilotage des données issues des politiques publiques du Département des Alpes-Maritimes. Le poste est ouvert dans la direction des services numériques (DSN) du Département des Alpes-Maritimes. Gestion de la data platform de la collectivité (processus d'ingestion, de transformation, animation et organisation des entrepôts de données). Gérer la stack data de la collectivité pour l'ingestion, le traitement et le stockage des données qui serviront les projets de data intelligence. Assurer la fiabilité des pipelines de données, des processus et de la transformation des données. Maintenir la stack data pour en assurer la continuité de service. Concevoir des projets data en collaboration avec un data analyst chargé de la production (Modèle de données et analyses, dashboard avancés). Participer à l'élaboration d'un data lab qui fédérera plusieurs organisations autour des enjeux data du territoire. Animer la stratégie open data de la collectivité (identification, catalogage, collecte, diffusion, entretien). Collaborer avec le management pour établir la feuille de route de vos projets data/BI. Mener une veille sectorielle pour être force de proposition et participer au développement de l'offre de service de la direction. Profil du candidat : Vous avez de solides connaissances dans les domaines suivants : Plateforme data moderne dans ses composants d'ingestion, transformation, stockage (snowflake, databriciks, DBT, Airflow ou assimilés) Une expérience sur un cloud provider public comme Azure, AWS Création de rapports avancés avec Microsoft Power BI ou d'autres solutions similaires. Gestion de projets / réalisation de planning (gantt, kanban). Connaissances professionnelles en SQL et d'un ou plusieurs langages structurés (python, JS, C#...) Familier avec les concepts et algorithmes de statistiques, de data science, de deep learning et d'optimisation en général. Côté Soft Skills et qualités humaines, nous attendons : Intelligence émotionnelle et situationnelle Esprit d'équipe, posture de leader par le service Capacité à gérer les situations de forte sollicitation Ouverture d'esprit, curiosité et capacité à vous former Capacité d'analyse et de synthèse Force de proposition, volontaire Communication écrite et orale, claire et fiable Réactivité et sens de l'anticipation, adaptabilité Pré-requis : Vous possédez un diplôme d'Ingénieur ou équivalent dans les métiers de l'IT, des systèmes d'informations ou du numérique. Attributs du poste : Poste à temps plein : 35 heures hebdomadaires 2 jours de télétravail par semaine en jours pleins ou en demi-journées Un équipement adapté aux missions qui vous seront confiées Des défis passionnants qui contribuent à votre évolution professionnelle Des actions diversifiées et valorisantes en participant aux projets des équipes dédiées au développement (C#) ou à l'amélioration des processus du service La possibilité d'être force de proposition dans l'acculturation numérique des agents du département en organisant des formations internes (masterclass) au Smart Corner, tiers lieu d'encapacitation numérique de la collectivité Un catalogue de formations internes et externes très riche Lieu de travail : Centre administratif des Alpes-Maritimes (CADAM) Rémunération : Rémunération et régime indemnitaire statutaires Sur site : stationnement gratuit, restaurant administratif, crèche, salle de sport, comité d'œuvres sociales, chèques déjeuner, CESU, chèques vacances À proximité : stations de tramway, bus, train Modalités de recrutement : Par voie statutaire (liste d'aptitude, mutation, détachement) ou exceptionnellement par voie contractuelle Dans le cas d'un recrutement par voie « contractuelle », les modalités du contrat seront en CDD 3 ans Notre processus de recrutement Un entretien à distance avec le manager d'équipe pour échanger sur vos attentes, présenter le service, les enjeux, l'organisation (1 heure) Un entretien avec un chargé de recrutement pour étudier votre profil par rapport à la fiche de poste (1 heure) Une immersion avec l'équipe opérationnelle pour vous assurer de votre choix et obtenir un consensus autour de votre candidature (1/2 journée) Un débrief de l'immersion avec le directeur des services numériques (45 minutes)