Junior Data Engineer (H/F)

Infos de base

Skillup

Junior

Paris (75)

CDI

Télétravail partiel possible

Rémunération à convenir

Profil / Techs

Data

Stack ETL

Machine Learning

Python

Le Job

Contexte du projet

La donnée est au cœur du produit et de la vision chez Skillup. Aujourd’hui, nous proposons à nos clients une offre complète de formations en France avec 50 000 programmes et 300 000 session mis à jour quotidiennement. Nous collectons et traitons de manière régulière des données de formation à partir de sites Web d’organismes partenaires.
Cette donnée nous sert à constituer un référentiel de compétences vivant et qui répond aux métiers d’aujourd’hui et de demain.

Pour continuer d’alimenter notre place de marché avec une offre complète et à jour, nous recrutons un/e Data Engineer pour construire des pipelines mêlant code, humains et algorithmes.

Description Job

Les Missions

Réviser et maintenir le processus d’extraction de données actuel :

• Créer et maintenir les robots de scraping (Python, Scrapy, ML) pour notre catalogue de plus de 50 000 formations
• Détecter et traiter les anomalies
• Effectuer les reporting
• Travailler sur l’ensemble de la stack ETL
Participer à la mise en œuvre d’une architecture de données fiable et scalable :
• Participer à la refonte du pipeline de données dans une logique d’amélioration des performances, de maintenabilité et du monitoring de l’existant
• Faire évoluer nos cas d’usages afin de répondre aux nouveaux enjeux produit et business, par exemple la gestion du catalogue de formations vers l’international
• Collaborer étroitement avec les équipes tech, product et les métiers pour optimiser la performance de nos projets
• Participer à la veille technologique dans ton domaine d’expertise et êtes force de proposition dans une optique d’amélioration continue au sein du pôle.
En outre, voici quelques indications pertinentes en lien avec la mission :
• 100 scrapers de sites Web qui tournent quotidiennement sur Zyte en utilisant Scrapy.
• 1000 tâches ETL sont exécutées quotidiennement sur Airflow.
• 300 000 statistiques de formation (changements de titre, de prix et de contenu) enregistrées chaque semaine.
• 1000 nouvelles formations classées en NLP par semaine.
• Tableau de bord développé in-house (Flask & ReactJS).
La stack :
Data engineering : Python, Scrapy, Pandas, MongoDB, Neo4j, Zyte, Airflow, Dash/ Plotly
NLP / Machine Learning : scikit-learn, spaCy, pyTorch, fastText, XGBoost, transformers/BERT, GRU
Infrastructure : Docker, Aws, S3, Valohai

Missions
Missions

Les Missions

Réviser et maintenir le processus d’extraction de données actuel :

• Créer et maintenir les robots de scraping (Python, Scrapy, ML) pour notre catalogue de plus de 50 000 formations
• Détecter et traiter les anomalies
• Effectuer les reporting
• Travailler sur l’ensemble de la stack ETL
Participer à la mise en œuvre d’une architecture de données fiable et scalable :
• Participer à la refonte du pipeline de données dans une logique d’amélioration des performances, de maintenabilité et du monitoring de l’existant
• Faire évoluer nos cas d’usages afin de répondre aux nouveaux enjeux produit et business, par exemple la gestion du catalogue de formations vers l’international
• Collaborer étroitement avec les équipes tech, product et les métiers pour optimiser la performance de nos projets
• Participer à la veille technologique dans ton domaine d’expertise et êtes force de proposition dans une optique d’amélioration continue au sein du pôle.
En outre, voici quelques indications pertinentes en lien avec la mission :
• 100 scrapers de sites Web qui tournent quotidiennement sur Zyte en utilisant Scrapy.
• 1000 tâches ETL sont exécutées quotidiennement sur Airflow.
• 300 000 statistiques de formation (changements de titre, de prix et de contenu) enregistrées chaque semaine.
• 1000 nouvelles formations classées en NLP par semaine.
• Tableau de bord développé in-house (Flask & ReactJS).
La stack :
Data engineering : Python, Scrapy, Pandas, MongoDB, Neo4j, Zyte, Airflow, Dash/ Plotly
NLP / Machine Learning : scikit-learn, spaCy, pyTorch, fastText, XGBoost, transformers/BERT, GRU
Infrastructure : Docker, Aws, S3, Valohai

Le Profil


Profil recherché :

• Une expérience sur des problématiques de data engineering (construction de pipelines de données, problématiques de modélisation, optimisation techniques…)

• Une bonne compréhension de l’ETL: tu es capable de construire un pipeline de données fiable et scalable (tu connais par exemple une plateforme de gestion de workflow comme Airflow)

• Une maîtrise de Python: avec un code bien structuré, testé, documenté et efficace.

• Des qualités d’autonomie, de flexibilité et de responsabilité

• Une réelle appétence pour la donnée, tu restes toujours en veille sur le domaine.

Infos Complémentaires

Conditions de travail :

• Locaux basés dans l'hyper centre de Nantes
• Remote : entreprise remote friendly, jusqu'à 4 jours par semaine !

Ce que vous allez y gagner :

• Plein de belles choses à construire
• Montée en expertise sur des technologies recherchées
• Carte Swile et pc portable de travail
• Équipe à taille humaine
• Un package intéressant : 40 à 50K€ en fonction de l'expérience

Infos
Infos

Infos Complémentaires

Conditions de travail :

• Locaux basés dans l'hyper centre de Nantes
• Remote : entreprise remote friendly, jusqu'à 4 jours par semaine !

Ce que vous allez y gagner :

• Plein de belles choses à construire
• Montée en expertise sur des technologies recherchées
• Carte Swile et pc portable de travail
• Équipe à taille humaine
• Un package intéressant : 40 à 50K€ en fonction de l'expérience

Les Avantages

Télétravail

Carte Swile

Centre
de Nantes

PC portable

Atmosphère
bienveillante

Télétravail

Carte Swile

Centre
de Nantes

PC portable

Atmosphère bienveillante

Le Process de Recrutement

1. Entretien Visio avec Jérémie, le CTO & co-fondateur de Skillup

Tu te présenteras, toi, tes compétences et tes attentes. De son côté Jérémie te présentera Skillup et ses enjeux tech afin de valider le match mutuel !
2. Entretien technique
Tu échangeras avec tes pairs afin qu’ils comprennent comment tu appréhendes les sujets techniques, ta vision de la data mais aussi et surtout répondre à toutes tes questions !
3. Visite des locaux
Et si tout s’est bien passé des deux côtés … nous serons heureux de te voir rejoindre nos équipes 🚀

Visio CTO

Entretien tech

Visite locaux

Réponse

Recrutement
Recrutement

Processus de Recrutement

1. Entretien Visio avec Jérémie, le CTO & co-fondateur de Skillup

Tu te présenteras, toi, tes compétences et tes attentes. De son côté Jérémie te présentera Skillup et ses enjeux tech afin de valider le match mutuel !
2. Entretien technique
Tu échangeras avec tes pairs afin qu’ils comprennent comment tu appréhendes les sujets techniques, ta vision de la data mais aussi et surtout répondre à toutes tes questions !
3. Visite des locaux
Et si tout s’est bien passé des deux côtés … nous serons heureux de te voir rejoindre nos équipes 🚀

Visio CTO

Entretien tech

Visite des locaux

Réponse

Des suggestions ?

Contactez-nous !

Adopte1dev.com est LE site de l’emploi des devs en France !
Ce portail est la solution pour rendre la recherche d’emploi pour les développeurs plus facile, plus rapide et plus efficace.

100% dev. 100% transparent avec vous. 💜

Adopte1dev.com est LE site de l’emploi des devs en France !
Ce portail est la solution pour rendre la recherche d’emploi pour les développeurs plus facile, plus rapide et plus efficace.

100% dev. 100% transparent avec vous. 💜

Back to top