1. Présentation de Scrapy

2. Préparation de son espace de travail

3. Les commandes windows

4. Générer son premier spider

5. Générer son premier spider (suite)

6. L'architecture d'un projet scrapy

7. Premières exécutions de son spider

1. La sélection de balises simples

10. Correction atelier

2. Extraire le texte d'une balise

3. Sélection avec les attributs

4. Les références relatives

5. Récupérer la valeur d'un attribut

6. Les filtres contient

7. Nettoyer le texte récupéré

8. Naviguer dans le DOM

9. Enoncé Atelier

1. Contenu de la section

2. Introduction à la programmation

1. Sélection de balises simples

2. Sélection à partir d'attributs

1. Préparation de l'environnement de travail

2. Exporter en json ou en csv

1. Gérer la pagination

2. Récupérer des données sur des pages détail

1. Les spiders de type Crawl

2. Gestion des rule objects

3. Enrichir son spider

1. Déclaration des items

2. Les item loaders

1. Repérer l'utilisation d'une API sur un site web

2. Préparer l'environnement de travail

3. Exploration des données d'une API

4. Récupérer les données dans une API

5. Itérer sur une API

1. Enoncé Atelier

2. Correction atelier

1. Utiliser une librairie

2. Installer une librairie

1. Présentation Selenium

10. Correction atelier

2. Vérifier si Sélénium est nécessaire à votre projet

3. Faire le setup d'installation

4. Préparer le spider

5. Scraping simple avec Selenium

6. Scraping avec interactions - installation

7. Scraping avec interactions

8. Les autres interactions possibles avec Selenium

9. Enoncé Atelier

1. Introduction

2. Apprendre à lire un fichier robots.txt

3. Ne pas suivre les règles du fichier robots.txt

4. Modifier le user agent

5. Dynamiser le user agent à chaque requête partie 1

6. Dynamiser le user agent à chaque requête partie 2

7. Bloquer les cookies

8. Ralentir le scraper

1. Introduction à la librairie Splash

2. Installation splash

3. Découverte de splash et du langage LUA

4. Créer un script en LUA

5. Intégrer Splash dans un projet Scrapy

6. Limiter les ressources appelées

7. L'autothrottle

8. Enoncé Atelier

9. Correction atelier

2. Installation Anaconda

3. Présentation d'anaconda

4. Installation Visual Studio Code

5. Lancer un script depuis VS Code

1. Gérer le login avec Scrapy

2. Gérer le login avec Splash

3. Entrainement

1. Comprendre l'AJAX

2. Récupérer des données depuis une requête dynamique

1. Connecter son projet Scrapy au système Mongo DB cloud - partie 1

2. Connecter son projet Scrapy au système Mongo DB cloud - partie 2

1. Conclusion et remerciements

1. Introduction aux variables

2. Les variables numériques

3. Les variables textuelles

4. Consulter et modifier le type d'une variable

5. Gérer la concaténation

6. Présentation exercices

7. Corrections exercices

1. La POO

1. Introduction aux conditions

2. Les booléens

3. Les opérateurs logiques

4. Construction d'une condition simple

5. Les conditions successives

6. Les conditions multiples

7. Enoncé exercice

8. Correction exercice

1. Introduction aux listes

2. Obtenir des informations sur une liste

3. Modifier une liste

4. Enoncé exercice

5. Correction exercice

1. Introduction aux dictionnaires

2. Modifier un dictionnaire

3. Créer des sous dictionnaires

4. Enoncé exercice

5. Correction exercice

1. Introduction aux boucles

2. La boucle while

3. La boucle for

4. Itérer sur une liste numérique

1. Introduction aux fonctions

2. Créer sa première fonction

3. Les arguments de fonctions

4. Les valeurs par défaut sur les arguments

5. Les variables globales et locales

6. Enoncé exercice

7. Correction exercice

1. Comprendre et lancer le terminal de commandes

2. Naviguer dans les dossiers

3. Modifier un dossier

4. Copier un dossier ou un fichier

5. Utiliser Python dans le terminal

6. Gérer des arguments depuis le terminal

1. Qu'est ce que le développement côté client

2. Comment lire le code d'une page web

1. Créer son premier fichier HTML

2. Les principales balises

3. Les liens hyper text

4. Les images

5. Les listes et les tableaux

6. La personnalisation graphique

7. La personnalisation graphique

8. Enoncé exercice

9. Correction exercice

1. Comprendre la syntaxe du CSS

2. Cibler les balises

3. Les classes CSS

4. Les IDs en CSS

5. Les DIV

6. Les SPAN

7. Enoncé exercice

8. Correction exercice

1. Gérer ses variables en JS

10. Enoncé exercice

11. Correction exercice

2. Créer des conditions

3. Créer des boucles

4. Les fonctions en js

5. Préparer son code à la dynamisation

6. Le DOM en Javacript

7. Ajouter un évènement

8. Modifier une page HTML dynamiquement

9. Naviguer dans le DOM

1. Préambule

10. Extraire les données des balises

11. Les sélecteurs CSS

12. Naviguer dans le DOM

13. Préparer son scraping

14. Utiliser la librairie Pandas pour mieux comprendre son extract

15. Extraire des données sur plusieurs pages

16. Enoncé Atelier

17. Correction Atelier

2. Disclaimer sites du cours

3. Première analyse du site

4. installation des librairies nécéssaires

5. Requêter une page web et vérifier son fonctionnement

6. Choisir son interpréteur html

7. Cibler des balises

8. Utiliser les attributs des balises

9. Récupérer les valeurs d'attributs