Astuces avec Google colab

L’entraînement des modèles de Deep Learning exige une puissance de calcul importantes, qui parfois peuvent fonctionner en local mais « immobilise » votre Mac le temps des calculs…
Imaginez que vous ayez besoin de la puissance de deux super Mac : l’un pour travailler sur vos tâches habituelles et l’autre équipé d’un processeur graphique (GPU), dédié uniquement à l’entraînement de vos modèles de Deep Learning.
Google Colab va vous permet d’accéder gratuitement (ou via un abonnement) à cette puissance supplémentaire.

Google Colab propose plusieurs niveaux de services pour l’accès aux GPU :

• Colab gratuit : fournit un accès limité et aléatoire aux GPU (selon la disponibilité, vous n’êtes pas prioritaire).
• Pay as You Go : Le paiement à l’usage, 100 unités de calcul, cela permet de tester la bête 😉 pour 11 euros.
• Colab Pro : 11,10 euros par mois, cette version vous offre un accès prioritaire à des GPU plus performants.
• Colab Pro+ : Colab Pro+ donne accès à ses GPU et TPU et 500 unités de calcul. Il est possible de lancer des taches en « arrière plan » et en fermant votre navigateur.

1. Utiliser son GPU ou TPU

Bon et bien maintenant que vous avez payé 😉 autant utiliser les ressources de Google.
En allant dans « Exécution », puis « Modifier le type d’exécution », vous pouvez choisir un GPU (Le GPU T4 est un bon début, il ne consomme pas trop d’unités) pour entraîner vos modèles.
Au sujet des unités, Google vous donne une approximation de la consommation du GPU par unité de temps. (Par exemple, si vous choisissez le GPU T4 dans la fenêtre des ressources à votre droite, Google vous informe qu’il consommera 1,80 unités par heure).

2. Montage de Google Drive dans Google Colab

Il est bien sur possible de connecter votre espace drive avec Google Colab. Cela permet d’accéder directement aux fichiers stockés sur votre Drive et de sauvegarder les résultats des calculs ou les modèles de deep learning entraînés.

Voici les étapes pour monter votre Google Drive dans Google Colab :

from google.colab import drive
drive.mount('/content/drive')

À l’exécution, cliquez sur le lien pour autoriser Google Colab à accéder à votre Google Drive.

 

3. Installation des packages avec « pip install »

Dans Google Colab, l’installation de packages est différente de Python en local de par la syntaxe.

Dans un environnement Python local, on utilise la commande pip install <nom_du_package> dans le terminal pour installer les bibliothèques. Sur Google Colab, cette commande s’exécute en ajoutant un ! au début :

!pip install <nom_du_package>

4. Commande « Bash « pour lister les répertoires et localiser un fichier

Voici la commande pour lister les répertoires et les fichiers :

!ls -lh /content/drive/MyDrive

Cette commande listera les contenus de votre dossier Google Drive à partir de la racine /content/drive/MyDrive avec des détails comme les permissions, la taille des fichiers, et les dates de modification.

Limiter la profondeur de recherche avec « find »

Vous pouvez restreindre la recherche au premier niveau de sous-dossiers avec -maxdepth :

!find /content/drive/MyDrive -maxdepth 2 -type d -name "DataSet"

-maxdepth 2 : Limite la recherche à deux niveaux de profondeur dans le répertoire MyDrive.

5. Éviter la déconnexion de GoogleColab

C’est un peu paradoxal… Google Colab est conçu pour exécuter des tâches longues, mais il arrive parfois que le serveur se déconnecte de manière plus ou moins prévisible.
Un véritable cauchemar !
Par défaut, Google Colab se déconnecte (cela dépend de votre formule : la documentation indique un maximum de 12 heures, par exemple).
Pour pallier ce problème, il est possible de simuler un « clic » toutes les 60 secondes (par exemple) afin de maintenir la connexion active.

Pour cela vous devez ouvrir l’outil développeur de votre navigateur :

Appuyez sur Ctrl + Shift + I (ou Cmd + Option + I sur Mac) pour ouvrir les outils développeurs dans le navigateur.

Aller dans l’onglet « Console » :

function ConnectButton()
{
   console.log("Running...");
   document.querySelector("colab-connect-button#connect").click()
}
setInterval(ConnectButton, 60000)

setInterval(ConnectButton, 60000) : Exécute la fonction ConnectButton toutes les 60 secondes.

Le script s’exécute uniquement tant que l’onglet du navigateur est ouvert. Si vous fermez l’onglet ou le navigateur, vous devrez ré-exécuter le script.

6. Codage assisté par IA avec Gemini

Avec Gemini, vous avez la possibilité d’ouvrir un chat pour poser vos questions ou demander des conseils en temps réel. Que ce soit pour comprendre une erreur, optimiser une fonction ou même générer des morceaux de code, Gemini est votre ami (ca rime ;-).
Google vous offre donc un assistant à la sauce GPT.

7. Récupération du fichier python

Dans le menu Fichier, recherchez l’option Télécharger. Cette fonctionnalité vous permet de récupérer votre notebook sous différents formats. Vous pouvez, par exemple, télécharger le fichier au format .py, ce qui vous permet de revenir à un environnement Python local tout en conservant l’intégralité de votre travail. Tous les blocs, qu’il s’agisse de code ou de texte en Markdown, sont convertis et restent intacts.
Cela garantit une transition fluide entre Google Colab et un éditeur local comme PyCharm.