👩🏾‍🎨 🔸 👺 Débogueur visuel pour Jupyter 👩🏽‍🤝‍👨🏼 🥕 🚶🏼

L'avancement de la plupart des projets logiciels est basé sur de petits changements qui, avant de continuer, sont soigneusement évalués. Les résultats rapides de l'exécution du code et la grande vitesse de développement itératif sont quelques-unes des principales raisons du succès de Jupyter. Surtout dans le domaine de la recherche scientifique.

Les utilisateurs de Jupyter adorent expérimenter avec les ordinateurs portables; ils utilisent les ordinateurs portables comme moyen de communication interactif. Cependant, si nous parlons des tâches de développement de logiciels classiques, par exemple, la refactorisation d'une grande base de code, alors nous pouvons dire que pour résoudre de tels problèmes, Jupyter est souvent remplacé par des IDE normaux.

L'environnement JupyterLab Le

projet Jupyter travaille depuis plusieurs années pour combler l'écart entre les notebooks et les IDE classiques. Ces efforts sont largement représentés par la plate-forme JupyterLab, qui offre au développeur une interface plus avancée et plus pratique, qui comprend un gestionnaire de fichiers, des éditeurs de texte, des consoles, des blocs-notes.

Certes, jusqu'à récemment, quelque chose manquait dans JupyterLab. Il s'agit de la principale raison pour laquelle les utilisateurs ont été contraints de passer à d'autres environnements. Les utilisateurs de Jupyter n'avaient pas de débogueur visuel. Les utilisateurs, en particulier ceux qui sont habitués aux IDE classiques, demandent depuis longtemps cette fonctionnalité.

Débogueur pour Jupyter

Aujourd'hui, après plusieurs mois de développement, nous sommes heureux de présenter la première version publique du débogueur visuel pour Jupyter!

Ce n'est que la première version, mais le débogueur vous permet déjà de définir des points d'arrêt dans les cellules du bloc-notes et dans les fichiers source. Il vous permet d'examiner le contenu des variables, de visualiser la pile d'appels. Et ses capacités ne se limitent pas à cela.

Jupyter Visual Debugger en action

Test du débogueur sur le site du projet Binder

Le projet de classeur Vous pouvez

essayer un nouveau débogueur dans le cas sur le site Web du projet de classeur. Voici un bloc-notes de démonstration avec lequel vous pouvez expérimenter.

Installation

Le frontend du débogueur peut être installé en tant qu'extension JupyterLab:

jupyter labextension install @jupyterlab/debugger

Dans les versions futures, le frontend du débogueur sera inclus dans JupyterLab par défaut.

Sur le backend, pour que le débogueur fonctionne, il doit y avoir un noyau dans lequel le protocole de débogage Jupyter est implémenté (nous en parlerons plus loin ci-dessous). Jusqu'à présent, le seul noyau qui implémente ce protocole est xeus-python . C'est le noyau Jupyter du langage de programmation Python. (Les plans de développement du projet incluent également la prise en charge du protocole de débogage dans ipykernel.)

Vous pouvez installer le noyau xeus-python comme ceci:

conda install xeus-python -c conda-forge

Après l'installation de xeus-python et de l'extension du débogueur, tout devrait être prêt à fonctionner avec le débogueur visuel Jupyter.

Faites attention au fait qu'il existe également des «roues» PyPI pour xeus-python, mais elles ne sont pas encore expérimentales et leur disponibilité dépend de la plateforme.

Détails du protocole de débogage Jupyter

▍Nouveaux types de messages pour les canaux Control et IOPub

Les noyaux Jupyter (la partie de l'infrastructure qui exécute le code utilisateur) communiquent avec d'autres parties du système en utilisant un protocole de communication interprocessus bien développé .

Il existe plusieurs canaux de communication:

Un canal Shellqui fonctionne selon le schéma de demande / réponse et est utilisé, par exemple, pour les demandes d'exécution de code.
Un canal IOPub, qui est un canal de communication unidirectionnel qui va du cœur au client. Il est utilisé, par exemple, pour rediriger les flux de sortie standard ( stdoutet stderr).
Un canal Controlsimilaire à un canal Shellmais fonctionnant sur une prise différente. Pour cette raison, ses messages ne sont pas mis en file d'attente avec les demandes d'exécution de code et ont une priorité plus élevée. Le canal Controla déjà été utilisé pour les requêtes Interruptet Shutdown. Nous avons décidé de l'utiliser pour les commandes envoyées au débogueur.

Deux nouveaux types de messages ont été ajoutés au protocole:

debug_[request/reply], . — . Control.
debug_event, . IOPub.

▍ Debug Adapter Protocol

Le principe clé de l'architecture Jupyter est le manque de liaison à un certain langage de programmation. Par conséquent, il est important que le protocole de débogage prenne en charge l'adaptation à diverses implémentations du noyau.

Un standard de débogage populaire est le Debug Adapter Protocol (DAP), développé par Microsoft. Il s'agit d'un protocole basé sur JSON qui, par exemple, sous-tend le sous-système de débogage de Visual Studio Code. Ce protocole prend en charge de nombreux backends conçus pour différentes langues.

En conséquence, il était tout à fait naturel pour nous d'utiliser des messages DAP via des messages récemment ajoutés debug_[request/reply]et debug_event.

Cependant, dans le cas de Jupyter, ce n'était pas tout à fait suffisant:

, , , Jupyter ( , , ). debug_request.
, , Jupyter, , , , , , .

Le contenu des requêtes adressées au débogueur et ses réponses, en plus de ces deux différences, correspond à DAP.

Toutes ces extensions du protocole du noyau Jupyter ont été proposées comme candidats à l'inclusion dans la spécification officielle. Une proposition de développement Jupyter connexe (JEPyter Enhancement Proposal, JEP) peut être trouvée ici .

Xeus-python est le premier noyau Jupyter à prendre en charge le débogage

Xeus est une implémentation C ++ du protocole du noyau Jupyter. Ce n'est pas en soi le cœur. Il s'agit d'une bibliothèque qui aide à développer des noyaux. Cette bibliothèque est utile pour développer des noyaux pour les langages qui ont une API C ou C ++ (comme Python, Lua ou SQL). Elle prend en charge les tâches fastidieuses de mise en œuvre du protocole de messagerie Jupyter. Cela permet à l'auteur du noyau de se concentrer sur les tâches liées à l'interprétation des constructions de langage: sur l'exécution du code, sur son analyse, etc.

Plusieurs cœurs ont été développés à l'aide de xeus, y compris le populaire noyau xeus-cling pour C ++, basé sur l'interpréteur cling C ++ créé au CERN. Le noyau xeus-python est une alternative ipykernel basée sur xeus. Icides informations sur la première version du noyau xeus-python.

Le noyau xeus-python convient à la première implémentation du protocole de débogage pour plusieurs raisons:

Il prend en charge l'exécution de code compétitif, ce qui vous permet d'effectuer un travail avec le canal Controldans un thread séparé.
Il dispose d'une base de code compacte. Grâce à cela, ce noyau est un bon "bac à sable" dans lequel il est pratique d'implémenter quelque chose de nouveau. L'implémentation de la première version du protocole de débogage dans ipykernel nécessiterait une refactorisation plus sérieuse et plus d'efforts pour coordonner les changements dans les premiers stades de développement.

Plan Plan de développement du noyau Xeus-python

Les objectifs de développement à court terme de xeus-python sont les suivants:

Ajout de la prise en charge des fonctionnalités IPython. Maintenant, par rapport à ipykernel, c'est la principale caractéristique manquante de xeus-python.
Amélioration des "roues" PyPI- de xeus-python.

▍À propos des autres cœurs

Ce qui a déjà été fait en termes de prise en charge du débogage dans le frontend peut être utilisé avec tous les noyaux qui implémentent le protocole de noyau étendu.

Cette année, nous travaillerons pour fournir un support de débogage dans autant de cœurs que possible.

La prise en charge du débogage arrive bientôt pour d'autres noyaux basés sur xeus qui ont beaucoup en commun avec le noyau xeus-python. Par exemple, pour tel que xeus-cling.

Détails de l'architecture frontale du débogueur

L'extension du débogueur pour JupyterLab offre aux utilisateurs les mécanismes généralement attendus de l'IDE:

Barre latérale avec des fenêtres qui implémentent les fonctionnalités suivantes: surveillance des variables, affichage des points d'arrêt, affichage du code, analyse des piles d'appels.
La possibilité de définir des points d'arrêt directement dans le code, en particulier dans le code situé dans les cellules du bloc-notes et dans les consoles.
Marqueurs visuels indiquant la position à laquelle l'exécution du code s'est arrêtée.

Lorsque vous travaillez avec des blocs-notes Jupyter, les informations sur l'état de l'exécution du code sont stockées dans le noyau. Mais le code de cellule peut être exécuté, après quoi cette cellule peut être supprimée du bloc-notes. Que doit-il se passer si l'utilisateur, lors du débogage, souhaite saisir un bloc de code distant?

L'extension prend en charge ce scénario spécifique et est capable d'afficher le code d'une cellule précédemment exécutée en mode lecture seule.

Passer au code situé dans la cellule distante Vous

pouvez déboguer le code situé dans les consoles et dans les fichiers.

Débogage de code à partir de la console dans JupyterLab

Débogage dans JupyterLab le code dans le fichier Le

débogage peut être activé au niveau du bloc-notes, ce qui permettra aux utilisateurs de déboguer le bloc-notes et, en même temps, de travailler avec un autre bloc-notes.

Débogage de plusieurs blocs-notes en même temps

Les variables peuvent être affichées à l'aide d'une arborescence ou d'une table.

Outils d'exploration des variables

L'extension du débogueur pour JupyterLab a été conçue pour fonctionner avec tout noyau prenant en charge le débogage.

Du fait que l'extension s'appuie sur le protocole DAP, elle résume les fonctionnalités de différentes langues et offre à l'utilisateur une interface de débogage cohérente.

Le diagramme suivant montre le flux de messages envoyés lors d'une session de débogage entre l'utilisateur, l'extension JupyterLab et le noyau.

Utilisation du protocole de l'adaptateur de débogage dans un débogueur ( source )

Plans futurs

En 2020, nous prévoyons d'améliorer sérieusement le débogueur. À savoir, nous parlons de ce qui suit:

Prise en charge de la sortie de différents types MIME dans la fenêtre de l'explorateur de variables.
Prise en charge de l'utilisation de points d'arrêt conditionnels dans l'interface du débogueur.
Amélioration de la convivialité de l'interface du débogueur.
Implémenter la possibilité de déboguer les applications Voilà à partir de l'extension @jupyter-voila/jupyterlab-preview.

Chers lecteurs! Avez-vous essayé le débogueur visuel Jupyter?

Débogueur visuel pour Jupyter