#Mini-hacks – Expanseur de texte

Ceci est la continuité de ma rubrique « petits outils informatiques qui me font gagner beaucoup de temps » (je la baptise désormais avec un anglicisme : Mini-hacks, et le premier thibillet historique est ).

Aujourd’hui, l’expanseur de texte (text expander).

De tous mes petits outils, c’est probablement celui qui me fait gagner le plus de temps, et ceci depuis des années. Cela consiste à attribuer un raccourci clavier à des bribes de texte répétitives. J’ai commencé il y a des années avec l’extension Quicktext (sous Thunderbird) pour automatiser mes signatures de mail. Le raccourci Ctrl-1 me permettait d’insérer automatiquement « Cordialement, Christophe T. » tandis que le raccourci Ctrl-2 insérait une signature plus informelle (« À+, Chr. »). Il y avait aussi l’équivalent anglais, donc Ctrl-3 pour « Sincerely, Christophe T. »

Rien qu’avec ces trois raccourcis, je ne sais pas combien de centaines d’heures de rédaction j’ai pu gagner depuis toutes ces années (pour information, je retrouve un thibillet datant d’il y a 13 ans dans lequel je mentionnais déjà les bienfaits de Quicktext).

Il y a aussi la question des majuscules accentuées. Autant les Mac permettent de taper facilement À ou É, autant sous Windows, c’est fastidieux de rechercher le bon code ASCII. Donc hop, un raccourci clavier pour les majuscules accentuées : Ctrl-à, Ctrl-é et Ctrl-è.

Avec le temps, j’ai rajouté des raccourcis, en migrant du pavé numérique aux 26 lettres du clavier. Cela n’a pas été compliqué pour retenir tous les raccourcis, car cela s’est fait très progressivement : de temps en temps, je me disais que j’en avais marre de toujours taper le même texte, et je me trouvais une lettre correspondante sur le clavier, avec le bon moyen mnémotechnique (ex : adresse Skype = Ctrl-y). Je cite en vrac mes raccourcis texte les plus évidents :

  • mon prénom + nom
  • mon mail (pro et perso)
  • mon adresse postale professionnelle / personnelle
  • mon identifiant Skype, Zoom…
  • mon numéro de mobile

C’est utile non seulement pour les mails, mais aussi pour tous les champs d’information des formulaires en ligne (tapez votre prénom, tapez votre nom, tapez votre mail, retapez votre mail…).

Aujourd’hui, le bilan est clair : j’ai mappé quasiment toutes les lettres du clavier + les chiffres. Et pour plusieurs lettres, j’ai deux variantes : Ctrl-Alt-a et AltGr-a, par exemple. Je viens de compter : j’ai 52 raccourcis clavier, qui me permettent de lancer des programmes (Word, Excel…), ouvrir des dossiers (Documents, Téléchargements…) ou taper des textes (« Bonjour, j’espère que vous allez bien. »)

Alors, quel est le petit programme qui me permet de faire tout ça ?

Sous Windows, c’est Clavier+, de Guillaume Ryder. Le programme correspond à mes critères (détail ici – en résumé, simplicité, légèreté), et cela explique que régulièrement, depuis des années, je fais un versement Paypal à ce programmeur. N’hésitez pas à faire de même. Sous Mac, à l’époque où j’étais sous ce système, j’utilisais Spark, qui est un daemon à installer.

Publié dans e-mail, Informatique et Internet, Productivité | Laisser un commentaire

Batana – Souaski

Souaski : n. m. Une série ou un livre que l’on commence 10 ans après tout le monde, et donc où l’on ne peut pas parler de ses émerveillements et surprises. Par extension : un reste de plat gardé au frigo et dont on se demande (en regardant et en humant) si c’est encore mangeable après tout ce temps.

Mon souaski d’aujourd’hui, qui m’a inspiré cette batana, c’est la découverte de Lou Sonata 1, très jolie tranche de vie d’une jeune adulte. Certes, la BD est toute récente, mais j’avais zappé la série Lou, donc cela va nécessiter de tout lire pour connecter les points après coup.

Sinon, dans mes souaskis précédents, je peux citer :

Publié dans Batana | Laisser un commentaire

Script – mettre la date inversée dans un nom de fichier

Prolégomènes (ou cahier des charges fonctionnel, ou le pourquoi du comment) :

  • Quand je cherche des fichiers dans un dossier, j’aime bien pouvoir rapidement identifier la version la plus récente, et idéalement, avoir les fichiers triés par date.
  • Certes, je pourrais cliquer à chaque fois sur la colonne « date » pour ré-ordonner les fichiers. Mais c’est bien utile d’avoir la date directement dans le nom du fichier.
  • La solution que j’ai adoptée est celle qui est souvent utilisée pour les photos : un nom de fichier qui commence par la date inversée (ex : 2021-01-19 Compte-rendu.doc, qui indique que c’est le compte-rendu d’une réunion le 19 janvier 2021). Ainsi, comme les fichiers sont classés par ordre alphabétique, on obtient directement un classement chronologique :
    • 2020-09-12 réunion avec Monica Bellucci.doc
    • 2020-11-29 projet Maître du monde.doc
    • 2021-01-19 Lamentation suite au redressement fiscal.doc
  • Cela étant posé, comment automatiser la tâche, plutôt que de taper laborieusement deux mille vingt et un zéro deux zéro trois à chaque nommage de fichier ?

Solution

  • Utiliser un mini-script ( = une suite de commandes du système, ici la console de Windows).
  • La commande détaillée est :
echo %DATE:~6,4%-%DATE:~3,2%-%DATE:~0,2% | clip
  • Traduction :
    • echo : afficher
    • %DATE : la date d’aujourdhui. Mais par défaut, cet affichage se fera comme ça : 03/02/2021. Or je veux (1) un ordre inversé et (2) des tirets au lieu de / car cela crée des problèmes dans les noms de fichiers.
    • d’où le propos des ~ et %-% : cela consiste à prendre dans la date du jour (03/02/2021) les 4 caractères en 6ème position (2021) puis un tiret, puis les 2 caractères en 3ème position (02) etc.
    • enfin, | clip signifie : ne pas afficher le résultat à l’écran, mais l’envoyer dans le presse-papier (clipboard).
  • Il suffit de copier ce script dans un fichier texte, et de rendre le fichier exécutable (sous windows, changer l’extension .txt en .bat)
  • Il ne me reste plus qu’à affecter un raccourci clavier à ce script, pour pouvoir l’appeler de n’importe où.

Mise en pratique

Supposons que je fasse un fichier de compte-rendu de ma réunion avec Paul Usul Muad’ Dib Atréides. Pour sauvegarder, je fais Ctrl+S, et Word me demande de nommer le fichier. À ce moment, je tape mon raccourci magique, puis Ctrl+V, et le contenu du presse-papier (c’est-à-dire la date inversée d’aujourd’hui) est automatiquement ajoutée en début de fichier.

Sans raccourci magique

  • Ctrl+S pour sauver
  • taper « Réunion Paul Usul »
  • Enter
  • Le fichier est sauvé comme « Réunion Paul Usul.doc »

Avec raccourci magique

  • Ctrl+S pour sauver
  • Ctrl+Alt+D (mon raccourci magique) puis Ctrl+V = la date est ajoutée au début du nom
  • taper « Réunion Paul Usul »
  • Enter
  • Le fichier est sauvé comme « 2021-02-03 Réunion Paul Usul.doc »
Quelques secondes de gagnées,
20 fois par jour
Publié dans Informatique et Internet, Productivité | 8 commentaires

Chronopostcombustion

Bonjour Monsieur Chronopost,

voici une liste des habitudes régulières de vos livreurs :

  • Sonner à l’interphone en disant qu’il faut descendre chercher le colis, le laisser sur le sol de l’entrée de l’immeuble (au centre de l’entrée, bien en évidence pour tout le monde) et repartir immédiatement ;
  • Appeler sur mon n° de mobile et me dire « je suis là, descendez », me laissant attendre sous la pluie puisqu’en fait, le livreur n’est pas encore arrivé ;
  • Appeler sur mon n° de mobile et si je n’ai pas pu répondre (3 sonneries max.), ne pas se donner la peine de livrer à domicile (où je suis présent) : dépôt dans un relais colis à 20mn de chez moi.
  • Enfin, ce matin, la livraison explosée :

C’en est au point que je ne peux pas transporter le colis sans qu’il s’ouvre de partout.

J’aimerais un peu plus d’amour de votre part.

Publié dans Réflexions | 8 commentaires

CovidCampus #8: online exams and cheating – 5 laws, some solutions and many questions

This blog post is part of a series of reflections on the Coronavirus / Covid-19 crisis and the transition I had to operate from my face-to-face courses to online classes.

Never before have students cheated as much as at the end of this semester of study. The lockdown meant that final exams had to be held remotely, which obviously allowed for widespread cheating. Although many universities require students to sign a declaration of honour, this did not prevent an unusual amount of cheating. This raises the question of the motivation for cheating in the first place. The traditional reasons – i.e. outside of containment – are either unpreparedness or a taste for dangerous play, with cheating seen as a moral shortcut. But in these times of pandemic, we have sees that « non-cheating » students opted this time for cheating, in order to improve their grades. Indeed, in many countries, potential employers ask for details of grades obtained in studies before recruiting. Some students fear that their grades « during lockdown / online classes » are too low for their future employment, or that they will not be able to enter certain specialisation courses. This is exacerbated by the fact that in some courses, professors seem to be unaware of the constraints of distance learning, and they require their students to cram of a lot of knowledge in their heads in a very limited time (i.e. during the semester). In this case, we are not talking any more about learning, the right word being: force-feeding.

This blog post does not seek to understand – let alone excuse – cheating behaviour online, but rather to reflect on ways to avoid cheating in online exams.

Know your audience(s) / market segments 😉

The final exam confronts different populations whose interests are not necessarily aligned.

  • First, there are the cheaters, who are not necessarily a homogeneous population, as indicated in the motivations given above.
  • Then there are the non-cheaters, who should not be penalised by anti-fraud strategies. Indeed, the fact of multiplying controls (camera surveillance, firewalls to prevent access to certain sites) automatically leads to technological roadblocks / deadends. As a result, a bona fide student may be penalised by a surveillance system that prevents him or her from taking the exam in good conditions.
  • One must also think about the proctors (assistants in charge of monitoring the students during the exam): they are officially in charge of checking that participants do not cheat, but their capacity to act is limited. Indeed, they can see that student X was helped by someone who appeared in the camera field; on the contrary, it is impossible to say what student Y was looking at on her screen: was it the exam, or a Whatsapp discussion of a cheating group?
  • Finally, there is the designer of the online exam, who has his own constraints, and who has to make optimization choices (which we will detail in the following paragraphs).

My 4 golden rules of a good online exam

Here is my magic recipe, or moral compass, for the professor in charge of designing an online exam. Those laws follow a path analogous to the 3 laws of pedagogy. These 4 laws for exams (online or in-class) would be, by decreasing order of importance:

  1. Non-cheating students must not suffer from the anti-cheating system;
  2. Cheating students must be prevented, or severely restricted, in their ability to cheat, without contravening Law #1;
  3. The exam must be easy for the teacher to grade, without contravening Law #1 or #2;
  4. Finally, without contravening Laws #1, #2 and #3, the role of proctors should become incidental. Ideally, there would be no need to proctor / watch the students taking the exam. It is a bit like the notion of strong efficiency in financial markets: in a properly designed examination, it should not matter whether a student can communicate with other people to cheat, because in doing so, they would not gain any more advantage than by doing the work alone.

The main tension: time vs. personnalization

For the person designing an exam, one important variable is time. This is not only the time to design and test the exam beforehand, but also the time to grade the exam afterwards.

  • At one extreme of this tension is the MCQ (multiple-choice test): for a preparation time that is not too long, the final grading time is very short. This is ideal for the lecturer who does not want to spend too much time on designing and grading the exam.
  • At the other end of the spectrum, we find the exam with open-ended questions that require an essay from the student. The term essay is broad: it is not just « do you think that Man is good? », it can also be « given the situation presented above, say what you would recommend ». In this case, it takes time to design the exam, but probably less than in the case of a MCQ – one only have to find generic incisive questions. As a counterpart, the grading/ marking will require to read carefully everything the student has written, even reading between the lines. Indeed, even if the student has not necessarily used an important keyword, they may nevertheless have understood the notion, and only a fine analysis of their answer will allow to judge whether the notion is mastered or just learnt by heart without a real understanding. In this second case, the grading / feedback is therefore extremely personalised, as the student really allows us to « get inside his/her head » and see how they think.

This issue of time vs. personalisation will therefore become crucial for many professors when it comes to designing an exam.

We also have conflicts of interest concerning the time that the professor is ready to spend on exams. Let’s take the example of students who failed the exam: in most institutions, this leads to a resit exam. This resit exam therefore represents extra work for the teacher, and this represents an additional time for which the professor is usually not paid. So the professor will have to design a second exam for a handful of students, but they would not have to perform this additional work if all the students have passed the exam i.e. no one failed. Thus, in some cases, the teacher will tend to round up the final exam grades to avoid a resit exam; or they could produce a resit exam that is easy to design, quick to grade, and easy to pass. This question of extra working time is exacerbated because the resit exam might only concern a handful of students: who would want to write a 3-hour resit exam for just one person?

Thoughts and solutions for a an online exam

After these general thoughts, let’s contemplate the different technical solutions for online exams. For the sake of illustration, we will take the BlackBoard integrated examination system, not only because this solution is widespread in the academic world, but also because it offers many possibilities in the construction of online exams.

The wrong solution: MCQs

By MCQs we mean not only multiple-choice questions (MCQs) – with only one possible answer – but also, in general terms, multiple-answers questions (MAQs) – where there are several correct answers to be selected].

Although they appear to be an easy solution, MCQs/MAQs are not a good idea to avoid online cheating, for the reasons detailed below.

  • Randomizing answers is not a solution

Blackboard allows to shuffle the order of answers within a question, in the hope of reducing communication of answers by some students. But alas, many students type very quickly: when they communicate with each other to exchange correct answers, it takes not much more time to say « answer b. « or « the answer is €12 » or « answer: because of the cost of capital ».

  • Randomizing questions is not a solution

Blackboard also allows you to mix up the order of the questions, to avoid communication between students. But unfortunately, practice shows us that some students are very organised: instead of asking « what is the answer to question 7 », they ask « what is the answer on oil price? « – so it doesn’t matter that the question is in a different place in the exam. Of course, one can build a very large pool of questions to drown students: for example, 1,000 exam questions, from which the system will randomly draw 100 questions for a given student. But this poses several problems: first, having to write a large number of questions; second, making sure that the questions are of the same level of difficulty and give the same number of points – this is very tedious. The only possibility – which exists – would be not only to put the questions in random order, but also to forbid going back once a question has been answered. But this may contravene law 1: a non-cheating student may wish to go back because question 7 (for example) made him/her think of a better solution for question 3. It would not be fair to prevent them from changing a previous answer.

  • Most MCQs test knowledge, not ability.

The author of this article has been in confinment with 5 young adults who are studying online. Over weeks, he has then been able to appreciate the assessment systems of different university courses. Most of the time, online exams take the form of MCQs, and most of the time, these MCQs test knowledge, not ability. Professors warn their students: « for the exam, you should know the important dates and the great names of the inventors ». The MCQ thus becomes a test of memorization and speed: for some teachers, proposing 100 questions for 1 hour of examination allows – according to them – to discriminate sufficiently the students. But does this assess their learning, or simply their ability to regurgitate information quickly? Of course, there are courses that require learning by heart (e.g. Anatomy), but these situations are rare: most of the time, courses require students to demonstrate an ability to reason, express themselves and act, and not simply repeat some concepts, like a performing dog act.

  • There are problems with the scoring of MCQs.

Some courses have a rule that if students have forgotten only one correct answer, they get zero for the whole question. I consider this an aberration. If I tick 3 answers out of the 4 that were right, I should get ¾ of the points, not zero. Otherwise, there will be no discrimination between the student who has worked ¾ of the way through the subject, and the lazy person who has not studied anything – which is deeply unfair. Fortunately, most examination systems offer to give partial marks according to the number of correct answers the student gets. However, the teacher must (1) be aware of this function, and (2) be willing to apply it.

There is also the question of negative points: should a wrong answer reduce the mark for the question? Let’s imagine a question with multiple answers (MAQ): there are 5 possible answers, and the teacher indicates that there « might be » more than one possible answer (without indicating the number of correct answers). If the teacher makes the mistake of not putting negative marks, then the student only has to tick all 5 answers each time: he will be sure to get 100% of the points. So negative marks should be given for wrong answers. But the next question is more complex: how should these negative points be measured? If you tick all 5 answers, should you get a score of 0, an average score (e.g. 2.5/5) or a negative score (which will then penalise the overall score)? Opinions differ, and as is often the case, the absence of a clear-cut answer should help us ponder and reflect on this issue of negative points – and then adapt our exam accordingly.

  • The answers to an MCQ must be unequivocal.

The MCQ has the advantage of an automated system: read the question, tick one or more answers, be marked automatically accordingly. But it requires questions and answers to be unequivocal. There is no room for nuance, or for finesse in interpretation. It is therefore a rather demanding literary (and logical) exercise to write a ‘good’ MCQ. In practice, I find that even for the simplest and clearest questions, some students really manage to rack their brains out of the most common context. Are they projecting more difficulties than necessary? Are they looking for a hidden trap? Often, behind its apparent operational simplicity, the MCQ underlines that it is really not so simple to test knowledge in a granular way.

Some tips gained from experience

It all starts with the MCQ

The MCQ is not the devil when you look at it in detail. You just have to look beyond the « knowledge test » stage, and try to reach the « test of a skill » stage. Here are some tips from a lot of trial and errors over past years.

  • Tip 1: forget MCQs and do only MAQs.

Reminder: MCQs offer only one possible answer, whereas MAQs can offer several correct answers. My advice is to turn all MCQs into MAQs – even those with only one correct answer – for several reasons. First, it is not necessary to announce the number of correct answers. If the student is told that there is only one correct answer, he or she can proceed by elimination, or stop thinking as soon as the correct answer is identified, whereas a sentence such as « check all the correct answers » forces the student to really think about each possibility. Second, at least in BlackBoard, MCQs offer « radio button » answers while MAQs offer « check box » answers, which is to the disadvantage of MCQs. Indeed, let’s imagine the following situation: in a MCQ with radio buttons (only one correct answer), the student chooses answer A. But after thinking about it, the student is not sure, and wants to play it safe by not answering this question after all. Well, with radio buttons, it is not possible to un-click an answer: once you have clicked a button (answer A), you can just click another answer (answer B, answer C), but you cannot un-click the whole thing. As a consequence, if a wrong answer causes negative points, then students will choose not to answer questions they are unsure about. But this will only be possible with an MAQ (all boxes can be unchecked) and not with an answered MCQ (once a choice has been chosen, it is not possible to « un-answer » the question).

  • Tip 2: answers should ideally check for a skill, not only for knowledge.

A MCQ / MAQ quizz is not bad per se. The professor just needs to write the question as a problem to be solved. For example: « You have to make 100 g of white chocolate and 100 g of milk chocolate. You have 200 g of cocoa butter, 100 g of sugar, 100 ml of milk, 200 g of cocoa powder. How much cocoa powder do you have left at the end of the recipe? » In this case, the student’s professional ability is being tested. It is a more subtle assessment than asking them to tick the right recipe between 4 answers. But it does not solve all the cheating problems: once the student has completed the solving process, he/she can communicate the answer quickly (« hey people, the right answer is 75 g of cocoa!! »)

Calculated formulas

This is a variant of the previous question, but with specific calculations for each student. This type of question indeed is generating random numbers. For example, one student will get « you must make 100 g of white chocolate and 100 g of milk chocolate » while another student will have « you must make 70 g of white chocolate and 120 g of milk chocolate », and BlackBoard calculates the correct answer each time. The good point is that it really prevents students from communicating their answers. On the other hand, it only tests the ability to memorise – and then apply – a formula, without judging the ability to interpret the result. Furthermore, it only works with subjects that use formulas or calculations.

Jumbled sentences

These are my favourite questions. Normally, they serve to check concepts that were learned by heart (e.g. the cubitus is [a bone / a nerve / a gland]), but they can be turned into real skills testing tools.

  • Tip 1. Avoid fill-in-the-blank fields, use drop-down menus instead.

Some ‘fill-in-the-blank’ sentences offer a text field to be filled in, which means the student has to type the correct answer on the keyboard. This is not advisable, as the software only recognises the words that are declared. For example, if the question is « The early bird catches the… », the professor will have declared « worm » as the correct answer, but perhaps not « Worm » with a capital letter. A typographical error is all that is needed for the answer to be considered incorrect (« wurm »), which is not fair, especially when English is not the student’s native language. So the best solution is to use predefined drop-down menus. The advantage of those is that they offer a list of terms to choose from: no problem with typos, misspelling, or even synonyms (« insect » or « food » instead of « worm »).

  • Tip 2: The answer should ideally test a skill, instead of pure knowledge.

This is the same reasoning as for the MCQs / MAQs: the professor needs to write the question in the form of a problem to be solved. The bonus here is that the sentence makes it possible to validate a set of notions. If I take the example of financial analysis (one of my courses), the problem will take the following form: « Here are the accounts of a company over the last 5 years. Calculate the return on capital employed (ROCE), break it down, and then find the correct elements in the following sentence.

The sentence then offers gaps with a drop-down list, as in this example: « The operating margin (increases; decreases; remains stable; decreases slightly), and at the same time there is an (increase; decrease; stagnation) of the NWC in days of sales which, in the end, is rather (good; bad; neutral) as far as profitability is concerned ».

This type of sentence therefore requires the student to make calculations AND make a diagnosis with causes, consequences and a value judgement on the situation. An additional advantage is that there can be several sentences: one could even imagine a whole paragraph of diagnosis to be formulated. However, there are some limitations to this tool. For one part, the writing of the blank sentences and, above all, the choice of terms in the drop-down list, must give only one possible solution. Since there must be no room for different interpretations (i.e. different sentences that could all be « right » somehow), this usually leads to fairly simple cases. Nothing prevents the professor from writing more complex sentences, but then he/she has to make sure that there is only one winning combination of the words. Additionnally, this does not totally prevent cheating: once a student has done the calculations, they can pass on the correct sentence to classmates (« The operating margin is increasing, and at the same time the NWC in days of sales is decreasing, which, in the end, is rather good as far as profitability is concerned »)

The 5th Law

All of the solutions mentioned here are interesting, because they not only offer much more possibilities than the « simple » MCQ, but above all, they allow the development of a reflection on what the teacher wants to assess.

Now there is one more important aspect: feedback. Many students want more than a grade, indeed they want to understand what they did well, and what they could have done better. A score on a MCQ is therefore not enough. We come back to the tension between the automation of marking (which suits the teacher), and the personalisation of assessment (which is the legitimate demand of the student). We can therefore add Law n°5: an ideal exam should allow students to learn from their mistakes.

Conclusion

Coming back to the objective – i.e. to prevent cheating while respecting Law 1 – no solution is 100% reliable. Once students can communicate with each other, every evaluation system – however subtle and complex – shows its flaws. And no computer system can cut off all the communication means of remote students among themselves. In other words, although the solutions mentioned have their advantages, none of them can meet the requirements of Law 4, i.e. to have an unsupervised examination. In order to have an unsupervised examination, this would require that the communication of information among students becomes useless. This means that there should be a different examination for each student. This poses obvious time problems, not only the time to design multiple exams, but also the time to grade them. As a matter of fact, there are no economies of scale if the professor is confronted with, say, 25 different exams for 25 students.

Actually, this kind of differentiated assessment (each student having their own specific questions) already exists. This is what we call individual assignments, the ones to be handed in during the semester. One solution could be to forgo final exams: evaluation of the student would be done by continuous assessment, in the form of an individualised control of abilities and skills. If we go in this direction, it would be necessary for the professors – and their institutions – to accept the additional time that this represents in the professor’s work. In other words: if we do not want to give the same task to all the students, we must acknowledge that an individualisation of the evaluations means more time to be allocated on this issue of evaluation.

All those reflections finally boil down to one generic advice: if the university / business school really wants to stick to final examinations, they should realise that no online exam is 100% reliable to avoid cheating. The best solution is to organize in-classroom examinations, with someone on site to ensure that no cheating takes place.

Publié dans In English, Prof, Réflexions | Laisser un commentaire

CovidCampus #8 : examens à distance et triche – 5 lois, quelques solutions et beaucoup d’interrogations

Ce thibillet fait partie d’une série de réflexions sur la crise du Corona virus et le passage d’une partie de mes cours en présentiel à une version en ligne.

Jamais les étudiant(e)s n’ont autant triché qu’à la fin de ce semestre d’étude. Le confinement a nécessité que les examens finaux soient organisés à distance, ce qui a visiblement permis des fraudes de grande ampleur. Même si beaucoup d’universités demandent aux étudiants de signer une déclaration sur l’honneur, cela n’a pas empêché une proportion inhabituelle de triche. Cela pose d’abord la question de la motivation à tricher. Les raisons traditionnelles – c’est-à-dire hors confinement – sont soit l’impréparation, soit le goût du jeu dangereux, la triche étant vue comme un raccourci moral. Mais dans ces temps de pandémie, on constate aussi que des étudiant(e)s « non traditionnellement tricheurs » recourent à cette stratégie pour améliorer leurs notes. En effet, dans beaucoup de pays, les employeurs potentiels demandent un détail des notes obtenues dans les études avant de recruter. Les étudiant(e)s actuels craignent alors que leurs notes « en confinement » soient trop basses pour leur futur emploi, ou qu’elles ne leur permettent pas de s’inscrire dans certains parcours de spécialisation. Cela est exacerbé par le fait que dans certaines filières, les professeurs semblent ignorer les contraintes de travail à distance, et ils demandent la mémorisation de quantité de données en un temps très limité : on quitte alors le domaine de l’apprentissage pour celui du gavage. Ce thibillet ne cherche pas à comprendre – encore moins à excuser – les comportements de triche en ligne, mais plutôt à réfléchir sur les manières d’éviter la triche lors des examens à distance.

Plusieurs populations concernées

L’examen final confronte différentes populations dont les intérêts ne sont pas obligatoirement alignés.

  • Il y a d’abord les tricheurs, qui ne sont pas forcément une population homogène, comme indiqué dans les motivations données précédemment.
  • Il y a ensuite les non tricheurs, qui ne devraient pas être pénalisés par les stratégies anti-fraude. En effet, le fait de multiplier les contrôles (surveillance par caméra, pare-feu pour empêcher d’accéder à certains sites) conduit automatiquement à des blocages technologiques. En conséquence, un(e) étudiant(e) de bonne foi peut être pénalisé par un système de surveillance qui l’empêche de passer son examen dans de bonnes conditions.
  • Il faut aussi penser aux surveillants : ils sont officiellement chargés de vérifier que les participants ne trichent pas, mais leur capacité d’action est limitée : autant il est possible de dire que l’étudiant X a été aidé par une personne qui est apparue dans le champ de la caméra, autant il est impossible de dire ce que regardait l’étudiante Y sur son écran : était-ce l’examen, ou bien une discussion Whatsapp d’un groupe de triche ?
  • Il y a enfin le concepteur de l’examen en ligne, qui a ses propres contraintes et qui doit faire des choix d’optimisation (que nous allons détailler).

Les 4 lois d’un bon examen

On peut essayer d’énoncer la recette magique, ou la boussole morale, de la personne chargée de concevoir un examen en ligne, en suivant un chemin analogue aux 3 lois de la pédagogique. Dans le cas des examens en ligne, ces 4 lois seraient, par ordre décroissant d’importance :

  1. Les étudiant(e)s non tricheurs ne doivent pas souffrir du système anti triche mis en place ;
  2. Les étudiant(e)s tricheurs doivent être empêchés, ou fortement limités, dans leur capacité à tricher, sans contrevenir à la règle 1 ;
  3. L’examen doit être facile à corriger pour le professeur, sans contrevenir à la règle 1 ou 2 ;
  4. Enfin, sans contrevenir aux règles 1, 2 et 3, le rôle des surveillants devrait devenir accessoire. Idéalement, il n’y aurait plus besoin de surveiller. C’est un peu comme la notion d’efficience forte des marchés financiers : dans un examen correctement conçu, peu importe qu’un(e) étudiant(e) puisse contacter d’autres personnes, car en les contactant, il ou elle n’obtiendra pas plus d’avantages qu’en faisant le travail seul(e).

La tension principale : temps vs. personnalisation

Pour la personne qui conçoit un examen, une des variables importantes est le temps. Il s’agit non seulement du temps de conception et de test de l’examen en amont, mais aussi le temps de correction / notation de l’examen après coup.

  • À un extrême de cette tension, on peut situer le QCM (questionnaire à choix multiple) : pour un temps de préparation qui n’est pas trop élevé, on a un temps de correction finale très réduit. C’est l’idéal pour le professeur qui ne veut pas y passer trop de temps.
  • À l’autre extrême, on a l’examen avec des questions ouvertes qui nécessitent une dissertation de la part de l’étudiant. Le terme dissertation est au sens large : ce n’est pas seulement « pensez-vous que l’Homme est bon », cela peut aussi être « compte-tenu de la situation présentée ci-dessus, dites ce que vous recommanderiez ». Dans ce cas, il faut du temps pour concevoir l’examen, mais probablement moins que dans le cas d’un QCM ; en revanche, la correction / notation nécessitent de lire attentivement tout ce qui a été écrit, voire lire entre les lignes. En effet, même si l’étudiant n’a pas forcément utilisé un mot-clé important, il/elle a pu néanmoins comprendre la notion, et seule une analyse fine de sa réponse permettra de juger si la notion est maîtrisée ou juste apprise par cœur sans réelle compréhension. Dans ce deuxième extrême, la correction est donc extrêmement personnalisée, car l’étudiant nous permet de « rentrer dans sa tête ».

Cette problématique temps vs. personnalisation va donc devenir cruciale pour beaucoup de professeurs quand il s’agit de concevoir un examen.

Il y a aussi des conflits d’intérêts qui apparaissent, sous la forme du temps que le professeur est prêt à consacrer aux examens. Prenons l’exemple des étudiant(e)s qui ont été mis en échec à l’examen : dans la plupart des institutions, cela conduit à un examen de rattrapage. Or cet examen représente un surplus de travail pour le professeur, pour lequel il ne touche généralement pas de rémunération spécifique. Donc le professeur devra concevoir un deuxième examen pour une poignée d’étudiants, mais il ne devra pas faire ce travail si tous les étudiant(e)s ont passé l’examen avec succès. On peut imaginer que dans certains cas, le professeur aura tendance à arrondir la note d’examen pour éviter un rattrapage – ou encore, qu’il fera un rattrapage facile à concevoir, rapide à noter, et facile à réussir. Cette problématique de temps additionnel sera exacerbée par le fait que cela peut ne concerner que quelques étudiant(e)s : qui voudrait rédiger un examen de rattrapage de 3h juste pour une personne ?

Réflexions et solutions pour un examen à distance sur ordinateur

Après ces réflexions générales, regardons maintenant différentes solutions techniques d’examens en ligne. Pour l’illustration, nous prendrons le système d’examens intégré à BlackBoard, non seulement parce que cette solution est très répandue dans le monde académique, mais aussi parce qu’elle offre beaucoup de possibilités dans la construction des examens par ordinateur.

La mauvaise solution : les QCM

[Par QCM, on entend ici non seulement les questions à choix multiples (QCM) – avec une seule réponse possible – mais aussi, en généralisant, les questions à réponses multiples (QRM) – où il y a plusieurs réponses correctes à sélectionner]

Bien qu’apparaissant comme une solution facile, les QCM/QRM ne sont pas une bonne idée pour éviter la triche à distance, pour plusieurs raisons détaillées ci-dessous.

  • Le mélange des réponses ne marche pas.

Blackboard permet de mélanger l’ordre des réponses au sein d’une question, dans l’espoir de réduire la « collecte latérale d’informations » de la part des étudiant(e)s. Mais hélas, certains étudiants tapent très vite sur leur clavier : quand ils communiquent entre eux pour s’échanger les bonnes réponses, cela ne change rien qu’ils disent « réponse b. », ou « le bon montant, c’est 12 € » ou « la réponse : c’est à cause du coût du capital ».  

  • Le mélange des questions ne marche pas.

Blackboard permet aussi de mélanger l’ordre des questions, pour éviter la communication entre étudiant(e)s. Mais hélas, la pratique nous montre que certains étudiants sont très organisés : au lieu de demander « quelle est la réponse à la question 7 », ils demandent « réponse sur le cours du pétrole ? » – ainsi, peu importe que la question soit à un endroit différent dans l’examen. Certes, on peut bâtir un corpus de questions très large pour noyer les étudiant(e)s : par exemple 1 000 questions d’examen, dans lesquelles le système puisera au hasard 100 questions pour un(e) étudiant(e) donné(e). Mais cela pose plusieurs problèmes : d’abord, devoir rédiger un grand nombre de questions ; ensuite, s’assurer que les questions sont de même niveau de difficulté et donnent le même nombre de points – c’est très fastidieux.  La seule possibilité – qui existe – serait non seulement de mettre les questions en ordre aléatoire, mais aussi d’interdire de revenir en arrière une fois qu’on a répondu à une question. Mais cela peut contrevenir à la loi n°1 : en effet, un(e) étudiant(e) non tricheur peut souhaiter revenir en arrière, car la question n°7 (par exemple) lui a fait penser à une meilleure solution pour la question n°3. Ce ne serait pas juste de l’empêcher de modifier une réponse avant l’heure finale de l’examen.

  • La plupart des QCMs testent des connaissances, pas des capacités.

L’auteur de cet article a été confiné avec 5 jeunes qui poursuivent des études à distance, et il a donc pu apprécier les systèmes d’évaluation de différents cursus universitaires. La plupart du temps, les examens en ligne prennent la forme d’un QCM, et la plupart du temps, ce QCM teste des connaissances, et non des capacités. Les professeurs préviennent d’ailleurs leurs étudiants : « pour l’examen, il faut que vous connaissiez surtout les dates importantes et les grands noms des inventeurs ». Le QCM devient alors une épreuve de mémorisation et de vitesse : pour certains professeurs, proposer 100 questions pour 1 heure d’examen permet – selon eux – de discriminer suffisamment les étudiant(e)s. Mais est-ce que cela évalue leur apprentissage, ou simplement leur capacité à régurgiter rapidement des informations ? Certes, il y a des formations qui nécessitent d’apprendre par cœur (par exemple, en Anatomie), mais ces situations sont finalement rares : la plupart du temps, les cours demandent à démontrer une capacité à raisonner, s’exprimer et agir, et non pas à jouer simplement le rôle d’un chien savant.

  • Le scoring des QCM soulève des problèmes.

Certains cursus ont la règle suivante : si l’étudiant a oublié ne serait-ce qu’une réponse juste, il a zéro à la question entière. Je considère cela comme une aberration. Si je coche 3 réponses sur les 4 réponses qui étaient justes, je devrais avoir droit aux ¾ des points, et non à zéro. Sinon, il n’y aura aucune discrimination entre l’étudiant qui a travaillé les ¾ de cette matière, et le paresseux qui n’a rien étudié – ce qui est profondément injuste. Heureusement, la plupart des systèmes d’examen proposent de donner des points partiels en fonction du nombre de réponses correctes de l’étudiant. Encore faut-il que le professeur (1) connaisse cette fonction, et surtout (2) souhaite effectivement l’appliquer.

Il y a aussi la question des points négatifs : une réponse fausse doit-elle diminuer la note à la question ? Imaginons une question avec réponses multiples (QRM) : il y a 5 réponses proposées, et le professeur a indiqué qu’il « peut y avoir » plus d’une réponse possible (sans indiquer le nombre de réponses correctes). Si le professeur commet l’erreur de ne pas mettre de points négatifs, alors l’étudiant n’a qu’à cocher les 5 réponses à chaque fois : il sera sûr de collecter tous les points. Il faut donc mettre des points négatifs pour les mauvaises réponses. Mais la question suivante est plus complexe : comment doivent être dosés ces points négatifs ? Si l’on coche l’intégralité des 5 réponses, doit-on obtenir un score de 0, un score moyen (par exemple 2,5/5) ou un score négatif (qui pénalisera alors le score global) ? Les avis divergent, et comme souvent, l’absence de réponse tranchée permet de mieux réfléchir à la question.

  • Les réponses d’un QCM doivent être sans équivoque possible.

Le QCM a l’avantage d’un système automatisé : lire la question, cocher une ou plusieurs réponses, être noté automatiquement en conséquence. Mais cela nécessite de formuler des questions et des réponses sans aucune équivoque. Il n’y a aucune place pour la nuance, ou pour les finesses d’interprétation. C’est donc un exercice littéraire (et logique) assez astreignant que de rédiger un « bon » QCM. En pratique, je constate que même pour les questions les plus simples et les plus claires, certains étudiants arrivent à se triturer les méninges. Projettent-ils plus de difficultés que nécessaire ? Cherchent-ils la petite bête ? Souvent, derrière son apparente simplicité opérationnelle, le QCM souligne que ça n’est pas si simple de tester une connaissance de manière granulaire.

Quelques conseils issus de l’expérience

Tout démarre avec le QCM

Le QCM n’est pas le Diable quand on le regarde en détail. Il suffit de chercher à dépasser le stade « contrôle des connaissances » pour aborder le stade « test d’une compétence ». Voici quelques conseils issus de beaucoup d’essais-erreurs.

  • Conseil n°1 : abandonner les QCM et ne plus faire que des QRM.

On se souvient que le QCM n’offre qu’une réponse possible, alors que le QRM peut proposer plusieurs réponses justes. Mon conseil : transformer tous ses QCM en QRM – même ceux qui n’ont qu’une seule réponse correcte – et ceci pour plusieurs raisons. Premièrement, il  n’est pas nécessaire d’annoncer le nombre de bonnes réponses. Si on dit à l’étudiant qu’il n’y a qu’une réponse juste, il peut procéder par élimination, ou bien s’arrêter de réfléchir dès qu’il a identifié la bonne réponse, tandis qu’une phrase du type « cochez toutes les bonnes réponses » oblige à vraiment réfléchir à chaque possibilité. Deuxièmement, au moins sous BlackBoard, les QCM offrent des réponses « boutons radio » tandis que les QRM offrent des réponses « case à cocher », ce qui est au désavantage des QCM. En effet, imaginons la situation suivante : dans un QCM avec boutons radio (une seule réponse juste), l’étudiant choisit la réponse A. Mais après réflexion, l’étudiant n’est pas sûr, et il souhaite jouer la sécurité en ne répondant finalement pas à cette question. Eh bien avec des boutons radios, ce n’est pas possible d’annuler une réponse : à partir du moment où vous avez cliqué sur un bouton (réponse A), vous pouvez juste cliquer une autre réponse (réponse B, réponse C), mais pas dé-cliquer le tout. Or, si une réponse fausse occasionne des points négatifs, alors certains étudiants préfèreront ne pas répondre aux questions sur lesquelles ils ont des doutes. Cela ne sera possible qu’avec un QRM (toutes les cases peuvent être décochées) et pas avec un QCM auquel on a répondu (il reste toujours une réponse cliquée).

  • Conseil n°2 : la réponse doit idéalement tester une compétence, pas une connaissance.

Un QCM / QRM n’est pas mauvais en soi. Il suffit de rédiger la question sous forme d’un problème à résoudre. Par exemple : « vous devez faire 100 g de chocolat blanc et 100 g de chocolat au lait. Vous disposez de 200 g de beurre de cacao, 100 g de sucre, 100 ml de lait, 200 g de cacao en poudre. Combien vous reste-t-il de cacao en poudre à la fin de la recette ? » Dans ce cas, on teste une capacité professionnelle de l’étudiant. C’est une évaluation plus subtile que de lui demander de cocher la bonne recette entre 4 réponses. Mais cela ne résout pas tous les problèmes de triche : en effet, une fois que l’étudiant a terminé le processus de résolution, il peut communiquer la réponse rapidement (« c’est 75 g de cacao »)

Les formules calculées

C’est une variante calculatoire de la question précédente, qui présente l’avantage de proposer des nombres tirés au hasard. Ainsi, un(e) étudiant(e) aura « vous devez faire 100 g de chocolat blanc et 100 g de chocolat au lait » tandis qu’un autre étudiant lira « vous devez faire 70 g de chocolat blanc et 120 g de chocolat au lait », et BlackBoard calcule à chaque fois la réponse correcte. Cela permet vraiment d’éviter la diffusion d’informations. En revanche, cela ne teste qu’une capacité à mémoriser – puis à appliquer – une formule, sans juger de la capacité d’interprétation du résultat. D’autre part, cela ne marche qu’avec des disciplines qui utilisent des formules ou des calculs.

Les phrases à compléter

Ce sont mes questions favorites. Normalement, ce sont des outils pour vérifier la mémorisation, mais on peut détourner leur propos pour en faire de vrais outils de test de compétences.

  • Conseil n°1. Éviter les champs à remplir, privilégier les menus déroulants.

Certaines phrases « à trous » proposent un champ de texte à remplir – c’est-à-dire que l’étudiant(e) tape la bonne réponse au clavier. Cela n’est pas souhaitable, car le logiciel ne reconnaît que les mots déclarés. Si la phrase est « Impossible n’est pas … », le correcteur aura déclaré « français » comme bonne réponse, mais peut-être pas « francais » sans cédille ou « Français » avec une majuscule. Il suffit alors d’une faute de typographie pour que la réponse soit considérée comme étant incorrecte, ce qui n’est pas juste, notamment vis-à-vis des étudiant(e)s dont le français n’est pas la langue natale. L’avantage des menus déroulants est qu’ils proposent une liste de termes à choisir, donc il n’y aura pas de problème de faute de frappe ou d’orthographe, voire de synonymes.

  • Conseil n°2 : la réponse doit idéalement tester une compétence, pas une connaissance.

On réplique ici le même raisonnement que pour le QCM / QRM : rédiger la question sous forme d’un problème à résoudre. Mais ici, la phrase permet de valider un ensemble de notions. Si je prends l’exemple de l’analyse financière (une de mes matières), le problème prendra la forme suivante : « voici les comptes d’une société sur les 5 dernières années. Calculez la rentabilité des capitaux engagés (ROCE), décomposez la, puis retrouvez les éléments corrects dans la phrase suivante ».

La phrase offre alors des trous avec une liste déroulante, comme dans cet exemple : « La marge d’exploitation (augmente ; diminue ; reste stable ; décroît légèrement), et dans le même temps on assiste à une (hausse ; baisse ; stagnation) du BFR en jours de ventes ce qui, finalement, est plutôt (bon ; mauvais ; neutre) en ce qui concerne la rentabilité ».

Ce type de phrase nécessite donc que l’étudiante fasse des calculs ET pose un diagnostic avec des causes, des conséquences et un jugement de valeur sur la situation. Un avantage supplémentaire est qu’il peut y avoir plusieurs phrases : on pourrait même imaginer un paragraphe entier de diagnostic à formuler. Il y a néanmoins quelques limites à cet outil. D’une part, la rédaction des phrases à trous et surtout, le choix des termes dans la liste déroulante, doit à chaque fois ne donner qu’une solution possible. Il ne doit pas rester de place pour des interprétations différentes, ce qui conduit le plus souvent à sélectionner des cas de figures assez simples. D’autre part, cela ne prévient pas totalement la triche : il suffit qu’un(e) étudiant(e) ait fait les calculs pour transmettre la phrase correcte à ses camarades (« La marge d’exploitation augmente, et dans le même temps on assiste à une baisse du BFR en jours de ventes ce qui, finalement, est plutôt bon en ce qui concerne la rentabilité »).

La 5ème loi

Toutes les solutions mentionnées ci-dessus sont intéressantes, car non seulement elles offrent des possibilités bien supérieures au « simple » QCM, mais par-dessus tout, elles permettent de développer une réflexion sur ce que le professeur souhaite évaluer.

Il reste maintenant un aspect important : le feedback. Beaucoup d’étudiants demandent plus qu’une note : ils veulent comprendre ce qu’ils ont bien fait et ce qu’ils pourraient améliorer. Un score sur un QCM ne suffit donc pas : on revient à la tension entre automatisation de la notation (qui arrange le professeur), et personnalisation de l’évaluation (qui est la demande légitime de l’étudiant). On pourrait donc ajouter une loi n°5 : un examen final idéal devrait permettre à un(e) étudiant(e) d’apprendre de ses erreurs.

Conclusion

Si l’on revient à l’objectif, c’est-à-dire de prévenir la triche tout en restant dans le respect de la Loi n°1, aucune solution n’est fiable à 100%, car il suffit que les étudiant(e)s communiquent entre eux – et aucun système informatique ne peut couper tous les canaux d’information des étudiant(e)s à distance. En d’autres termes, même si les solutions évoquées ci-dessus offrent des avantages, aucune ne permet de respecter la loi n°4, c’est-à-dire d’envisager un examen sans surveillance. Pour avoir un examen sans surveillance, il faudrait que la transmission d’information ne serve à rien, donc qu’il y ait un examen différent pour chaque étudiant. Cela pose des problèmes évidents de temps, non seulement le temps de conception de multiples examens, mais aussi le temps de notation (car il n’y a pas d’économie d’échelle quand on doit noter des examens tous différents).

Notons que ce genre d’évaluation différenciée existe déjà : il s’agit des travaux individuels à rendre au cours du semestre. La solution serait alors d’oublier les examens finaux, pour rester focalisé sur du contrôle continu sous forme d’un contrôle individualisé des capacités. Si nous allons dans ce sens, il faudrait juste que les professeurs – et leurs institutions – acceptent le temps additionnel que cela représente dans le travail du professeur.

Enfin, si l’université ou l’école souhaitent absolument organiser des examens finaux, il faut noter qu’aucune solution d’examen à distance n’est véritablement fiable pour éviter la triche. La solution consiste alors à revenir aux examens en présentiel avec surveillance.

Publié dans Prof, Réflexions | Laisser un commentaire

CovidCampus #7: The 3 components in the value of your diploma, and how emergency online teaching interferes with that

This blog post is part of a series of reflections on the Coronavirus / Covid-19 crisis and the immediate transition from my face-to-face courses to online classes.

At the time of writing of this blog post, there are still uncertainties about the start of the new academic year in European business schools and universities.

  • The least likely – but not impossible – scenario is a « business as usual » scenario: lecture halls full of students, face-to-face classes, and an open access to school facilities (offices, canteen, library, work rooms).
  • At the other extreme of logistical conditions is a scenario of a courses as they were delivered during the Covid-19 containement, i.e. 100% online classes, alongside with all the other dimensions of the academic profession (online tutoring of dissertations, meetings by videoconference, and a lot of e-mail exchanges – much much more than under normal operating conditions).
  • And then comes the 3rd way, or rather, all the intermediate ways, consisting of a weighted cocktail of online lecturing and face-to-face courses – with some students being connected online – as well as digitized pre-requisites, all of those operated in a synchronous or asynchronous manner.

At the time of writing, the dice have not been cast, and no doubt that many schools and universities are currently putting a lot of energy and fever, thinking about the organization of the next semester in September. Now, if we take the point of view of the consumer/customer, i.e. the student, what is education?

In other words, what’s in a diploma? What are the components of that piece of paper that Shakespeare (or Humphrey Bogart) might qualify as being of the stuff that dreams are made of?

So, what does a student or a manager look for in an education? In my opinion, 3 different things:

1. Knowledge: delivered by professors & researchers, but also available in textbooks, or co-constructed during group projects. In those processes, we learn, we understand, we develop reflexes (thought and action). It is thus one of the dimensions of the professor’s work to create a consistent pedagogical path, like a game of hopscotch that alternates activities, strong or weak moments and many different bricks, Lego like: examples, concepts, pitfalls, practical applications, discussions, anecdotes, references to current world news, presentations, feedback…

2. Brand & Positioning: Part of the value of the diploma is the business school’s or university’s brand. Some people swear by the rankings, even though rankings have the bad taste of not remaining stable over time, and a school’s good grade might be different, depending on the organization or the newspaper that operates the ranking; other people rely on the long-lasting reputation (La Sorbonne…). In this situation, business schools & universities have taken good care of this intangible asset over the years: there are the leader brands, the ones everyone knows; then there are the specialists, who have managed to create a niche: « the best entrepreneurship training West of Berlin », « the first salesforce school »…

3. Collective experience. An education is not just a set of textbooks stamped with a brand (with a price attached…). Students and managers come to live a collective experience, which takes place outside as well as inside the classrooms. This mix of networking, collective projects and mixing of European and extra-European cultures leads to « thicken the sauce ». Graduate cohorts follow one another without being the same: some sauces are more fluid, others are more spicy, and most of them have a unique taste. Nevertheless, it should be noted that many programmes today offer such an electivity of courses and modalities (alternation, gap year, stay abroad) that it is becoming increasingly difficult to talk about the « spirit » of a cohort of students who will graduate on the same day. In fact, within the global cohort, we can see the formation of several sub-groups where the participants know each other and recognize themselves in the same joint experience.

These three components (diploma = knowledge + brand + collective experience) are the pillars of an education in business, and even though the weighting is probably not uniform (1/3 knowledge, 1/3 brand, 1/3 lived experience), it is difficult to estimate the weight of each of the three components in the value of a given diploma.

But it’s all for the real world, i.e. the world of face-to-face classes and one-one-one tutoring in the professor’s office. What happens when you suddenly switch to 100% online training? Let’s look at the impact on these three components:

1. Impact on knowledge. Facilitating a 100% online class creates frustrations and drawbacks: group discussions are harder to start, participation is lower, and the professor has to invest in a lot of online software and new interaction techniques in order to regain the level of a face-to-face classroom experience. The value of the learning path will therefore be downgraded, compared to what could have been done in a face-to-face environment. Our assumption is that a 100% online course will only reach 80% of the quality of a face-to-face course (i.e. a loss of -20% compared to the face-to-face equivalent).

2. Impact on the brand. This component is little affected by the switch to 100% online courses. A brand consists in rankings, a network of successful alumni, and recognition from companies and other organizations. To take an analogy that may be debatable (I’m not a marketing expert), the value of the Wal Mart brand does not depend on the % of sales made in stores versus the % of sales made online. We can therefore assume that the Brand component will keep the same value when switching to 100% online classes.

3. Impact on the collective experience. Ouch, this is where it’s going to get worse. In the case of contained, or at least isolated students, the collective experience will shrink dramatically. You can’t rely on Whatsapp groups or discussion forums to instill the same spirit as when you are in a physical place. And what about extracurricular activities? Student associations, parties, sports challenges, students’ consulting activities are all opportunities to experience « The fiery crucible in which true heroes are forged », in the words of Master Sergeant Farell. We can thus assum that this collective experience value will be strongly degraded by a switch to online classes. Let’s take the hypothesis of a degradation of -70%, which means that when a course is suddenly switched to an online version, the collective experience from such a course will be 30% of its face-to-face equivalent.

In summary, we can write this down as a formula, first for a face-to-face education:

V(face-to-face education) = V(Knowledge) + V(Brand) + V(Experience)

And now for online education, using the same components:

V(on-line education) = 80% V(Knowledge) + V(Brand) + 30% V(Experience)

As a result, we get a comparison in terms of value:

V(face-to-face education) > V(online education)

The difference in value between the two modalities is due, as we have seen, for a small part to the lack of fluidity in the transfer of knowledge (loss of -20%), and to a larger extent, to the difficulty or impossibility to replicate a human experience with the same quality as in face-to-face education (loss of -70%).

Some last thoughts

  • This model – like all models – simplifies reality. But – as with all models – it is through this simplification that we can begin to establish a basis for understanding and reflection. Your comments or suggestions are therefore welcome.
  • The degradation mentioned here will only take place if there is an abrupt shift from face-to-face training to full-online training. There will be no degradation – at least we hope not – if online training had time to be designed from scratch by taking advantage of the great richness of online learning, including tools that allow you to do things online that you can’t do as well in a face-to-face setting. But in this case, it takes 6 months to a year (at least?) to design this new type of training.

Professors and lecturers have made an important distinction since the very beginning of containment: as noted in the previous blog posts, most of us did not actually do distant learning during the covid-19 crisis. Rather, we switched abruptly to online emergency teaching. This is not the same thing, particularly in terms of value delivered.

Publié dans In English, Réflexions | 2 commentaires

CovidCampus #7 : les trois composantes de la valeur d’un diplôme, et l’impact du basculement à un enseignement en ligne

Ce thibillet fait partie d’une série de réflexions sur la crise du Corona virus et le passage immédiat de mes cours en présentiel à une version en ligne.

À la date où ce thibillet est écrit, il existe encore des incertitudes sur la rentrée dans les écoles de management en Europe.

  • Le scénario le moins probable – mais pas impossible – est un scénario « comme avant » : des amphis remplis d’étudiant(e)s, des professeurs en face à face, et une école en accès libre (bureaux, cantine, bibliothèque, salles de travail).
  • Le scénario à l’autre extrême des conditions logistiques est celui d’une reprise des cours comme durant le confinement, c’est-à-dire 100% en ligne, de même que toutes les dimensions du métier d’enseignant-chercheur (tutorat de mémoires en ligne, réunions de travail en visioconférence, et beaucoup d’échanges de mails – encore plus que dans les conditions normales d’exploitation).
  • Et puis vient la 3ème voie, ou plutôt, toutes les voies moyennes, consistant en un cocktail pondéré d’interventions en ligne, de cours en salle – avec certain(e)s étudiant(e)s à distance – et de pré-requis numérisés, le tout envisagé de manière synchrone ou asynchrone.

À la date où ce thibillet est écrit, les dés ne sont pas définitivement jetés, et je ne doute pas que la majorité des écoles et universités sont en train de réfléchir fiévreusement à l’organisation de la rentrée de septembre. Si l’on se place du point de vue du consommateur / du client, c’est-à-dire de l’étudiant, qu’est-ce qu’une formation ?

En d’autres termes, qu’y a-t-il dans un diplôme, quelles sont les composantes de ce bout de papier dont Shakespeare (ou Humphrey Bogart) pourrait dire qu’il est fait de la même étoffe que celle des rêves ?

Qu’est-ce qu’un(e) étudiant(e) ou un(e) manager vient chercher dans une formation ? À mon avis, 3 choses distinctes :

  1. La connaissance : apportée par les professeurs & chercheurs, mais aussi disponible dans les manuels, ou encore, co-construite lors des projets de groupe. On apprend, on comprend, on développe des réflexes de pensée et d’action. C’est une des dimensions du travail du professeur que de créer un parcours pédagogique cohérent, comme un jeu de marelle qui alterne les activités, les temps forts ou faibles et les éléments du jeu de Lego : exemples, concepts, pièges, applications pratiques, discussions, anecdotes, références à l’actualité, exposés, feedback…
  2. La marque & le positionnement : une partie de la valeur du diplôme tient à l’étiquette de l’école. Certains ne jurent que par les classements, mais ceux-ci ont le mauvais goût de ne pas rester stables, et la bonne note d’une formation change suivant l’organisme ou le journal qui opère le classement ; d’autres se fient à la réputation établie depuis des décennies (Ah, La Sorbonne…). Et les écoles & universités ont bien pris soin de cet actif immatériel au fil des années : il y a les leaders, ceux que tout le monde connaît ; puis il y a les spécialistes, qui se sont créé une niche de réputation : « la meilleure formation en entrepreneuriat à l’Ouest du Pecos », « la première école de vendeurs »…
  3. L’expérience collective. Une formation n’est pas qu’un ensemble de chapitres de manuels estampillés d’une marque (et d’un prix…). Les étudiant(e)s et managers viennent pour vivre une expérience collective, qui a lieu autant en dehors qu’à l’intérieur des salles de cours. Ce mélange de réseautage, de projets collectifs et de brassage de cultures européennes et extra-européennes conduit à faire « prendre la mayonnaise ». Les promotions se suivent sans être identiques : certaines mayonnaises sont plus liées, d’autres sont plus pimentées, et la plupart ont une couleur unique. Notons néanmoins que beaucoup de programmes offrent aujourd’hui une telle électivité des parcours et des modalités (alternance, césure, séjour à l’étranger) qu’il devient de plus en plus difficile de parler d’esprit de promo dans une cohorte d’étudiants qui seront diplômés le même jour. On assistera en fait à la formation de plusieurs sous-groupes où les participants se connaissent et se retrouvent dans une même expérience commune.

Ces trois composantes (diplôme = connaissances + marque + expérience collective) sont les piliers d’une formation au management, et même si l’on se doute que la pondération n’est pas uniforme (1/3 de connaissances, 1/3 de marque, 1/3 d’expérience vécue), il est difficile de juger du poids de chacune des trois composantes dans la valeur d’un diplôme donné.

Mais tout cela, c’est pour le monde réel, celui des cours en face à face et des tutorats de mémoire dans le bureau du professeur.

Qu’en est-il quand on passe brutalement à une formation 100% en ligne ? Regardons l’impact sur ces trois composantes :

1. Impact sur la connaissance. L’animation 100% en ligne crée des frustrations et des manques: les discussions de groupe sont plus difficiles à lancer, la participation est plus faible, et l’animateur doit investir dans quantité d’applications et de techniques à distance pour espérer retrouver le niveau d’une animation en salle. On peut estimer que la valeur du parcours pédagogique est dégradée par rapport à ce que l’on pouvait faire en face à face. Posons comme hypothèse qu’un cours entièrement en ligne va atteindre seulement 80% de la qualité d’un cours en face-à-face (soit une perte de -20% par rapport à l’équivalent en présentiel).

2. Impact sur la marque. Cette composante est peu affectée par le passage à 100% en ligne. Une marque, ce sont des classements, un réseau d’ancien(ne)s qui ont réussi, et une reconnaissance des entreprises et autres organisations. Pour prendre une analogie qui est peut-être discutable (je ne suis pas expert en Marketing), la valeur de la marque Darty ne dépend pas du % des ventes réalisées dans les magasins par rapport au % de ventes réalisées en ligne. On peut donc supposer que la composante Marque gardera la même valeur en cas de basculement à des cours 100% en ligne.

3. Impact sur l’expérience collective. Aïe, c’est là où cela va se dégrader. Dans le cas d’étudiant(e)s confinés, ou en tout cas isolés, l’expérience collective va se réduire comme peau de chagrin. On ne peut pas tabler sur des groupes Whatsapp ou des forums de discussion pour instiller le même esprit que lors d’une scolarité dans un lieu physique. Et que dire des activités extra-scolaires ? Les associations estudiantines, les soirées, les défis sportifs, les missions de la Junior Entreprise sont autant d’occasions d’expérimenter « Le creuset ardent dans lequel les vrais héros sont forgés », pour reprendre les mots de l’adjudant-chef Farell. On peut donc supposer que cette valeur d’expérience collective sera fortement dégradée lors d’un passage en ligne. Prenons l’hypothèse d’une dégradation de -70%, c’est-à-dire qu’une formation basculée brutalement en ligne n’apportera, en terme d’expérience collective, que 30% de son équivalent en présentiel.

En résumé, si on écrit cela sous forme de formule, on obtient :

V(diplôme_face-à-face) = V(Connaissance) + V(Marque) + V(expérience)

Et pour une formation en ligne, en reprenant les mêmes composantes :

V(diplôme_en-ligne) = 80% V(Connaissance) + V(Marque) + 30% V(expérience)

On obtient alors une comparaison valorielle :

V(diplôme_face-à-face) > V(diplôme_en-ligne)

La différence de valeur entre les deux modalités tient, on l’a vu, pour une petite part au transfert moins fluide des connaissances (perte de -20%), et pour une grande part, à la difficulté, voire l’impossibilité, de répliquer une expérience humaine de même qualité (perte de -70%).

Quelques pensées finales

  • Ce modèle – comme tous les modèles – simplifie la réalité. Mais – comme pour tous les modèles – c’est par cette simplification que nous pouvons commencer à établir des bases de compréhension et de réflexion. Vos commentaires ou suggestions sont donc bienvenu(e)s.
  • La dégradation mentionnée ici n’aura lieu que si l’on passe brutalement d’une formation en face-à-face à une formation tout-ou-partie en ligne. Il n’y aura pas de dégradation – du moins on l’espère – si la formation en ligne avait le temps d’être conçue à partir de zéro en tirant parti des grandes richesses de l’enseignement en ligne, notamment des outils qui permettent de faire en ligne des choses qu’on ne peut pas faire aussi bien en présentiel. Mais dans ce cas de figure, il faut compter 6 mois à un an (au minimum ?) pour concevoir ce nouveau type de formation.

C’est la distinction importante qui a été faite dès le début du confinement : comme indiqué dans les thibillets précédentes, la plupart d’entre nous n’a pas fait de la formation à distance, mais est passée brutalement à de l’enseignement d’urgence en ligne. Ce n’est pas la même chose, notamment en terme de valeur livrée.

Publié dans Prof, Réflexions | Laisser un commentaire

Créer son propre programme de Todo liste

Sur ce blog, j’avais commencé il y 13 ans (!) une rubrique Productivité dans laquelle je mentionnais – notamment – les petits utilitaires informatiques que j’ai découverts au fil de mes besoins : une horloge en transparence, un utilitaire qui permet de dessiner / annoter en superposition de ce qui se passe à l’écran. Ces utilitaires obéissaient à un cahier des charges (détail ici) qu’on peut résumer en deux idées : simplicité, légèreté.
Je n’ai pas continué cette rubrique, alors même que j’ai une petite dizaine de programmes qui me rendent de grands services au quotidien, et qui m’ont fait gagner énormément de temps depuis 10-15 ans que je les utilise.

Venons-en au sujet du jour : un utilitaire de ToDo list. Et j’ai trouvé une solution élégante et légère, que je vais vous détailler ci-dessous (les explications sont pour Windows, mais a priori transposables à Mac ou Linux).

Quelques précisions avant de démarrer

  • Comme indiqué dans cette série de thibillets sur – notamment – les ToDo listes, je préfère depuis des années un support papier (le Bullet Journal, ou BuJo) pour faire mes listes et noter mes idées. Mais paradoxalement, alors que je transportais sans peine le BuJo entre chez moi, mon travail et mes rendez-vous extérieurs, le temps du confinement m’a fait délaisser cet outil (pour un temps). C’est peut-être parce que toutes les réunions se faisaient en ligne, et que c’était plus pratique pour moi de prendre directement des notes sur l’ordinateur.
  • Aussi, insensiblement, je me suis mis à faire des ToDo listes informatiques. C’était au format texte avec Notepad, donc parmi les niveaux les plus élevés de frugalité informatique : un éditeur de texte simpliste, un fichier txt dans un coin de l’écran, et c’est tout. Pour info, le programme Notepad.exe pèse 1,1 kilo-octet, un millième de Méga-octet ! 😀
  • Je sais qu’il existe quantité de programmes et d’applications de ToDo listes, et j’en ai testé plusieurs à l’époque (des outils en ligne, des applis multi-plate-formes) :
    • La plupart de ces applis permettent une synchronisation entre différents appareils. Or, la synchronisation est vraiment un plus : cela permet d’avoir sa ToDo liste toujours à jour, avec la même version la plus récente sur ordinateur et sur téléphone/tablette. Mais on peut faire ça aussi simplement avec un fichier texte : il suffit qu’il soit dans un répertoire synchronisé avec Dropbox, Google Drive ou pCloud (ce dernier étant mon outil depuis des années, car je ne veux pas que mes données privées soient siphonnées et revendues). L’avantage d’un fichier texte est qu’il est lisible par n’importe quel système ou appareil…
    • Après avoir testé plusieurs applications à l’époque, je m’étais rendu compte que le mieux est l’ennemi du bien : ces applis proposent des dates limites, des classements par projets, des étiquettes et quantité d’autres fonctionnalités… alors que je ne voulais qu’un utilitaire de liste – ce qu’un fichier texte fait très bien. L’appli la plus frugale que j’avais trouvée (et achetée) s’appelait TaskPaper (sur Mac) et elle avait une jumelle sur Windows (TodoPaper, qui a disparu depuis). La beauté de cette application était que les fichiers de listes étaient au format texte, donc lisibles indépendamment de l’appli (ex: sur mon smartphone).

Résumé et cahier des charges

  • Confinement = je commence à faire mes listes de tâches directement sur l’ordinateur.
  • Il me faut une appli légère, qui sauvegarde les listes au format texte, de telle sorte que je puisse consulter ma liste depuis n’importe lequel de mes appareils, en déplacement ou sans connexion Internet.
  • Cette appli doit pouvoir ré-ordonner mes todo listes en fonction de l’ordre de priorité, et « archiver » les tâches réalisées.

Solution

En fait, après quelques tâtonnements, je suis arrivé à la solution la plus simpliste et la plus élégante : un petit programme dans le Terminal de windows (cmd.exe) avec une icône de raccourci sur le Bureau. NB : les possesseurs de Mac peuvent faire la même chose avec le Terminal du Mac ; quant aux utilisateurs de Linux, ils sont probablement rompus aux tâches élémentaires de la console que je vais détailler ci-dessous.

Voici la démarche, pas à pas. Il y a deux éléments à bâtir : le fichier texte qui servira de Todo List ; le programme qui va ré-ordonner les tâches par ordre de priorité.

Étapes pour le fichier texte « Todo List »

  • Avoir ma liste de tâches à faire dans un fichier texte, lui-même hébergé dans un dossier synchronisé (ex: C:\Users\Christophe\Nextcloud\Notes\Todo.txt). Ainsi, à chaque fois que je modifie ce fichier, il est automatiquement synchronisé avec un service dans le cloud – et mis à jour sur mon téléphone, mon ordinateur au bureau, etc.
  • Dans ce fichier, utiliser l’éditeur de texte (notepad.exe) pour saisir à la volée toutes les tâches, sans ordre de priorité. Par exemple :
Rédiger mail à Raoul Volfoni
Faire la tournée des compteurs pour encaissement
S'inviter à la réunion sur la péniche
Rédiger l'éloge funèbre du Mexicain
  • Les coder alors en suivant une syntaxe simpliste dans le fichier texte :
    • tâche prioritaire = démarre par « 1  » en début de ligne ;
    • tâche moins prioritaire = démarre par « 2  » en début de ligne,
    • etc. avec les numéros suivants
    • Enfin, tâche terminée = remplacer le chiffre en début de ligne par « X « 

dans mon exemple, cela pourrait donner :

3 Rédiger mail à Raoul Volfoni
1 Faire la tournée des compteurs pour encaissement
2 S'inviter à la réunion sur la péniche
1 Rédiger l'éloge funèbre du Mexicain
(il y a donc deux tâches prioritaires, notées au niveau 1)

Quel est l’intérêt de ce numérotage ? C’est qu’il suit le classement alphanumérique du Terminal. Il suffit alors de lancer la commande « sort » : c’est une commande qui prend un fichier texte et qui ré-ordonne ses lignes par ordre alphanumérique : tous les 1 seront en haut, suivis par tous les 2, … et les « X » seront tout en bas.
Après lancement de cette commande, le fichier aura cette tête :

1 Faire la tournée des compteurs pour encaissement
1 Rédiger l'éloge funèbre du Mexicain
2 S'inviter à la réunion sur la péniche
3 Rédiger mail à Raoul Volfoni

Évidemment, le but est d’automatiser ce reclassement avec une commande.

Le « programme » de reclassement par ordre de priorité des tâches

Après la syntaxe (simpliste) du fichier texte, voyons maintenant le codage (à peine plus complexe) des commandes dans le Terminal. Je commente chaque commande avec une ligne de $$ commentaires $$.
Pour la simplicité de l’exemple, supposons que le fichier de ToDo liste soit à l’emplacement C:\Bureau\Todo.txt

Liste des commandes à enchaîner dans le Terminal :

C:\Windows\System32\cmd.exe /c
$$ lance le terminal en mode « sans commentaires » (donc non visible à l’écran)
sort C:\Bureau\Todo.txt > C:\Bureau\Todo9.txt
$$ trie les lignes du fichier Todo.txt par ordre alphanumérique et copie le résultat dans le fichier Todo9.txt (qui sera un fichier temporaire)

copy C:\Bureau\Todo9.txt C:\Bureau\Todo.txt
$$ copie le fichier Todo9.txt pour devenir le nouveau fichier Todo.txt
del C:\Bureau\Todo9.txt
$$ détruit le fichier Todo9.txt

En fait, j’ai commenté individuellement ces 4 commandes pour la clarté, mais elles s’enchaînent avec la commande « & » pour ne faire qu’une seule commande globale, du genre cmd sort & copy… & del…

Il ne reste plus qu’à créer un raccourci sur le bureau : dans la zone « Cible », copier la commande ci-dessus (cmd sort & copy… & del…), et dans la zone « démarrer dans », indiquer « C:\WINDOWS\system32 »

Peaufinage

Dans mon fichier texte, j’ai ajouté deux lignes pour une meilleure lisibilité.
Une ligne 0 z————-z (qui démarre par 0, zéro) pour le haut du fichier
Une ligne o—————o (qui démarre par O, la lettre) pour le bas

La ligne du haut me permet de mettre au-dessus une tâche répétitive de tous les jours, ou bien un truc vraiment important à faire en tout premier. Cette ligne commence par « 0 « , donc elle est au-dessus de tout le reste, et elle séparera LA tâche niveau 0 de toutes les autres tâches.
La ligne du bas permet de faire une séparation entre les tâches restant à accomplir (niveau 3, 4 etc.) et les tâches accomplies (marquées X).

Pour illustrer comment ça fonctionne, voilà un exemple de mon fichier après que j’aie terminé mon thibillet sur la Todo (notez la tâche 1 qui est devenue X :

0 Faire du gainage
0 z-------------z
1 Billet de blog 3 axes
X Billet de blog ToDo
1 Déclaration CESU
3 Texte à rédiger pour YY
4 Faire chapitre 6
o---------------o
X Admin Callisto
X Article ALS

Hop, lancement du programme triage en double-cliquant sur le raccourci, et le fichier devient

0 Faire du gainage
0 z-------------z
1 Billet de blog 3 axes
1 Déclaration CESU
3 Texte à rédiger pour YY
4 Faire chapitre 6
o---------------o
X Admin Callisto
X Article ALS
X Billet de blog ToDo

Ultime peaufinage pour gagner (encore !) du temps

Affecter un raccourci clavier pour ouvrir le fichier Todo.txt.
Affecter un autre raccourci clavier pour lancer le triage.

Ma séquence de touches – que j’utilise plusieurs fois par jour – devient alors :
Ctrl-Alt-* (ouvre le fichier Todo dans Notepad)
=> je rajoute des tâches, j’affecte des niveaux de priorités, je coche X pour les tâches terminées
Ctrl-W (ferme le fichier Todo, avec sauvegarde)
Ctrl-Alt-! (triage)

Et voilà.

Publié dans Informatique et Internet, Productivité, To-Do | Laisser un commentaire

CovidCampus #6: Online courses versus face-to-face courses: identical twins or siblings?

This blog post is part of a series of reflections on the Coronavirus / Covid-19 crisis and the immediate transition from my face-to-face courses to online classes.

Don’t do what I do,
do what I say

Beware: long blog post. This article started from the following idea: in previous posts, I made up a list of rules and tips as I went along. In the religious register, we could talk about 10 commandments of online teaching. But in Matthew 22:35-40, a doctor of the law asks Jesus which is the greatest commandment. So could we make it boil down to one, generic observation that would encompass all commandments? This is what I tried to do in this reflection, and I came up with the following idea: an online course will exacerbate and amplify the characteristics of a face-to-face course. It will go higher, farther, stronger, to quote Gaston de Coubertin, or – to be more realistic – online means more limited, less interactive, more exhausting.

Starting mid-March 2020, ESCP business school decided to close its Paris campus, both for students and professors. In the space of a weekend, all face-to-face classes were to switch immediately to a 100% online format. Faced with this unprecedented situation, each professor was confronted with an alternative: either try to transpose in an online format the exact equivalent of what was happening in the classroom; or assume that everything had to be reinvented, since an online course is delivered through a totally different medium, with different constraints. We can take two analogies to illustrate this alternative.

300 grams of proteins

The author of these lines is old enough to have lived through military service in France, and during the days spent in the field of operations, each soldier received a survival ration. Thus, in the wild, the soldier would take out from his package a cardboard box containing the equivalent of an airplane meal tray. It would be a mistake to compare the quality of this survival ration to a « normal » meal, e.g. one that could be eaten at a restaurant or at home. Indeed, in military life, one was either on the field of operations with survival rations, or hosted at the barracks with meals in the canteen. A good point of comparison is thus to assess to what extent the survival ration is equivalent to a meal in the privates’ canteen (and not the officers’ mess!). The survival ration was indeed a replicate of a military canteen meal, under the constraints of the field in the wild: no possibility of heating, with limitations to weight and size… As a result, the quality had been degraded in this process, but the result still remained in the category of a military meal. This is the same for pivoting abruptly to online teaching. We are in a situation where we tried to replicate an experience while taking into account the new constraints of the environment, therefore degrading the product.

« Dear impatient debtor… »

In contrast, let’s take a second illustration. The author of these lines is old enough to have known a world before e-mail. A long time ago, people from the Mailing Room would show up every morning at our desk to deliver letters in paper format. We would read it, write the reply or have it typed by our secretary, and the reply would be put in an envelope a few days later and sent by post. When e-mail arrived in France, the majority of users mistakenly thought that it was just a change of format: from a paper letter, we switched to an electronic mail. In fact, this led to a lot of deviant behaviour, because the reality was way more complex. Indeed, we were confronted with a completely new mode of communication that should have invented its own rules instead of copying the rules of paper mail by analogy. If this step had been done, perhaps e-mail would be much more effective in the functioning of organizations as of today. These 2 illustrations can be applied to the switch to online courses. First, there was urgency. The idea of survival ration sets the tone: how to get by in the jungle, all on your own, i.e. deprived of all the usual logistics of barracks and headquarters? Should we opt for a strategy to try and copycat the face-to-face experience – with an imperfect result for sure – or try to reinvent the whole course in this new format – a time-consuming strategy, to say the least. After 2 months of practicing online courses, we can establish a comparison with face-to-face courses, and the differences between both modalities can be summed up in a single generic idea: an online course exacerbates and amplifies the characteristics of a face-to-face course. Let’s unroll those comparisons in the remainder of this article.

Before the class – preparation

The ratio of invisible hours to visible hours

While students are sleeping…

In a typical face-to-face course, we know there is preparation: the professor adapts the structure of the session, prepares documentation and exercises, and reviews the major concepts that he or she wishes to convey both in substance and in form. But in addition to these hours of “classical” preparation, online teaching requires additional hours. Indeed, if one decides to do his or her lecture exactly as he or she used to do in the classroom, the outcome is bound to have a degraded quality: some actions are impossible to perform, such as moving closer to some students; other actions are possible, but with much less fluidity, such as grabbing a marker and writing key words or a diagram on the board. In order to obtain the same results, it is then necessary to plan alternative ways, i.e. search for numerical tools, train and practice with those tools, and design teaching sequences that are specific to the online course. This additional time corresponds to invisible hours: in fact, the only hours visible to the students are the class hours (face-to-face or online), while the hours of preparation are invisible to them. But in the case of an online course, this ratio will be exacerbated. Indeed, for a face-to-face course, let’s assume that it takes one hour of preparation to provide 3 hours of class time; the same course, if done online, will instead require between 3 and 10 hours of preparation for those same 3 hours of class time. The ratio of invisible hours to visible hours is therefore multiplied by 3 to 10 when going online. Those numbers might vary, but the online class will always require much more invisible hours to invest in.

The question of quality

All this extra preparation does not even guarantee that the course will have the same level of quality. The metrics we propose here are much more intuitive than measured, but they give an order of magnitude: if a professor decided to do her online course exactly the way she used to do her face-to-face course, she would probably have a course quality degraded by 40% when compared to the face-to-face experience. In other words, the quality of the online course would be at 60% of the quality of the face-to-face course. For sure, hours of preparation dedicated specifically to the online course will help reduce this gap in quality, but in our experience, they will not cancel it completely. In fact, according to our estimate, the 3 to 10 hours of digital preparation that we mentioned will bring the quality of the online course from 60% to 80-90% of the quality of the face-to-face course. To reach an equivalent level of quality (100%), we would have to invest a lot of extra time on top, or decide that we don’t want to make a clone of the face-to-face class: the online course then becomes another product, another promise, another experience…

During the class

Interacting with black screens

Hello, anybody out there?

One point should be made clear from the outset: in all the online courses we delivered, the students not only muted their microphones (at our request, to avoid background noise), but they also turned off their cameras. In spite of several strategies (e.g. asking to start the class with a round of greetings where each student in turn switches on their camera and microphone to say hello), the students kept their cameras off during whole classes[1]. Even though the professor reminded them that they had 3 ways to react and participate (click on « raise your hand », type in the chat, activate the microphone), the interaction was much weaker than in the classroom. Indeed, in a classroom, a student who does not wish to participate knows some tricks very well: he will keep his eyes down when a question is asked or she will wait for the teacher to focus on some students who point out themselves by their micro movements (nodding, chatting, direct look…). In the case of an online course, each student feels protected by his black screen: he is doubly at a distance – physical distance for sure, but also distant from the senses, since he is literally invisible to the teacher’s eyes…

Transmitting and receiving signals: an energy issue

Those black screens point to our first observation: pivoting to an online course encourages more pure lecturing. As an example, if in face-to-face class, a professor’s performance is a mix of 60% lectures (the professor talks and answers questions) and 40% animations / exercises / discussions, then it is likely that switching to an online course will increase the lecturing part (in our example, from 60% to 80% maybe more), simply because the animation part will be much harder to maintain – because of technical issues for a part, but also because of lower student participation.

Let’s take a break

Another related problem is interaction fatigue. Anyone who has ever taught knows that this activity takes a toll on energy on 3 levels at least: physical energy; mental energy; nervous / emotional energy. This can be partly compensated by energizers: a good atmosphere in a group of students, a successful interaction, stimulating exchanges, all this helps to recharge the professor’s energy battery. If we do now the comparison, we will realize that in an online course, energy drainers will be exacerbated while energizers will be more limited than in face-to-face interaction. Indeed, in a classroom, the professor relies on a multitude of senses: she uses the visual, auditory and kinesthetic channels simultaneously, and she feeds off all these signals to direct the rhythm and allocate her energy. All our colleagues know this: we professors have a form of 6th sense that allows us to detect a drop in attention, increasing boredom, or even realize that we are losing control over what is happening in the classroom… By contrast, when we are in an online course, faced with black screens, we lose a very large part, if not all, of this ability. In addition, even if the students switched their cameras on, this problem would probably not be solved: our mirror neurons feed on all the micro-expressions on the students’ faces, and even though this is done unconsciously, it participates globally in our reception of messages and signals. During a communication by camera, we lose a very large part of these micro signals. Our brain will then try to compensate frantically for this lack of information that it is used to in real life. During this confinement, how many times have we heard colleagues say that a day of videoconferencing meetings tires them much more than a day of face-to-face meetings? Well, the exact same thing happens for an online course…

What about fluidity?

All this done while drinking my coffee

When we are in a classroom, we are used to doing things in an extremely fluid way: starting to answer a student’s question while walking to the whiteboard, grabbing a felt tip pen, starting to draw while talking, grabbing the eraser then rewriting, while at the time, from the corner of our eyes, we check that the student and his classmates are following our reasoning. In comparison, the same sequence in an online course will require juggling different tools, clicking on icons or activating keyboard shortcuts (that we had to memorize), and the fluidity will never be the same as in a classroom. Another disrupter of fluidity is alerts and notifications: in a classroom, when a student raises his hand, he usually does it silently and we automatically record this visual signal without stopping our presentation. Now, let’s imagine that during one of his lectures in the classroom, a professor had to check his e-mails – and answer them on the fly! Each time a new email arrives, an alert sounds, forcing the professor to read the email and then decide whether or not to answer it, while continuing to lecture. It is very likely that this professor would lose a lot of his concentration and thus, his fluidity. This is exactly what happens with online courses: we are explaining a concept by sharing the screen, and we hear a « ding » which means that either a student has raised her hand or someone has posted a message on the chat. In our brain, the « lecturing » zone must go on while the « reading » zone reads the message and the « decision » zone selects the answer to adopt: ignore, process later, answer now… No wonder that the brain can be overwhelmed.

Technology, savior or burden?

In a conventional classroom, technical problems have recurring characteristics. Firstly, these problems are limited to the equipment used: the computer, the video projector and possibly the microphone. Then, when a problem arises, we can rely on dedicated support services. Finally, we always have a plan B, or even a plan C: if our USB key doesn’t work, we can retrieve slides from the cloud; if we really can’t access our slides, we can tell students to follow the class on their paper handouts; in the worst case, we can even improvise a class using only the whiteboard and felt tip pen. In comparison, in an online course, technical problems will be exacerbated alongside those 3 axes. Firstly, an online course generally uses many more tools than just a computer: the video capture platform with document sharing, a drawing software, an online survey application, not to mention shared documents for collaborative work… There is probably a computer law somewhere that postulates that the more tools you use, the greater the likelihood that a technical problem will arise: this is a simple common sense observation. When it comes to troubleshooting, the online professor will then be on his own. This means that the professor now has a double hat: in addition to his historical professor / researcher / animator hat, he now has to put on the outfit of Mario the digital plumber, with a necessity to be really swift, because everything happens live. This implies additional stress, since we are outside our area of expertise, but in the eyes of the participants, we are in charge of restoring good teaching conditions whenever a problem arises. This digital stress will be all the more amplified since there are very rarely plans B in case of technical problems: either the online tools work seamlessly, or we have to abandon a whole section of what was planned when some tools get dysfunctional. As a consequence, we lose a great deal of granularity in our response to technical problems online, and it becomes binary: fix it or lose it.

A modified relationship to time

Be still, my beating heart

In an online course, everything happens more slowly. When the professor asks a question, there is a lag before the question reaches the students (it can take several seconds), then the students have to think it and decide whether they want to answer; if so, then they have to type their answer in the chat or click on “raise your hand”; and once again, there is a time lag before these signals are transmitted to reach the professor’s computer. All in all, between the moment the teacher asks the question and the moment he gets a reaction from the audience, silence looms for a time that is doubled or tripled as compared to the same situation in face-to-face classes. Considering that, in real life, some colleagues already are uncomfortable at waiting for 10-15 seconds before students react, then what about the experience of an online course, when after one of our questions, we have to stare during 20-30 seconds at a black (and silent) screen, waiting for a signal from the Outback.

This warped time also triggers a new relationship to silence, exacerbated by the fact that we are like those blind fishes in the dark depths of the oceans, i.e. very limited in our perception. Let us illustrate that with a typical event: coming back after a break. In the real world, the professor announces a break, and gives a time to be back. When the time is over, she can actually see how many students are back to the classroom. In contrast, in an online course, we usually specify that students should not disconnect their computers, so at the end of the break, we find ourselves staring at those black, silent screens, not knowing whether the students are actually back. One solution is to make a chat call (“please type ‘back’ when you have returned to your computer”). At times, it really feels like we are in a Turing test: the remote correspondent answers us, but we’re not sure whether it is a human being or a chat-bot (i.e. an artificial intelligence programmed to respond to chat messages)!

Scripting, in order to control time and uncertainty

Real-life multi-task improvisation

In the case of an online course, we need to do much more detailed scripting. Indeed, in a face-to-face class, we can rely on our competence as experts in our field, allowing for digressions and improvisations. In other words, we are like jazzmen, relying for a part on their sheet music, but also mastering our instrument so well that we can improvise an exercise on the fly, or set up a situation or an explanation that are contingent to whatever is happening in the room at that moment. Comparatively, and for all the reasons mentioned above, the online course will make us run many more risks when we try to improvise. Teaching online then becomes a strategy for managing – and in this case, minimizing – the risks of a failed experiment.

Here are some metrics that we have observed. In a face-to-face course, a 3-hour session is generally broken down into 3 to 5 parts, with elastic timing: nothing is really written down, it really depends on the interactions with the students, and the key priority is to finish on time, having dealt with all the parts that we had planned. In comparison, a 3-hour online course session is usually scripted with at least fifteen different sequences: instructions on the online tools that will be used, round table to greet each other, a first survey to test the level of knowledge of a concept, then lecture on a concept with 3-4 shared slides, then work in small groups for 10 minutes followed by a collective debriefing, etc. In fact, the same happens in the real world: if an observer were present during a face-to-face class, she would probably identify between 15 and 30 distinct sequences in the 3 hours of the class. But the major difference lies in the scripting: in real life, sequences just happen, some of them being improvised on the fly, whereas in an online course, sequences have to be neatly planned and prepared, with the associated tools (survey application, shared documents, links to videos…), and this requires a much more detailed written script.

We can conclude on a positive note: of course, online courses will exacerbate the characteristics of the classroom courses, but this exacerbation does not always go in a negative direction. Co-teaching, for example, leads to a positive amplification in an online course. Co-teaching in a face-to-face course represents a very pleasant moment of sharing between colleagues, but when it comes to online teaching, doing the course together with a colleague will definitely change a lot of things for the better: we can literally unload some of our burden on our colleague for certain parts of the course; it allows us to work in parallel on side issues (answering the chat, preparing a survey), and students benefit from a live broadcast of the discussion between 2 experts, a bit like when attending a TV show. Not only is it an enriched experience, but it is also an opportunity to consume much less energy than being alone in front of the screen.

After class

After hours

Once a class is over, there are usually many things to do. As for face-to-face courses, this means answering questions by e-mail, posting additional documents or even writing clarifications and guidelines. In the case of online courses, there are at least 2 additional elements that will add service time. First, it will be necessary to retrieve and format the fruit of the students’ work online: whether it is the results of surveys, contributions made in collaborative documents or the structuring of ideas made by the teacher in the form of a mind maps, all the elements that have been produced live during the class must be retrieved, formatted, and delivered electronically to the students. Comparatively speaking, in a face-to-face class, each student is responsible for the notes he decides to take (or not to take), and the professor is not a notes provider. In other words, for a face-to-face class, the professor only needs to write a PowerPoint presentation before the course; in an online course, the professor will need to write two PowerPoint presentations: one before the course, and one after the course. The second service element specific to the online course has to do with time, in the form of asynchronicity. Indeed, while many students will attend the online course live (synchronous), other students can choose to view the recorded video of the course. Some may do this the day after the live session, others may take a week or more before logging in and watching the course. This means that service requests (questions, clarifications…) will take a longer period of time, depending on when the student actually watched the course video.

You are my best Self

Conclusion

We started this article on a tensional question: should we strive to make an online course as a carbon copy of its face-to-face equivalent, or should we instead shift the frame of reference, considering that the online course is a separate product with different codes and expectations? In short, identical twins or siblings? Our angle of analysis has been to show that, from experience, online courses tend to increase / exaggerate / amplify the problems of face-to-face courses. In our opinion, those are really two different mediums that no longer need to be compared point by point, but rather appreciated in their differences. The face-to-face class is similar to a theater play (for lecturing) or a board game (for animation / discussion / experience). The online course finds its analogies rather in a radio show (for lecturing) or in a music festival like Woodstock: the precise planning is decided in advance, the timing is rigorous… and even if we don’t know exactly which technical problems will arise or which pieces the different musicians will play, the performance will be recorded and preserved. After theatre (the 3rd art), rhetoric (the 5th art) or cinema (7th art), will the online courses also become an art in their own right?


[1] Interestingly enough, when the students were sent in small groups to « private rooms », they would switch their cameras on for each other – and they would switch them off again when regrouped in the whole class.

Publié dans In English, Informatique et Internet, Prof, Réflexions, travail | Laisser un commentaire