Étiquette : statistiques

On a pu se rendre compte ces dernières années que deux parcours pouvaient amener à créer des bibliothèques numériques. D’une part, les bibliothèques, qui conservaient, acquéraient et diffusaient des données sur divers supports et ne voyaient pas pourquoi ils ne le feraient pas en ligne. D’autre part, Google, qui cherchait et mettait en ordre l’information sur internet et ne voyait pas pourquoi ils ne le feraient pas dans les livres anciens également.

Ce n’est pas le lieu ici d’évaluer qui le fait le mieux. Mais une chose est sûre : plus les masses de données deviennent gigantesques, plus le moteur de recherche devient important. Et, en cela, Google possède un gros avantage sur Gallica.

En faisant tourner ses robots sur une (grosse) sélection de livres, Google peut donc obtenir des données statistiques de tout premier ordre. Car le corpus est énorme : 5 200 000 ouvrages, soit plus de 500 milliards de mots, nous annonce Google. Passionnant pour l’étude de l’usage des langues, donc. Un matériau dont on peut sortir des centaines de thèses et d’articles et dont on parlait déjà… en 2006.
Google annonce dans l’article de Science que ses chercheurs ont publié avec d’autres de Harvard, du MIT, de l’Encyclopaedia Britannica et de l’Houghton Mifflin Harcourt que cela représente 4% de l’ensemble des livres publiés dans le monde depuis l’invention de l’imprimerie. Je ne m’étends pas sur l’analyse de cette annonce puisqu’on trouve bien des éléments chez Veronis, Affordance, LanguageLog, Hubert Guillaud, etc, etc.

Le fait est d’autant plus intéressant que, non seulement Google ne vend pas ces données mais les place même sous une licence Creative Commons BY, la plus permissive qui soit. C’est à dire que, contrairement à Gallica, elle les ouvre entièrement et en permet la réutilisation la plus large, y compris commerciale. L’idéal si l’on veut que ses données soient réellement réutilisées et permettent des usages imprévus et innovants.

Mais… il y a un « mais ».

Et le lièvre gît bien sûr dans la typographie ancienne. Voici une lettre prise au hasard dans l’édition montbéliardaise (1676) de celles d’Arnauld d’Andilly :

III. Iìa un Prinee, Jy| ONSEIGNEVR,
Ie laí/îc à Mr. à vous mander particulierement les íêntiments de vos Amis , & de vos seruiteurs sur ce qui vous touche , dont ie l’ay entretenu à loiiir. Si le Comte de Mansseld n’entreprend rien contre la France, ce diicours est du tout inutile: Mais s’il afsiege quelque place, & que vous puiíîìez vous jetter de. dans auec moyen de la desendre ; il n’y aura que ceux qui enuieront vostre valeur, qui manqueront à loiier vostre action. Ie sçav bien que quand vous ne le seriez pas , vous n’en sçaun’ez «stre blàsmé, puis que vous n’auez point d’employ qui vous y oblige. Mais si vostre gencroíìte demeuroit dans les bornes des deuoirs ordinaires , eile ne meriteroit ny des louanges extraordinaires, ny la gloire que vous auez d’estre en plus grande estime dans ì’eíprit des gens dç »nerite , par la consideration de vostre vertu, que par celle de vostre naifsance , qui n’auroic pas seule le pouuoir de me rendre aufïî venta »* hlemenc que ie le suis

On comprend vite que faire des statistiques lexicales sur un tel texte est une entreprise audacieuse. Voire absurde.
Il ne sert donc de rien d’améliorer le traitement des données tant que l’on n’aura pas amélioré les données elles-mêmes : il est de toute première instance que les OCR fassent des progrès sur les typographies anciennes.

Pour illustrer le propos, un unique exemple – cher à tous les wikisourciers – l’ſ. L’ « s long », donc, qui trouve place à l’intérieur des mots tandis que notre « s rond » se place à la fin. Cette ſ, de forme inhabituelle pour l’œil actuel, est pris pour une f par les OCR. Google nous permet donc d’obtenir de très belles statistiques sur les mots « eft » ou « prefque »…

Outil à prendre pour l’instant avec des pincettes sur les textes anciens, donc… Remarquons tout de même que pour étudier l’usage de l’s long, c’est pas mal du tout (disparition plus tardive que ce que je pensais).