Студенты использовали GitHub Copilot для расшифровки древних текстов из пепла Везувия

В марте 2023 года группа ведущих технологов организовала Vesuvius Challenge — соревнование по расшифровке папирусов Геркуланума, захороненных после извержения Везувия 2000 лет назад. Из-за карбонизации эти свитки невозможно было вскрыть без повреждения.

Брент Силс, профессор информатики из Университета Кентукки, объяснял, что для расшифровки будет использоваться технология виртуального разворачивания свитков. Она существует уже несколько десятилетий, но в 2015 году произошёл прорыв, который позволил прочитать на них отдельные буквы. Учёные использовали томографию и рентгеновские лучи, но когда дело дошло до текстов Геркуланума, технология не сработала. «Мало того, что к этим свиткам было трудно применить виртуальную развёртку, чернила не сразу проявлялись на сделанных сканах, и нам нужен был подход на основе искусственного интеллекта, чтобы увидеть их», — объяснял Силс.

После того, как учёные сделали сканы папирусов Геркуланума, технологи со всего мира приступили к их анализу. Юсеф Надер, Люк Фарритор и Джулиан Шиллигер объединились на сервере Discord конкурса. Люк ранее выиграл премию First Letters Prize и обратился к Юсефу, которого знал по конкурсу, где тот занял второе место. Если первый работал над сегментацией и анализом, то второй создавал модели обнаружения ИИ. Джулиан же совершил прорыв в автоматизации сегментации, активно применяя GitHub Copilot. Именно эта работа помогла ему, применив ИИ, сегментировать около 1600 см² свитков, а затем команда смогла прочитать их названия.

Фарритор же использовал графические процессоры Nvidia GeForce GTX 1070, чтобы восстановить фрагмент древнего текста. Он задействовал возможности параллельной обработки графического процессора для ускорения работы структуры глубокого обучения ResNet. Это алгоритм машинного обучения, который базируется на использовании микроскопических различий в рельефе и текстуре листов свитков. Вскоре Юсеф Надер самостоятельно обнаружил то же самое слово в той же области, причём с ещё более чёткими результатами.