Как спасти язык, который может исчезнуть из цифровой среды: Борис Орехов о башкирских электронных ресурсах
В рамках II Международного научного форума «Региональная энциклопедистика в контексте современных инновационных вызовов», приуроченного к 35-летию Академии наук Республики Татарстан (Казань, 14–16 октября 2026 г.), на круглом столе «Цифровые технологии в гуманитарных науках: опыт и перспективы развития» выступил Борис Викторович Орехов, сотрудник Национального исследовательского университета «Высшая школа экономики» (Москва).
Доклад был посвящен теме «Опыт создания башкирских электронных филологических ресурсов: стандарты, разметка, обвязка». Материалы выступления доступны в открытом виде: тезисы опубликованы в сборнике форума (https://nevmenandr.github.io/portfolio/assets/pdf/bashres_enc.pdf), а слайды презентации выложены отдельно (https://nevmenandr.github.io/slides/2026-10-14/slides.pdf).
Два проекта, одна задача
Б. В. Орехов обобщил опыт двух проектов, реализованных под его руководством на материале башкирского языка. Первый — Башкирский поэтический корпус, запущенный в октябре 2013 года и ставший вторым поэтическим корпусом в России после корпуса в составе Национального корпуса русского языка. Он включает 17 895 стихотворений 103 авторов, 468 456 стихотворных строк и 1,77 млн словоупотреблений, охватывая всю башкирскую поэзию XX века. Второй — электронное научное издание «Фольклорный архив Башкирского государственного университета» — полнотекстовая коллекция фольклорных записей, сделанных в экспедициях с 1940-х годов по настоящее время.
Докладчик подчеркнул, что задача создания национальных и региональных электронных ресурсов имеет два измерения: собственно филологическое (оцифровка и научная публикация текстов на языках народов России с ограниченным объемом книжно-письменной традиции) и инфраструктурное (выбор форматов хранения, стандартов разметки и набора сервисов, делающих коллекцию пригодной для исследовательской работы).
Стандарты публикации: TEI и текстологическая строгость
На материале фольклорного издания были рассмотрены вопросы стандартов. Принципиальная позиция составителей состоит в том, что тексты публикуются в том виде, в каком они зафиксированы в архиве: редакторская и литературная правка не производится, за исключением исправления явных ошибок; сохраняются орфография и пунктуация источников. Тем самым на электронную публикацию переносятся нормы текстологии, выработанные для академического издания.
Техническим выражением этого принципа стал экспорт текстов в формат XML в соответствии со стандартами консорциума TEI (Text Encoding Initiative). Выбор TEI мотивирован тем, что это рекомендуемый научным сообществом формат филологических электронных публикаций, обеспечивающий, с одной стороны, машиночитаемость, а с другой — долговременную сохранность и переносимость данных между платформами. Для изданий, которые формируются десятилетиями и переживают смену технологических эпох, это обстоятельство оказывается решающим.
Докладчик отметил важный ориентир издания — Фундаментальную электронную библиотеку «Русская литература и фольклор» (ФЭБ), однако отличие от нее принципиально: если ФЭБ представляет преимущественно материалы, уже прошедшие бумажную публикацию, то архив БашГУ открывает доступ к архивным записям, которые до сих пор были доступны только специалистам. Электронная форма здесь не дублирует печатную версию, а вводит в научный оборот новый материал.
Разметка поэтического текста
Второй ресурс — Башкирский поэтический корпус — ставит перед исследователем задачи, отличные от задач фольклорного архива. Здесь недостаточно опубликовать текст: необходимо обеспечить поиск с учетом лингвистических и стиховедческих параметров. Для приобретения статуса поэтического корпуса недостаточно создать поиск по электронной коллекции стихотворных текстов — важна специфическая стиховедческая разметка, отражающая формальные показатели стиха.
Относительно небольшой объем книжной поэтической традиции, который для многих европейских языков был бы недостатком, здесь оборачивается преимуществом: значительную часть корпуса можно оцифровать и обработать полностью, что позволяет делать вполне уверенные выводы об устройстве версификационной системы в целом.
Морфологическая разметка башкирского текста потребовала разработки собственного анализатора. Современные подходы, основанные на машинном обучении, предполагают наличие размеченной вручную обучающей выборки, которой разработчик не располагал; поэтому был реализован подход, опирающийся на правила башкирской агглютинации. Его основу составляют грамматический словарь и формализованное описание словоизменительной системы языка. Существующий печатный «Грамматический словарь башкирского языка» не мог быть использован напрямую: его объем (около 20 000 лексем) недостаточен, а кроме того, он содержит значительное число опечаток и непоследовательностей. Программа движется от конца словоформы к ее началу, последовательно отсекая графемы и сопоставляя их с вариантами аффиксов из репертуара башкирских морфологических показателей, после чего остаток сопоставляется со словарем корневых морфем. На материале корпуса объемом 1,77 млн слов было получено 122 600 «неуверенных» разборов — случаев, когда цепочка аффиксов выделяется, но корневая морфема в словаре отсутствует; такие случаи характерны прежде всего для имен собственных и заимствований.
Третий уровень — метрическая разметка. Именно она превращает электронную коллекцию стихов в собственно поэтический корпус. Поиск в таком корпусе позволяет находить слова и конструкции в строках определенного размера, что открывает возможность количественного изучения башкирской версификации: основную роль в башкирском стихосложении XX века играют силлабические формы фольклорного происхождения — узун-кюй и кыска-кюй.
Язык разметки VML
Опыт работы с поэтическими текстами выявил потребность в языке разметки, который, с одной стороны, был бы достаточно строг для автоматической обработки, а с другой — оставался бы доступным филологу без специальной компьютерной подготовки. Универсальные языки (HTML, XML, Markdown) не фокусируются на специфических элементах поэтического произведения, значимых для формального и квантитативного анализа. Это привело к необходимости разработки собственного языка VML (Verse Markup Language) — минималистичного языка разметки поэтических коллекций.
Цель VML — обеспечить однозначное разграничение функционально различных частей стихотворного текста при его цифровой фиксации. Язык позволяет явно маркировать имя автора, заглавие и подзаголовки, эпиграф, стихотворную строку, строфу, дату написания, нестандартные формы записи строки («лесенку»), стихотворный цикл, а также базовые характеристики поэтической метрики. Обязательных элементов всего три: тег автора, тег инципита и символ переноса строки. Такой минимализм соответствует принципу «ненавязчивости» разметки: она не загромождает поэтический текст и сохраняет его удобочитаемость для человека.
Существенно, что синтаксис VML универсален и не привязан к конкретному естественному языку, системе стихосложения или национальной традиции. Это делает его применимым для разметки стихотворных произведений независимо от их письменности, а также для аннотирования текстов, созданных как человеком, так и искусственным интеллектом. Спецификация VML 1.0 и эталонные парсеры распространяются под свободной лицензией Apache 2.0. В перспективе подобный язык мог бы использоваться и в региональных энциклопедических проектах — для унифицированного представления поэтических цитат.
«Обвязка»: сервисы для исследователя
Третий аспект, который докладчик назвал принципиально важным и часто остающимся в тени, — это «обвязка», то есть совокупность навигационных и поисковых сервисов, не являющихся содержательным контентом, но обеспечивающих работу с ним.
В фольклорном архиве БашГУ реализован следующий набор сервисов. Во-первых, интерактивное оглавление, позволяющее выстраивать опубликованные тексты в удобном пользователю порядке — группируя их по заглавию, жанру, году или месту записи; по щелчку на заголовке столбца порядок меняется на прямой или обратный. Докладчик отметил, что сейчас трудно кого-то удивить такими элементами интерфейса, но нужно учитывать, что издание создавалось в 2011 году. Во-вторых, автоматически составляемый указатель словоформ: каждую словоформу сопровождают данные о ее частотности и ссылка, по которой можно посмотреть все контексты употребления формы в издании, причем со страницы контекстов можно перейти непосредственно к тексту, где искомая словоформа будет подсвечена. Имеется также специальный словарь частотности словоформ; указатель обновляется автоматически и не зависит от графика добавления новых текстов.
В-третьих, к каждой публикации приложены интерактивные карты с отмеченным на них местом записи текста, созданные на основе сервиса Google Maps. За визуальным планом стоят данные о географических координатах, это открывает возможность наложения на координатную сетку самых разных филологически релевантных параметров — мотивов, грамматических форм, диалектных словоформ. Вычисляя разницу между координатами и группируя их, можно составить карту распространенности мотивов и словоформ по всему ареалу башкирского языка, что в перспективе дает автоматически составляемый фольклорный и диалектологический атлас.
В-четвертых, сервисы позволяют строить автоматически генерируемые таблицы и графики распределения текстов по районам записи и жанрам, а также автоматически оформлять библиографические ссылки в соответствии с ГОСТ 7.0.5-2008. Последнее особенно существенно для энциклопедических и справочных проектов, где точность библиографического описания входит в число базовых требований.
Техническая реализация конкорданса заслуживает отдельного описания, поскольку она нетипична для современной практики. Словоформенный указатель и связанные с ним страницы контекстов были сгенерированы заранее, на локальном компьютере, с помощью Perl-скрипта, который не входит в публичный репозиторий проекта. Скрипт выполнял токенизацию текстов, извлекал уникальные словоформы, подсчитывал их частоты, генерировал HTML-страницу для каждой словоформы со ссылками на контексты и выстраивал перекрестные ссылки между текстами и словоформами. Готовые HTML-файлы загружались на сервер; сам сервер не производил никаких вычислений, а лишь отдавал статические файлы. Именно поэтому издание состоит на 99,9 % из HTML и лишь на 0,1 % из PHP: единственный PHP-файл выполняет минимальные служебные функции, не связанные с поиском.
Такой подход имеет очевидные следствия. С одной стороны, поиск по указателю работает быстро и предсказуемо, поскольку все страницы контекстов уже существуют в виде готовых файлов. С другой стороны, указатель не обновляется «на лету»: добавление нового текста превращается в трудоемкую процедуру — необходимо исправить исходный файл, заново запустить скрипт локально и загрузить на сервер заново сотни, а возможно, и тысячи HTML-страниц, не нарушив при этом существующие ссылки. Именно поэтому генерационный скрипт, не опубликованный в репозитории, оказывается критически важным элементом инфраструктуры: без него воспроизведение сборки из исходных данных невозможно, а сам ресурс остается принципиально невоспроизводимым. Этот пример иллюстрирует общий тезис о том, что инфраструктура как код касается не только облачных решений, но и локальных скриптов обработки данных.
Риски утраты и инфраструктурные угрозы
Опыт обоих проектов позволил говорить о рисках, которые редко обсуждаются в методической литературе, но оказываются решающими для судьбы цифрового ресурса. Эти риски делятся на две группы.
Первая группа — угрозы физической утраты архивных материалов — хорошо иллюстрируется историей башкирских архивов. Одновременно с архивом башкирского фольклора, на основе которого создавалось издание, существовал архив башкирских диалектологических экспедиций университета. К тому моменту, когда была предложена стратегия оцифровки университетских архивов, выяснилось, что диалектный архив исчез: по всей видимости, площади, которые занимали эти документы, понадобились для других дел, и от архива избавились. Сходным образом чуть было не погиб русский фольклорный архив, существовавший на кафедре русской литературы и фольклора: коллеги вовремя заметили мешки у мусорных баков на территории университета и обнаружили в них папки с материалами фольклорных экспедиций. Русский архив успели спасти, материалы башкирских диалектологических экспедиций — нет. Эти примеры показывают, что оцифровка дает возможность сохранить то, что может в какой-то момент оказаться ситуативно лишним.
Вторая группа рисков связана с судьбой самого цифрового ресурса. Фольклорный архив БашГУ изначально размещался на сервере лаборатории компьютерной филологии. Сервер отключался несколько раз; со временем изменились стандарты безопасности, и получить к нему доступ извне сети университета стало практически невозможным. Каждое включение требовало физического присутствия в IT-отделе университета, что было затруднительно для автора, к тому времени уже переехавшего в другой город. В конечном счете удалось добиться кратковременного включения сервера, и все содержимое было скопировано на локальный компьютер, чтобы затем развернуть ресурс по новому адресу. Однако и текущее размещение нельзя считать окончательным решением проблемы: сейчас фольклорный архив доступен на личном сайте автора; когда этот сайт по естественным причинам перестанет функционировать, исчезнет и электронный архив. Сохранение ресурса требует более административно последовательной инициативы, чем поддержка персонального сайта. Этот пример показывает, что институциональная поддержка цифрового проекта не сводится к разовому решению о его создании: она должна включать долговременную стратегию хостинга, резервного копирования и передачи ответственности.
Оцифровка и большие языковые модели
Докладчик также затронул измерение проблемы, которое в 2010-х годах еще не осознавалось с сегодняшней остротой. В эпоху больших языковых моделей (LLM) в выигрышном положении оказываются те языки, для которых в электронном виде доступны большие объемы текстов. Языковая модель учится на том, что доступно ее разработчикам; язык, представленный в цифровой среде фрагментарно, оказывается и в моделях представлен фрагментарно, а значит, и в тех сценариях, где такие модели используются — от машинного перевода до справочных систем, — его позиции слабее.
На башкирском языке есть много текстов, но они, к сожалению, не переведены в электронный вид: газеты, журналы, книги, издававшиеся десятилетиями. Систематическая оцифровка этих массивов предлагалась в 2010-х годах, но предложение не было услышано. Теперь время и возможности во многом упущены: оцифровка такого объема требует иных ресурсов и иной институциональной воли, чем те, которыми располагали энтузиасты пятнадцать лет назад. Этот пример — еще один аргумент в пользу того, что решения об оцифровке не являются нейтральными и отложимыми: упущенное окно возможностей закрывается, и цена его закрытия измеряется не только в человеко-часах, но и в позиции языка в цифровой среде.
Выводы
Опыт двух башкирских ресурсов позволил сформулировать несколько выводов, значимых для стратегии внедрения цифровых инструментов в область региональной истории и сохранения языкового разнообразия народов России.
Первый вывод касается стандартов. Ориентация на TEI при публикации текстов и на открытые лицензии при разработке инструментов обеспечивает долговременную сохранность и переносимость данных. Для проектов, которые формируются десятилетиями, это не формальное требование, а условие выживания.
Второй вывод касается разметки. Для миноритарного языка с ограниченным объемом книжной традиции корпусный подход оказывается не роскошью, а методологически продуктивной стратегией: относительно небольшую традицию можно обработать полностью и получить выводы, недоступные при традиционном «медленном чтении» отдельных текстов. При этом разработка собственных инструментов — морфологического анализатора, специализированного языка разметки VML — оказывается необходимой там, где готовые решения отсутствуют или ненадежны.
Третий вывод касается обвязки. Именно поисковые и навигационные сервисы превращают оцифрованную коллекцию в исследовательский инструмент. Указатель словоформ, конкорданс, частотный словарь и геоинформационные карты — это то, что отличает электронное научное издание от простого архива файлов и что делает его востребованным не только специалистами, но и преподавателями, краеведами, всеми интересующимися народным творчеством.
Четвертый вывод касается рисков. История обоих проектов показывает, что архивные материалы могут погибнуть, а цифровые ресурсы — потерять адрес и доступность. Оцифровка и долговременная инфраструктурная поддержка — не роскошь, а условие сохранения культурного наследия. Наконец, в эпоху больших языковых моделей наличие оцифрованных текстов становится фактором, определяющим представленность языка в цифровой среде; упущенные возможности оцифровки оборачиваются ослаблением позиций языка в технологиях будущего.
Выступление Б. В. Орехова вызвало живой интерес участников круглого стола, поскольку предложенные подходы — ориентация на открытые стандарты TEI и Apache 2.0, разработка специализированного языка разметки VML, создание «обвязки» из поисковых и навигационных сервисов, а также осознание инфраструктурных рисков — напрямую применимы к задачам региональной энциклопедистики и сохранения культурного наследия народов России.
