Лев Толстой под микроскопом цифры: что рассказала о нём векторная модель

Если вы когда-нибудь задумывались, можно ли «измерить» семантику идиостиля писателя математически, — ответ лежит на Hugging Face. Два года назад там появилась модель w2v-russian-tolstoy, и для digital humanities это не просто очередной файл с весами, а настоящий конструктор смыслов.

В чём тут прорыв? Автор (Борис Орехов) взял 90 томов Толстого — 7,8 млн слов — и превратил их в две векторные модели (Skip-gram и CBOW). Это позволило не гадать, а вычислить, как конкретные слова живут в мире писателя, и сравнить их с общеязыковым употреблением (по данным Национального корпуса русского языка).

Что именно удалось увидеть?

«Любовь» — не то, чем кажется.

В обычном языке слова «обожать» и «боготворить» — почти синонимы любви. А у Толстого — нет. Модель показала, что они находятся совсем далеко от «любви» по смыслу. И действительно, в текстах писателя эти глаголы часто сопровождают иронию или указание на непостоянство чувства. Истинная любовь — одна, а всё остальное — лишь её бледные подобия. Интуиция филологов получила численное подтверждение.

«Поле» — не про войну.

Казалось бы, автор «Войны и мира» — гений батальных сцен, и слово «поле» должно ассоциироваться со сражениями. Однако ближайшие соседи этой лексемы в модели — «пахота», «пашня», «луг». Для Толстого поле — это прежде всего место труда и природы, а не битвы. Даже на Бородинском поле его герой Андрей Болконский ходит по лугу подле овсяного поля — и модель это улавливает.

Есть слова, в которых Толстой «не оригинален».

Сравнив 34 тысячи общих лексем, исследователи нашли те, чья семантика у Толстого почти не отличается от общерусской. Среди них — «таинство» и, что неожиданно, «социалист». Оказывается, контексты этого политического термина у Толстого удивительно стабильны и близки к корпусной норме — несмотря на всю бурную историю XX века.

Почему это важно для науки?

Этот кейс — яркий пример того, как дистрибутивная гипотеза («слово узнаётся по компании, которую оно водит») начинает работать на материале классической литературы. Метод не заменяет традиционную лексикографию, но становится её мощным дополнением. Он позволяет:

• проверять исследовательские гипотезы на полном корпусе, а не на выборочных цитатах;
• выявлять скрытые оппозиции в авторском сознании (истинное vs ложное, своё vs общее);
• открывать неожиданные грани знакомых текстов.

А главное — вся цепочка расчётов и данных открыта: от кода предобработки до обученных моделей. Это образец воспроизводимой науки в гуманитарной сфере.

Для всех, кто работает с историей слов, идиостилем или корпусной семантикой, w2v-russian-tolstoy — это инструмент, который стоит взять на вооружение. И, судя по результатам, Толстой ещё удивит нас, когда мы зададим ему правильные «математические» вопросы.

Источники

• Модель: Орехов Б. В. w2v-russian-tolstoy (Revision cd1317b). Hugging Face, 2024.
  URL: https://huggingface.co/nevmenandr/w2v-russian-tolstoy.
  DOI: 10.57967/hf/2558.
• Исследование: Орехов Б. В. Индивидуальная семантика Л. Н. Толстого в свете векторных моделей // Terra Linguistica. 2023. Т. 14. № 4. С. 119–129.
  DOI: 10.18721/JHSS.14409.
  URL: https://human.spbstu.ru/userfiles/files/articles/2023/4/119-129.pdf.