В качестве интервьюеров выступили студенты первого курса Иван Зайцев (Б) и Дарья Пономарёва (В)
Экспертное мнение приведено Вадимом Анатольевичем Филипповым (А), генеральным директором ООО “ОКАС”
Б: Мы исследуем феномен генерации нейросетями текстов в стилях некоторых русских писателей: Николай Васильевич Гоголь, Егор Летов. В качестве аргументации к нашим выводам нам бы хотелось узнать ваше экспертное мнение по поводу стихописательных нейросетей и нейросетей, которые занимаются генерацией прозаических текстов.
А: А что такое стих, стихосложение? Из каких признаков состоит стиль?
В: Рифма.
Б: Стиль, в узком смысле, может состоять из определенных… темпов
А: Что такое рифма?
В: Рифма для меня – сочетание звуков, выстроенное в определенном порядке
А: …в тексте букв. А в звуке – омофоны и тоны, да?
В, Б: Да.
А: Итак, рифма – это определенное сочетание букв. А что вы сказали по поводу стиля?
Б: Я использовал такое слово как темпы, имея в виду некое особое звучание стихов автора, которое может наполняться смыслом.
А: В тексте нет темпа, да? Или есть?
В: Смотря, какие проекты взять. Все они отличаются своей смысловой нагрузкой.
А: Хорошо, мы выяснили, что такое рифма. Это определенное сочетание букв. Вы можете добавить что-то ещё по поводу стиля? Что это такое?
В: Возможно, стиль – это уникальный почерк автора, по которому его можно узнать.
Б: В моём понимании, стиль – это какие-либо отличительные особенности автора.
А: На самом деле вы используете слова абстракции, которые много чего значат и сами по себе не значат ничего. Я хочу, чтобы мы раскрыли аттракторы более нижележащего уровня, которые образуют эти ваши понятия: “стиль”, “почерк”, “отличительные особенности”.
В: Под этим я имею в виду моменты, когда ты, к примеру, можешь прочитать определенный текст и понять, какому автору он принадлежит.
А: Окей, это уже ближе. А текст – это что такое? Из чего состоит текст?
В: Текст – это набор слов.
Б: Текст – это целая структура, которая передает смысл.
А: Всё-таки, по большему счету, текст – это определенный набор слов. Мы узнаём автора по определенным словам и сочетаниям этих слов. А сочетание слов – это последовательность (как слова идут друг за другом). Правильно?
В, Б: Да.
А: Это все – элементарные задачи для нейросетей. Сейчас на рынке манифестируют на нейросети, так называемого, глубокого обучения. Они делятся на два больших класса: конволюционные и рекурентные сети. Рекурентные сети анализируют, что за чем идёт. Они анализируют последовательность. У них есть определенная глубина. Например, когда мы с вами думаем, то у нас одно слово может вызвать в памяти другое. Эти два – третье. Эти три – строго определенное четвертое. Эти четыре – пятое. У нас есть ассоциативное основание и ассоциативная мишень, которая активируется. В последующем этапе ассоциативная мишень сама входит в состав ассоциативного основания и этот наш ассоциативный паровозик по нашим кортикальным колонкам, по нашим ассоциативным картинам двигается дальше, вызывая новые и новые ассоциации. Этим же занимаются конволюционные и рекурентные нейросети. Они запоминают последовательность и определяют вероятность, с которой следующее слово, запятая или целые предложение и абзац пойдут за предыдущими фрагментами. Они реконструируют последовательность. Это во-первых. Во-вторых, они, действительно, при анализе текста, каждому фрагменту присваивают определенный индекс вероятности, с которым он встретится. Соответственно, если мы берем корпус текста какого-то автора, разбиваем его на строчки, включаем датасет и учим нейросеть, то, во-первых, она осваивает определенный словарный состав и примерный словарный запас. Во-вторых, она учится ставить эти слова в определенной последовательности. Для нейросети это не несет никакого смысла. Смысл есть у нас в данном случае, то есть, какие-то ассоциации, которые она вызывает. Но использовать определенные слова, определенные последовательности нейросеть учится элементарно. Рифма, как вы правильно заметили – это просто-напросто определенное сочетание букв. Это все легко фиксируется, потому что нейросеть, в отличие от нас с вами, может фиксировать десятки миллионов параметров. Поэтому, рифма – это, просто-напросто, тоже определенная последовательность. Соответственно, сетка осваивает словарный состав, последовательность и, конечно, воспроизводит определенные тексты. Проблемой у нейросети, я бы сказал, на мезоуровне, является понимание макросмысла, общей идеи, которые автор вкладывает в произведение, но мы часто не видим этих огрехов, во-первых, потому что все неудачные варианты вам не показывают, а во-вторых, потому что, заимствуя определенный состав слов и их последовательности, сетка на самом деле, близка к смыслу.
Б: Ну а что делать, если те эксперименты, которые нам уже показали, могут восприниматься и как удачные, и как неудачные. Если взять, например, определенный отрезок текста, который очевидно является неудачным, можем ли мы судить, что нейросети не то что на мезороуровне не справляются со смыслом, но уже и по итогам работы, они не могут вложить то, что вложил бы настоящий автор?
А: Я думаю, да. Вот у нас филологи любят работать. Я не знаю, встречались ли вы с этим или нет, но я с таким не встречался. Вот они говорят: “А какой запас слов у человека?”. Они берут произведение: полное собрание сочинений Пушкина, полное собрание Ленина и начинают считать слова. Они считают все слова. И вот они говорят, что у Ленина словарный запас, к примеру, 55 тыс., а у Пушкина ещё столько-то. Это, соответственно, полная чушь, потому что это слова, которые они просто употребили. Если взять реальный словарный запас языка, то мы обнаружим, что у нас только порядка 10 млн. терминов, 2 млн. топонимов, 800 тыс. фамилий и имен, а ещё формы склонений и спряжений. И когда мы реально начинаем считать, то реальная размерность языка составляет примерно 300 млн. словоформ. Средняя длина предложения – это примерно 17 слов, если абстрагироваться от стиля. Получается, что только позиционных перестановок выходит 10140 вариантов. Это всевозможные метафоры, литоты, если не больше. Также мы насчитываем примерно 82 типа семантической комбинации. Соответственно, в голове у носителей языка – поэтов и прозаиков – это все есть. Поэтому, датасеты, то, что они выдали на гарант, - абсолютно недостаточны. Это очень маленькие объёмы.
Б: То есть, степень обученности нейросетей определяется именно объёмом их корпуса?
А: Да. И добросовестностью соображений Data Science, дата-инженеров, которые этому учат. То есть, грубо говоря, могут потерять какие-то грамматические конструкции, могут, например, больше примеров, чем надо, определенного типа представить. Конечно, в таком случае, ошибки будут грубыми и сильно заметными.
Б: Хорошо. Нам необходим ваш ответ по поводу ещё одного момента для более глубокого понимания работы нейросетей. В ходе нашего исследования мы задались вопросом: “Нейроны – это какая-то логическая структура внутри компьютера или это какие-то отдельные физические компоненты?”.
А: Вы имеете в виду искусственные нейроны?
В, Б: Да.
А: А вы знаете, есть совершенно разные модели. Есть и так, и так. Во-первых, есть разные парадигмы нейросетей. Допустим, биоморфные нейросети модулируют кортикальную колонку мозга человека. Вот они довольно точно модулируют нейрон как физический объект. Например, там модулируется частота потенциала действия заряда нейронного накопления, аксональная фасилитация (наша краткосрочная память: мысль мелькнула, мы ее не успели записать и её приходится заново восстанавливать). (суть в том, что этими нейросетями довольно подробно модулируется механизм краткосрочной памяти). В нейроморфных сетях это позволяет нейросетям учиться буквально за один пример, за одно определение. В данном случае, нейрон – это вполне себе отдельный объект, который моделируется как определенная ячейка. Обычно эти нейросети используются как графовые сети. По сути дела, это мало отличается от схемотехники, по большому счёту. Более того, эти нейросети могут переноситься напрямую и на аппаратное устройство. Допустим, на мемристоры. Это первый подход. Второй подход – это когда сеть представляет собой набор математических абстракций, математических векторов. В данном случае они были, скорее, просто в последовательности вычислительных функций.
Б: Возвращаясь к теме проявления нейросетей в литературе, мы зададим ещё один вопрос. Возможна ли в будущем осмысленность нейросетевых текстов?
А: Безусловно возможна. Есть, наверное, три уровня актуальности генерации текста, на мой взгляд. Наша компания идет сейчас на втором. Мы ежедневно генерируем более миллиона ответов. То есть, мы сегодня присутствуем в социальных сетях, мессенджерах, на корпоративных сайтах и так далее. Мы генерируем очень большое количество ответов, высказываний, спорим с людьми, причём они часто и не подозревают, что это наши системы генерируют ответы. Вот первый способ, на основе, как я уже сказал, рекурентных нейросетей глубокого обучения, которые сейчас манифестируют на рынке, не имеет никакого осознания. Там идёт вопрос, и нейросеть из обучения знает, какой ответ скорее всего с этим вопросом обычно связан. То есть, она распознала тип вопроса и даёт тот же тип ответа. Это одно из проявлений классификации. Вторая функция нейросетей – это кластеризация. Это когда система сама относит входящие стимулы к различным классам по неким базовым критериям. Например, зелёненькое – к зелёненьким, длинное – к длинным, длинное зелёненькое – к длинным зелёненьким, короткое зелёненькое – к коротким зелёненьким и т.д. Третий, более продвинутый момент – это выделение сущности – когда отдельная нейросеть выделяет субъект высказывания, отдельная нейросеть выделяет действие этого субъекта, отдельная нейросеть определяет, на какой объект направлено действие, какие обстоятельства и определение у этого действия и так как каждая сетка это понимает, то мы четко рефлексируем, где объект, где субъект, что он делает и когда мы синтезируем ответ, мы по определенным правилам используем субъект-объектные отношения и, действительно, синтезируем ответ, приближаясь к более глубоко моделируемой работе мозга человека. Но те нейросети, которые сейчас находятся в разработке - биоморфные нейросети, моделирующие работу гиппокампа, работу коры и других отделов мозга – это сети, в которых появится логическое мышление.
Б: То есть, развитие осмысленного текста…
А: Будет достигнуто в ближайшие лет 5, примерно.
Б: Лишь при помощи этих самых биоморфных нейросетей?
А: Совершенно верно.
А: А что такое стих, стихосложение? Из каких признаков состоит стиль?
В: Рифма.
Б: Стиль, в узком смысле, может состоять из определенных… темпов
А: Что такое рифма?
В: Рифма для меня – сочетание звуков, выстроенное в определенном порядке
А: …в тексте букв. А в звуке – омофоны и тоны, да?
В, Б: Да.
А: Итак, рифма – это определенное сочетание букв. А что вы сказали по поводу стиля?
Б: Я использовал такое слово как темпы, имея в виду некое особое звучание стихов автора, которое может наполняться смыслом.
А: В тексте нет темпа, да? Или есть?
В: Смотря, какие проекты взять. Все они отличаются своей смысловой нагрузкой.
А: Хорошо, мы выяснили, что такое рифма. Это определенное сочетание букв. Вы можете добавить что-то ещё по поводу стиля? Что это такое?
В: Возможно, стиль – это уникальный почерк автора, по которому его можно узнать.
Б: В моём понимании, стиль – это какие-либо отличительные особенности автора.
А: На самом деле вы используете слова абстракции, которые много чего значат и сами по себе не значат ничего. Я хочу, чтобы мы раскрыли аттракторы более нижележащего уровня, которые образуют эти ваши понятия: “стиль”, “почерк”, “отличительные особенности”.
В: Под этим я имею в виду моменты, когда ты, к примеру, можешь прочитать определенный текст и понять, какому автору он принадлежит.
А: Окей, это уже ближе. А текст – это что такое? Из чего состоит текст?
В: Текст – это набор слов.
Б: Текст – это целая структура, которая передает смысл.
А: Всё-таки, по большему счету, текст – это определенный набор слов. Мы узнаём автора по определенным словам и сочетаниям этих слов. А сочетание слов – это последовательность (как слова идут друг за другом). Правильно?
В, Б: Да.
А: Это все – элементарные задачи для нейросетей. Сейчас на рынке манифестируют на нейросети, так называемого, глубокого обучения. Они делятся на два больших класса: конволюционные и рекурентные сети. Рекурентные сети анализируют, что за чем идёт. Они анализируют последовательность. У них есть определенная глубина. Например, когда мы с вами думаем, то у нас одно слово может вызвать в памяти другое. Эти два – третье. Эти три – строго определенное четвертое. Эти четыре – пятое. У нас есть ассоциативное основание и ассоциативная мишень, которая активируется. В последующем этапе ассоциативная мишень сама входит в состав ассоциативного основания и этот наш ассоциативный паровозик по нашим кортикальным колонкам, по нашим ассоциативным картинам двигается дальше, вызывая новые и новые ассоциации. Этим же занимаются конволюционные и рекурентные нейросети. Они запоминают последовательность и определяют вероятность, с которой следующее слово, запятая или целые предложение и абзац пойдут за предыдущими фрагментами. Они реконструируют последовательность. Это во-первых. Во-вторых, они, действительно, при анализе текста, каждому фрагменту присваивают определенный индекс вероятности, с которым он встретится. Соответственно, если мы берем корпус текста какого-то автора, разбиваем его на строчки, включаем датасет и учим нейросеть, то, во-первых, она осваивает определенный словарный состав и примерный словарный запас. Во-вторых, она учится ставить эти слова в определенной последовательности. Для нейросети это не несет никакого смысла. Смысл есть у нас в данном случае, то есть, какие-то ассоциации, которые она вызывает. Но использовать определенные слова, определенные последовательности нейросеть учится элементарно. Рифма, как вы правильно заметили – это просто-напросто определенное сочетание букв. Это все легко фиксируется, потому что нейросеть, в отличие от нас с вами, может фиксировать десятки миллионов параметров. Поэтому, рифма – это, просто-напросто, тоже определенная последовательность. Соответственно, сетка осваивает словарный состав, последовательность и, конечно, воспроизводит определенные тексты. Проблемой у нейросети, я бы сказал, на мезоуровне, является понимание макросмысла, общей идеи, которые автор вкладывает в произведение, но мы часто не видим этих огрехов, во-первых, потому что все неудачные варианты вам не показывают, а во-вторых, потому что, заимствуя определенный состав слов и их последовательности, сетка на самом деле, близка к смыслу.
Б: Ну а что делать, если те эксперименты, которые нам уже показали, могут восприниматься и как удачные, и как неудачные. Если взять, например, определенный отрезок текста, который очевидно является неудачным, можем ли мы судить, что нейросети не то что на мезороуровне не справляются со смыслом, но уже и по итогам работы, они не могут вложить то, что вложил бы настоящий автор?
А: Я думаю, да. Вот у нас филологи любят работать. Я не знаю, встречались ли вы с этим или нет, но я с таким не встречался. Вот они говорят: “А какой запас слов у человека?”. Они берут произведение: полное собрание сочинений Пушкина, полное собрание Ленина и начинают считать слова. Они считают все слова. И вот они говорят, что у Ленина словарный запас, к примеру, 55 тыс., а у Пушкина ещё столько-то. Это, соответственно, полная чушь, потому что это слова, которые они просто употребили. Если взять реальный словарный запас языка, то мы обнаружим, что у нас только порядка 10 млн. терминов, 2 млн. топонимов, 800 тыс. фамилий и имен, а ещё формы склонений и спряжений. И когда мы реально начинаем считать, то реальная размерность языка составляет примерно 300 млн. словоформ. Средняя длина предложения – это примерно 17 слов, если абстрагироваться от стиля. Получается, что только позиционных перестановок выходит 10140 вариантов. Это всевозможные метафоры, литоты, если не больше. Также мы насчитываем примерно 82 типа семантической комбинации. Соответственно, в голове у носителей языка – поэтов и прозаиков – это все есть. Поэтому, датасеты, то, что они выдали на гарант, - абсолютно недостаточны. Это очень маленькие объёмы.
Б: То есть, степень обученности нейросетей определяется именно объёмом их корпуса?
А: Да. И добросовестностью соображений Data Science, дата-инженеров, которые этому учат. То есть, грубо говоря, могут потерять какие-то грамматические конструкции, могут, например, больше примеров, чем надо, определенного типа представить. Конечно, в таком случае, ошибки будут грубыми и сильно заметными.
Б: Хорошо. Нам необходим ваш ответ по поводу ещё одного момента для более глубокого понимания работы нейросетей. В ходе нашего исследования мы задались вопросом: “Нейроны – это какая-то логическая структура внутри компьютера или это какие-то отдельные физические компоненты?”.
А: Вы имеете в виду искусственные нейроны?
В, Б: Да.
А: А вы знаете, есть совершенно разные модели. Есть и так, и так. Во-первых, есть разные парадигмы нейросетей. Допустим, биоморфные нейросети модулируют кортикальную колонку мозга человека. Вот они довольно точно модулируют нейрон как физический объект. Например, там модулируется частота потенциала действия заряда нейронного накопления, аксональная фасилитация (наша краткосрочная память: мысль мелькнула, мы ее не успели записать и её приходится заново восстанавливать). (суть в том, что этими нейросетями довольно подробно модулируется механизм краткосрочной памяти). В нейроморфных сетях это позволяет нейросетям учиться буквально за один пример, за одно определение. В данном случае, нейрон – это вполне себе отдельный объект, который моделируется как определенная ячейка. Обычно эти нейросети используются как графовые сети. По сути дела, это мало отличается от схемотехники, по большому счёту. Более того, эти нейросети могут переноситься напрямую и на аппаратное устройство. Допустим, на мемристоры. Это первый подход. Второй подход – это когда сеть представляет собой набор математических абстракций, математических векторов. В данном случае они были, скорее, просто в последовательности вычислительных функций.
Б: Возвращаясь к теме проявления нейросетей в литературе, мы зададим ещё один вопрос. Возможна ли в будущем осмысленность нейросетевых текстов?
А: Безусловно возможна. Есть, наверное, три уровня актуальности генерации текста, на мой взгляд. Наша компания идет сейчас на втором. Мы ежедневно генерируем более миллиона ответов. То есть, мы сегодня присутствуем в социальных сетях, мессенджерах, на корпоративных сайтах и так далее. Мы генерируем очень большое количество ответов, высказываний, спорим с людьми, причём они часто и не подозревают, что это наши системы генерируют ответы. Вот первый способ, на основе, как я уже сказал, рекурентных нейросетей глубокого обучения, которые сейчас манифестируют на рынке, не имеет никакого осознания. Там идёт вопрос, и нейросеть из обучения знает, какой ответ скорее всего с этим вопросом обычно связан. То есть, она распознала тип вопроса и даёт тот же тип ответа. Это одно из проявлений классификации. Вторая функция нейросетей – это кластеризация. Это когда система сама относит входящие стимулы к различным классам по неким базовым критериям. Например, зелёненькое – к зелёненьким, длинное – к длинным, длинное зелёненькое – к длинным зелёненьким, короткое зелёненькое – к коротким зелёненьким и т.д. Третий, более продвинутый момент – это выделение сущности – когда отдельная нейросеть выделяет субъект высказывания, отдельная нейросеть выделяет действие этого субъекта, отдельная нейросеть определяет, на какой объект направлено действие, какие обстоятельства и определение у этого действия и так как каждая сетка это понимает, то мы четко рефлексируем, где объект, где субъект, что он делает и когда мы синтезируем ответ, мы по определенным правилам используем субъект-объектные отношения и, действительно, синтезируем ответ, приближаясь к более глубоко моделируемой работе мозга человека. Но те нейросети, которые сейчас находятся в разработке - биоморфные нейросети, моделирующие работу гиппокампа, работу коры и других отделов мозга – это сети, в которых появится логическое мышление.
Б: То есть, развитие осмысленного текста…
А: Будет достигнуто в ближайшие лет 5, примерно.
Б: Лишь при помощи этих самых биоморфных нейросетей?
А: Совершенно верно.
На что способны нейросети?
Для более глубокого погружения в тему нейросетевой литературы, а также для более веской аргументации нашей точки зрения по поводу генерации текстов нейросетями, наша команда приняла решение взять интервью у представителей компании ООО “Объединение когнитивных ассоциативных систем”.
Также вы можете ознакомиться с интервью в формате PDF
.
©SanillaVanilla inc.
