Автор Тема: ололо, закон Ципфа для текстов на ложбане  (Прочитано 3590 раз)

1 Пользователь и 0 Гостей просматривают эту тему.

Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
Интеерсно.
Сейчас сделал график, в которой учитывается любое слово, и преодолел тупость программы, которая слово с апострофом принимала за два слова.
На оси абсцисс (горизонтально) отложил номер в списке частотных слов, на оси ординат — сколько ра встречается.
В общем, всё ожидаемо: чем больше текст (взял Библию, кстати, разные отрывки), тем больше график поход на гиперболу. Для сравнения там же нарисовал гиперболу.



Интересно другое. Когда  убрал галочку из программы, которая исключала из поиска любое слово короче трёх букву, и слова типа la'e, do'i воспринимались как два слова, то график одной главы был больше похож на гиперболу, чем график двух, график двух глав — лшче, чем график нескольких книг.

Если щё что-нибудь интересное найду, сообщу.

Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
Логарифмическую шкалу надо выставить.

Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
Я слов-то таких не знаю.

Вот для большого текста, где исключены слова из 3 букв и меньше:

Вооще никакая не гипербола. напоминает график функции y=90-x

Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
Я слов-то таких не знаю.
Да ну? В Экселе в пропертях выставляется.
Закон Ципфа и корпусная лингвистика


Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
тоже хѣрня какая-то, где тут гипербольцо? я не понял, что это значит и чем оличается, кроме вида

Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
На шкалу смотреть надо!
Гипербола на логарифмической шкале отображается как прямая!

Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
не уразумев, принял к сведению, щас тогда

чёрт, я ничё не найду. это не из 2003? а то у мен позднейший


Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
уже нашёл,  дякую, и хѣровая получается прямая


Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
уже нашёл,  дякую, и хѣровая получается прямая
Тем не менее, почти прямая. Вот и закон Ципфа.


Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
Нет, сначала получилась хрень из-за того, что я напортаил. Щас да.

А утром я пытался с рандомным текстом из латиницы, кириллицелатиницы, кириллицы, цифр. По очереди. Не прокатило. К чему бы это.

Оффлайн Alone Coder

  • Вне лингвистики
  • Сообщений: 23233
  • Пол: Мужской
    • Просмотр профиля
    • Орфовики
    • E-mail
    • Личное сообщение (Оффлайн)
Прямая там не получается. Явный загиб вниз, как во всех экспериментах на "закон Ципфа". Что естественно как с математической точки зрения (натуральный ряд расходится), так и с лингвистической (за пределами общей лексики частоты падают).

Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
Какая прямая не поучается? Вот у Равонама получилась. или Вы имеете в виду какую-то с особым угловым коэффициентом?

Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
А утром я пытался с рандомным текстом из латиницы, кириллицелатиницы, кириллицы, цифр. По очереди. Не прокатило. К чему бы это.
Покажите эксперименты.

Оффлайн Alone Coder

  • Вне лингвистики
  • Сообщений: 23233
  • Пол: Мужской
    • Просмотр профиля
    • Орфовики
    • E-mail
    • Личное сообщение (Оффлайн)
Вот у Равонама получилась.
Линейку приставьте.

Оффлайн Вадимий

  • Blogger
  • *
  • Сообщений: 15019
  • Пол: Мужской
    • ICQ клиент - 575445609
    • Просмотр профиля
    • E-mail
    • Личное сообщение (Оффлайн)
Покажите эксперименты.
Я потерял ужо, могу заново попробовать, но потом, когда я наемся, сделаю уроки и буду не ленив
В общем, в другой жизни ;D

Кстати, есть веь и как-то называется такое соотношение: между количеством слов в тексте и количеством морфем (или наоборот). Так вот, это соотношение как-нибудь влияет на то, насколько точно и хорошо выполняется в нём закон Ципа? и вообщще, выполнение разнится от языка к языку?

Оффлайн RawonaM

  • Сообщений: 42592
    • Просмотр профиля
    • Личное сообщение (Оффлайн)
Вот у Равонама получилась.
Линейку приставьте.
Да кривая-кривая, верим. Я так и не понял чем вы объясняете то, что получается почти ровная линия. Наверное кто-то это исследовал.

Оффлайн Alone Coder

  • Вне лингвистики
  • Сообщений: 23233
  • Пол: Мужской
    • Просмотр профиля
    • Орфовики
    • E-mail
    • Личное сообщение (Оффлайн)
Вопрос, конечно, интересный. Вроде Мандельброт что-то на эту тему писал.