![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Сказка про рыцаря и дракона по-одесски
Dec. 26th, 2025 07:15 amСказка про рыцаря и дракона по-одесски. Алон Кейсар.
Большинство гражданских самолётов в мирное время передают о себе по радио информацию:
Во-первых, они отвечают на опрашивающие сигналы вторичного радара SSR (радар повернулся к самолёту и спросил его имя и барометрическую высоту - самолёт ответил). Это пережиток "системы опознавания свой-чужой" со Второй Мировой войны, но в гражданском применении.
Во-вторых, они без всяких вопросов сами и добровольно периодически высылают похожую информацию о себе согласно стандарту ADB-S.
В результате метеорологи сообразили, что из этого огромного объёма информации возможно нацедить достаточно данных для предсказания погоды.
А именно: самолёт знает свою скорость относительно воздушного потока (измеренную при помощи трубки Пито), а радар видит его скорость относительно земли. Метеорологи узнают ветер в данной точке. Также, число Маха меряется самолётом и зависит от температуры. Метеорологи вычисляют температуру в данной точке.
Во-первых, они отвечают на опрашивающие сигналы вторичного радара SSR (радар повернулся к самолёту и спросил его имя и барометрическую высоту - самолёт ответил). Это пережиток "системы опознавания свой-чужой" со Второй Мировой войны, но в гражданском применении.
Во-вторых, они без всяких вопросов сами и добровольно периодически высылают похожую информацию о себе согласно стандарту ADB-S.
В результате метеорологи сообразили, что из этого огромного объёма информации возможно нацедить достаточно данных для предсказания погоды.
А именно: самолёт знает свою скорость относительно воздушного потока (измеренную при помощи трубки Пито), а радар видит его скорость относительно земли. Метеорологи узнают ветер в данной точке. Также, число Маха меряется самолётом и зависит от температуры. Метеорологи вычисляют температуру в данной точке.
Марта Кетро
Aug. 6th, 2024 01:55 pmМоя новая находка.
Сначала попалась забавная цитата:
- Господа, значительная часть из вас пишет слово "нюанс" как "ньюанс".
Вынуждена сообщить, что мягкого знака там нет.
Запомните, проверочное слово - "минет".
Она меня ужасно рассмешила, понятно что авторская, гуглением нашлась Марта Кетро, писательница.
Тексты у неё в широком спектре, много смешного, но меня очень глубоко зацепила инструкция "Как пережить смерть" и короткая, но ёмкая "литания против пошлости". Оба текста у меня где-то глубоко отзываются.
Сначала попалась забавная цитата:
- Господа, значительная часть из вас пишет слово "нюанс" как "ньюанс".
Вынуждена сообщить, что мягкого знака там нет.
Запомните, проверочное слово - "минет".
Она меня ужасно рассмешила, понятно что авторская, гуглением нашлась Марта Кетро, писательница.
Тексты у неё в широком спектре, много смешного, но меня очень глубоко зацепила инструкция "Как пережить смерть" и короткая, но ёмкая "литания против пошлости". Оба текста у меня где-то глубоко отзываются.
Сижу сегодня на митинге про оптимизацию LLaMA2, и вдруг понимаю, что старинная идея использовать тандем Марковской модели языка и Арифметического кодера в качестве оптимального компрессора текстов наконец имеет все шансы стать полезной!
Поискали с коллегой по ключевым словам - опоздали ровно на год :)
LLMZip: Lossless Text Compression using Large Language Models .
Ребята молодцы, получили 0.7-0.85 бита на букву, это текущий рекорд. Причём я подозреваю (статью по диагонали читал), что они настоящий Арифметический кодер даже не гоняли - возни с ним много.
Для достаточно точной оценки длины получающегося кода можно просто циклически прогнать весь текст через токенизатор, поток токенов - через модель, выбирая на каждом шаге из выхлопного вектора of logits тот, который соответствует кодируемому токену, привести этот logit к отрицательному двоичному логарифму ожидаемой вероятности, и это уже даст длину кода в (нецелых!) битах для этого конкретного токена (свойство Арифметического кодера - вроде бы даже теорема про это доказана). Потом просто просуммировать все эти длины кода вместе, и соотнести с оригинальной длиной текста в буквах (а не токенах).
По крайней мере, я бы так сделал. Собственно, я так и сделал в своём дипломе, просто 30 лет назад ещё никаких LLM не существовало :)
Для практического применения нужно было бы использовать Chat-версию LLM, у которой есть специальный токен "текст закончился", а также какой-нибудь настоящий Арифметический кодер.
Поискали с коллегой по ключевым словам - опоздали ровно на год :)
LLMZip: Lossless Text Compression using Large Language Models .
Ребята молодцы, получили 0.7-0.85 бита на букву, это текущий рекорд. Причём я подозреваю (статью по диагонали читал), что они настоящий Арифметический кодер даже не гоняли - возни с ним много.
Для достаточно точной оценки длины получающегося кода можно просто циклически прогнать весь текст через токенизатор, поток токенов - через модель, выбирая на каждом шаге из выхлопного вектора of logits тот, который соответствует кодируемому токену, привести этот logit к отрицательному двоичному логарифму ожидаемой вероятности, и это уже даст длину кода в (нецелых!) битах для этого конкретного токена (свойство Арифметического кодера - вроде бы даже теорема про это доказана). Потом просто просуммировать все эти длины кода вместе, и соотнести с оригинальной длиной текста в буквах (а не токенах).
По крайней мере, я бы так сделал. Собственно, я так и сделал в своём дипломе, просто 30 лет назад ещё никаких LLM не существовало :)
Для практического применения нужно было бы использовать Chat-версию LLM, у которой есть специальный токен "текст закончился", а также какой-нибудь настоящий Арифметический кодер.
Лазарчук-1987 и Лазарчук-2022
Apr. 30th, 2024 02:34 pmСтатья "Кто хочет жертв?" из Литературной Газеты содержит по крайней мере две любопытных подробности: имя Лазарчук Андрей и дата публикации 23-02-2022.
Андрей Лазарчук - один из авторов статьи "Голем хочет жить" (второй - Петр Лелик - умер в 2013 году).
Дата, возможно, случайно покосилась на сайте. Хотя если нет, было бы ещё интереснее - так торопились подписать, что обогнали собственно начало СВО.
С момента написания "Голем хочет жить" до момента предположительного подписания прошло почти 35 лет...
Андрей Лазарчук - один из авторов статьи "Голем хочет жить" (второй - Петр Лелик - умер в 2013 году).
Дата, возможно, случайно покосилась на сайте. Хотя если нет, было бы ещё интереснее - так торопились подписать, что обогнали собственно начало СВО.
С момента написания "Голем хочет жить" до момента предположительного подписания прошло почти 35 лет...
Sophie Scholl
Apr. 23rd, 2024 11:23 amЭта цитата приписывается героине антивоенного сопротивления Второй Мировой в Германии, Sophie Scholl:
“The real damage is done by those millions who want to 'survive.' The honest men who just want to be left in peace. Those who don’t want their little lives disturbed by anything bigger than themselves. Those with no sides and no causes. Those who won’t take measure of their own strength, for fear of antagonizing their own weakness. Those who don’t like to make waves—or enemies. Those for whom freedom, honour, truth, and principles are only literature. Those who live small, mate small, die small. It’s the reductionist approach to life: if you keep it small, you’ll keep it under control. If you don’t make any noise, the bogeyman won’t find you. But it’s all an illusion, because they die too, those people who roll up their spirits into tiny little balls so as to be safe. Safe?! From what? Life is always on the edge of death; narrow streets lead to the same place as wide avenues, and a little candle burns itself out just like a flaming torch does. I choose my own way to burn.”
Несколько лет назад у нас дома появилась замечательная карточная игра Фрукто-10 от Банды Умников. Игра просто отличная - заявлена как обучающий материал для до- или младших школьников, но на самом деле полезна всем.
Она предсказуемо поражает своим устройством: карточки так устроены, что между любыми двумя есть "смежная пара" символов, и причём всегда ровно одна. Очень интересно, как такая колода устроена, и не мне одному.
Про устройство самих Фрукто-10 информацию найти я пока обломился, зато удалось найти "западный аналог": игру Dobble (она же - Spot it!). Она хоть и попроще (вместо "смежной пары" нужно искать идентичную пару символов), но математический принцип, позволяющий строить такие колоды, по-видимому, тот же самый.
Вот немного более исторический обзор Dobble: The Mind-Bending Math Behind Spot It!, the Beloved Family Card Game.
А вот немного более практический (пособие для голландских школьных учителей математики) : The geometry of the Game DOBBLE
Ещё один взгляд на это же: The Mathematics of Toys and Games: Dobble
Чувствую, что Фрукто-10 где-то очень близко. Абсолютно точно, что автор знаком с Dobble (даже карточки круглые и того же размера!) . Вроде, даже количество карточек совпадает. Но не пойму пока, насколько внесение понятия "анти-символ" изменяет подлежащую математику.
Она предсказуемо поражает своим устройством: карточки так устроены, что между любыми двумя есть "смежная пара" символов, и причём всегда ровно одна. Очень интересно, как такая колода устроена, и не мне одному.
Про устройство самих Фрукто-10 информацию найти я пока обломился, зато удалось найти "западный аналог": игру Dobble (она же - Spot it!). Она хоть и попроще (вместо "смежной пары" нужно искать идентичную пару символов), но математический принцип, позволяющий строить такие колоды, по-видимому, тот же самый.
Вот немного более исторический обзор Dobble: The Mind-Bending Math Behind Spot It!, the Beloved Family Card Game.
А вот немного более практический (пособие для голландских школьных учителей математики) : The geometry of the Game DOBBLE
Ещё один взгляд на это же: The Mathematics of Toys and Games: Dobble
Чувствую, что Фрукто-10 где-то очень близко. Абсолютно точно, что автор знаком с Dobble (даже карточки круглые и того же размера!) . Вроде, даже количество карточек совпадает. Но не пойму пока, насколько внесение понятия "анти-символ" изменяет подлежащую математику.
бизнес, ничего личного
Mar. 17th, 2024 12:24 amЕсть принцип, который я исповедую более-менее с конца школы - начала универа, и который в среднем меня здорово спасает от лишних душевных тревог: не подозревать контрагента в злом умысле, стараясь найти простое оправдание тому, что, может, и выглядит как намеренное причинение тебе зла.
И в основном оно работает, и работает хорошо. То ли по-настоящему злонамеренных людей очень мало, то ли моим врагом быть невыгодно (об этом стоит отдельно рассказать), то ли я такой умный, что кого хочешь оправдаю. В общем, конфликты как-то обходят стороной, душевное равновесие не колебя.
Поэтому особенно бросаются в глаза случаи, когда ну прям явно видно, что зло задумывалось и реализовывалось на всех стадиях проекта. Этот подход - "нажива любой ценой" очень напоминает "победу любой ценой" (какого-нибудь Мизинцева в Алеппо или Мариуполе).
У этого же автора куча похожих историй, и окрашены они примерно в те же цвета.
И в основном оно работает, и работает хорошо. То ли по-настоящему злонамеренных людей очень мало, то ли моим врагом быть невыгодно (об этом стоит отдельно рассказать), то ли я такой умный, что кого хочешь оправдаю. В общем, конфликты как-то обходят стороной, душевное равновесие не колебя.
Поэтому особенно бросаются в глаза случаи, когда ну прям явно видно, что зло задумывалось и реализовывалось на всех стадиях проекта. Этот подход - "нажива любой ценой" очень напоминает "победу любой ценой" (какого-нибудь Мизинцева в Алеппо или Мариуполе).
У этого же автора куча похожих историй, и окрашены они примерно в те же цвета.
Президент взял на себя слишком много :)
Feb. 14th, 2024 10:32 amМожет и фейк, но удачный. История про Хельгу Хилтунен и президента Финляндии встречается на разных языках, практически без изменений:
http://andreyboyd.blogspot.com/2014/05/two-letters-to-god.html
https://www.anekdot.ru/id/673162/
http://andreyboyd.blogspot.com/2014/05/two-letters-to-god.html
https://www.anekdot.ru/id/673162/
10 бездельников определяют город
Jun. 6th, 2023 11:17 pm
Определяя понятие города, еврейские мудрецы говорят, что населенный пункт не может называться городом, если в нем не насчитывается по крайней мере десяти бездельников. Как объясняется, десять бездельников — это десяток таких людей, которые готовы и способны освободить свое время от насущных забот и посвятить его общественным делам. Если так, то классическим примером такого бездельника являлся Сократ — разумеется, к вящему огорчению его жены. Вместе с тем, в нем воплотился идеал свободного человека, поскольку он являлся мыслителем, занимающимся теоретическими умствованиями и не обращающим внимания на практические нужды. В любом случае он ощущал себя человеком, независимым от материальных забот и имеющим досуг для отвлеченных размышлений.
-- "Социология невежества" - Адин Штейнзальц, Амос Функенштейн
про возрастную аберрацию в женском спорте
Sep. 28th, 2022 11:55 amИнтересный обзор этого явления на примере фигурного катания.
Ничего удивительного, просто хорошее напоминание. Есть и другие способности, которые люди проявляют в детстве лучше, чем во взрослом возрасте. Можно ли это обойти? Вполне вероятно, что для этого существует или ещё придумают способ.
Ничего удивительного, просто хорошее напоминание. Есть и другие способности, которые люди проявляют в детстве лучше, чем во взрослом возрасте. Можно ли это обойти? Вполне вероятно, что для этого существует или ещё придумают способ.
Весело о взрывчатках
Aug. 2nd, 2022 09:02 amОчень сочным языком о буднях исследователей азотосодержащих взрывчатых веществ:
https://www.science.org/content/blog-post/things-i-won-t-work-azidoazide-azides-more-or-less
https://www.science.org/content/blog-post/things-i-won-t-work-hexanitrohexaazaisowurtzitane
https://www.science.org/content/blog-post/things-i-won-t-work-azidotetrazolate-salts
https://www.science.org/content/blog-post/things-i-won-t-work-cyanogen-azide
https://www.science.org/content/blog-post/things-i-won-t-work-azidoazide-azides-more-or-less
https://www.science.org/content/blog-post/things-i-won-t-work-hexanitrohexaazaisowurtzitane
https://www.science.org/content/blog-post/things-i-won-t-work-azidotetrazolate-salts
https://www.science.org/content/blog-post/things-i-won-t-work-cyanogen-azide
Статьи Анны Даниловой
Mar. 10th, 2022 02:18 pmСегодня 40й день. Быстро пролетел февраль? Даже не верится - столько событий, хотя в основном и нежелательных...
Сижу на работе, жгу свечку. Голову пока включить не удаётся. Зато мне попалось две статьи Анны Даниловой, которые здорово резонируют с моим текущим состоянием:
Ампутация. Год первый
и
Что сказать человеку, потерявшему близкого?
Сижу на работе, жгу свечку. Голову пока включить не удаётся. Зато мне попалось две статьи Анны Даниловой, которые здорово резонируют с моим текущим состоянием:
Ампутация. Год первый
и
Что сказать человеку, потерявшему близкого?
Банк Медичи
Jan. 5th, 2022 01:22 pmВикипедийная статья про Банк Медичи. Организация поражает своей продуманностью - у них получилась весьма надёжная система из ненадёжных элементов. Менеджеры-"наместники" периодически либо сознательно кидали "франшизу", либо неоправданно рисковали и теряли деньги, либо бывали вынуждены давать "невозвратные займы" силовикам, но это не помешало всей системе просуществовать более ста лет, накапливая экономический и политический капитал.
Очень хитро система того, что сейчас называется travellers' cheques, обходила запрет Католической церкви на ростовщичество. Они даже фактически давали в рост деньги самой Католической церкви!
Кроме собственно "чистого банкинга" они также широко инвестировали в производство (то, что сейчас бы назвали vertically-integrated), что ещё более укрепляло ими же издаваемую валюту - флорин.
Очень хитро система того, что сейчас называется travellers' cheques, обходила запрет Католической церкви на ростовщичество. Они даже фактически давали в рост деньги самой Католической церкви!
Кроме собственно "чистого банкинга" они также широко инвестировали в производство (то, что сейчас бы назвали vertically-integrated), что ещё более укрепляло ими же издаваемую валюту - флорин.
Особенности модного нынче понятия "disruption" (в хорошем смысле):
"В дискуссии не раз звучали капризные претензии: создайте нам условия, тогда мы будем творить... Потрясающая наивность! "Плавно восходящая линия" от хорошего пирога к великим творениям где-то на середине имеет разрыв. Хороший пирог одобряется всеми. А принципиально новое воспринимается неодобрительно, порой явно враждебно. И дело тут не в происках случайных "бяк"-консерваторов. Это закономерность: новое разрушает старое, обесценивает чьи-то знания и опыт, расшатывает чей-то авторитет. Поэтому творчество включает и всегда будет включать необходимость борьбы за признание нового. Пока новое не признано, не может быть хороших условий для работы над новым. Когда же новое признано, условия появляются, но... новое перестает быть новым, творческим. Так что: или - или. Жаловаться на отсутствие условий для творчества - все равно, что негодовать по поводу крутых скал и ледников на пути к горным вершинам."
-- Генрих Альтшуллер, "Душа обязана... учиться" (выделение моё -jayrandom)
Goodhart's law
Nov. 1st, 2021 11:30 amЭффект, который я привык (в силу профдеформации) называть overfitting-в-миру, имеет официальное название Goodhart's Law.
В конце википедийной статьи приводятся несколько разных его формулировок под разными названиями, в числе которых есть и знаменитый "эффект кобры".
В конце википедийной статьи приводятся несколько разных его формулировок под разными названиями, в числе которых есть и знаменитый "эффект кобры".
Jared Isaacman рассказывает о полёте
Oct. 13th, 2021 10:19 amИнтересные подробности, которых я не видел/не слышал раньше: "Q&A with SpaceX Inspiration4 commander Jared Isaacman"
Google's Ideological Echo Chamber
Sep. 10th, 2021 04:36 pmНаконец дошли руки прочитать оригинал статьи "Google's Ideological Echo Chamber" автора James Damore.
Ну-ну... По-моему, у них там уже назрело. Верхи не могут, а низы не хотят. И, главное, историю все игнорируют, что характерно - а ведь в ней легко подсмотреть, что будет дальше.
Ну-ну... По-моему, у них там уже назрело. Верхи не могут, а низы не хотят. И, главное, историю все игнорируют, что характерно - а ведь в ней легко подсмотреть, что будет дальше.
Наткнулся на любопытную теорию, доходчиво объясняющую поведение холестерина в крови при смене диеты:
"New model could explain old cholesterol mystery".
Объяснение простое, основывается на функции холестерина в организме:
1) Клеточная мембрана животных клеток состоит из жиров.
2) В простой модели это те жиры, которые мы едим (они могут быть разной степени насыщенности). Если жиры насыщенные (сало), мембрана получается более стабильной. Если жиры ненасыщенные (оливковое масло) - мембрана более текучая.
3) В отличие от клеток растений и бактерий, у животных клеток нет клеточной стенки, т.о. мембрана - это последний слой, защищающий клетку. Её текучесть/стабильность - слишком важный фактор, чтобы оставлять его на самотёк и ставить в зависимость от того, что животное съело. Поэтому организм эту текучесть/стабильность мембран контролирует: если съеденные жиры недостаточно насыщенные, организм добавляет туда холестерин для стабилизации. Холестерин встраивается в клеточную мембрану, компенсируя избыточную текучесть, примерно как арматура в железобетон. Состав клеточных мембран у травоядных и хищников различаются, но стабильность мембран, тем не менее, - примерно одинаковая. Это результат чёткой работы обратной связи.
4) Холестерин ОЧЕНЬ сложно синтезировать. Это последовательность из 37 реакций! Поэтому естественно, что вещество это для организма дорогое. И если оно освобождается (например, когда диета сместилась в сторону более насыщенных жиров - поел шашлыка), то его логичнее всего выпустить плавать в кровь, чтобы когда оно снова потребуется (последнего барана съели, пришлось перейти на растительную пищу), можно было бы его оттуда взять, чтобы стабилизировать мембраны клеток, строящихся из более растительных (менее насыщенных) жиров.
То есть, флуктуации холестерина в крови при смене диеты - это нормальный процесс управления с обратной связью. Это в здоровом организме. Если же в этом цикле что-то нарушено, то мы наблюдаем то, что наблюдаем в липидограммах людей с нарушениями в сердечно-сосудистой системе. Сравнивать липидограмму при патологии и нормальном функционировании - неправильно, нужно смотреть на картину в целом (давление, усваивоемость сахаров, и т.д.)
"New model could explain old cholesterol mystery".
Объяснение простое, основывается на функции холестерина в организме:
1) Клеточная мембрана животных клеток состоит из жиров.
2) В простой модели это те жиры, которые мы едим (они могут быть разной степени насыщенности). Если жиры насыщенные (сало), мембрана получается более стабильной. Если жиры ненасыщенные (оливковое масло) - мембрана более текучая.
3) В отличие от клеток растений и бактерий, у животных клеток нет клеточной стенки, т.о. мембрана - это последний слой, защищающий клетку. Её текучесть/стабильность - слишком важный фактор, чтобы оставлять его на самотёк и ставить в зависимость от того, что животное съело. Поэтому организм эту текучесть/стабильность мембран контролирует: если съеденные жиры недостаточно насыщенные, организм добавляет туда холестерин для стабилизации. Холестерин встраивается в клеточную мембрану, компенсируя избыточную текучесть, примерно как арматура в железобетон. Состав клеточных мембран у травоядных и хищников различаются, но стабильность мембран, тем не менее, - примерно одинаковая. Это результат чёткой работы обратной связи.
4) Холестерин ОЧЕНЬ сложно синтезировать. Это последовательность из 37 реакций! Поэтому естественно, что вещество это для организма дорогое. И если оно освобождается (например, когда диета сместилась в сторону более насыщенных жиров - поел шашлыка), то его логичнее всего выпустить плавать в кровь, чтобы когда оно снова потребуется (последнего барана съели, пришлось перейти на растительную пищу), можно было бы его оттуда взять, чтобы стабилизировать мембраны клеток, строящихся из более растительных (менее насыщенных) жиров.
То есть, флуктуации холестерина в крови при смене диеты - это нормальный процесс управления с обратной связью. Это в здоровом организме. Если же в этом цикле что-то нарушено, то мы наблюдаем то, что наблюдаем в липидограммах людей с нарушениями в сердечно-сосудистой системе. Сравнивать липидограмму при патологии и нормальном функционировании - неправильно, нужно смотреть на картину в целом (давление, усваивоемость сахаров, и т.д.)
