В борьбе за достоверность

Итак, фальсификации.

Поддельные фото, видео, документы, высказывания, события, люди.

В последнее время (камеры дешёвые, видеоредакторы быстрые и общедоступные) их больше с каждым днём.

В итоге с журналистами происходят скандалы, официальные лица говорят странные вещи и все обвиняют друг друга, что дурят честной народ.

И пока кто-то воюет, а кто-то требует воюющих прекратить, эксперты всех мастей ищут способ докопаться до достоверных данных. Конечно, если пригласят в ток-шоу, то можно любую чушь нести, - но если большая корпорация наняла за большие деньги? или кто-то из государственных мужей требует прокомментировать? Не скажешь же ты, что "танки на фотографии есть, а есть ли там фотошоп - не знаю, я им не пользуюсь".

Первый вариант я нашёл на постнауке. Там выложена интересная глава из книги на тему (вставлю, если найду). Сводится к тому, что единственной защитой является 100% идентификация времени-места съёмки и человека, который её вёл. То есть если Вася из Ростова-на-Дону снял на мобильник летающую тарелку, то в свойствах видео это должно быть написано, а сам Вася, если попросят, должен предъявить паспорт, мобильник, самого себя и место, где он снимал (а также, желательно, летающую тарелку).

Конечно, это хороший способ доказать, что видео настоящее (про тарелку не говорим). К сожалению (как мы знаем из новостей), это не подходит для кадров от которых действительно что-то зависит. Если ты - местный житель и заснял военное преступление, то подписываться под ним ты точно не будешь. Хотя бы потому, что следующее военное преступление могут устроить с тобой.

Другой вариант - сдаться и решить, что они все друг друга всё равно дурят. Люди древности успешно выживали без международных новостей и это не мешало им охотиться на мамонтов.

Если новости на тебя не влияют никак, то это работает. Но в этом и есть недостаток. Отказаться от ненужных новостей могут те, кому они не нужны.

А если это твоя работа? Если у заказчика в той стране контракты, заводы, газеты и пароходы? Конечно, эксперт может уйти в управдомы, но проблема от этого никуда не уйдёт.

Третий вариант предлагает Николай Караев - со временем возникнут что-то наподобие орденов или корпораций высококлассных экспертов и журналистов, которые заведомо сначала думают, а потом говорят.

Это поможет исправить проблему... но не ту, ради которой всё затевалось. Дело в том, что новость нужна быстро. Министр должен сделать заявление, президент принести соболезнования, новость уйти в эфир, не дожидаясь, пока комиссия или суд закончит свою работу. Даже признанный эксперт не всегда может быстро разобраться в проблеме, а консультативные комиссии заседают годами (и полное заключение может попросту лечь в архив - как в случае с Чхонаном).

Вот у нас есть фото, видео или аудиозапись. Мы пригласили в студию... да хотя бы даже бывшего разведчика (на CNN бывает). И спрашиваем, что он о ней думает. А он отвечает честно: дескать, я не знаю, тут смотреть в лаборатории надо, нет ли монтажа. Да и вообще в наше время такого не было.

Конечно, это ни разу не экспертиза. Мало ли чего не было двадцать лет назад? Во времена Рейгана и Linux-а не было - а при Буше-старшем появился. И не в США, а где-то в Финляндии. Может, и это "такое" появилось только в последнее время и не успело дойти до США.

Видимо, когда окончательно прижмёт, будут придуманы какие-то социал-инженерные решения для работы с подделками.

Или человечество просто забьёт.

А. И. Орлов - Прикладная статистика (конспект)

Самое время освежить свои знания по другому учебнику. Читаю А. И. Орлов - Прикладная Статистика (М. Алгоритм 2004)

Сама книга удручает. Старинные примеры, куча сведений, которым место в приложении, про программы для статистики указан только факт: они есть.

Тот самый случай, когда учебник проще написать заново, чем дорабатывать издание за изданием.

Введение

3 раздела статистики (по Гнезденко): 1) сбор статсведений 2) их исследование 3) разработка приёмов для 1) и 2)

3 – и есть матстатистика.

Теор. Вер. – XVII в. Метод наименьших квадратов Гадеса – 1794.

Современный этап – 1990, журнал Biometrica. Первая треть XX в.  - применяют в основном параметрическую статистику.

Совершенно неясны критерии, по которым данные должны подчиняться кривым Пирсона и распределениям. Есть несколько моделей (независ. Случ величины, суммы, норм распред, производные, логаврифмы), но подавляющее боьшинство получает кривую скорее случайно.

На 1990-ый акутальны для специалиста – ~100 000 публикаций. Даже в наиболее полном 3-хтомнике Кендалла-Стюарта учтены 2 тыс. Учёные уходят в тупиковые ветки и беспомощны с реальными данными. Фактически, включается адаптационный механизм торможения науки.

Результаты, не попавшие в учебник, как правило, забываются. Человек, получив образование, либо забивает и пользуется обломками данных, либо, если идёт в науку, копает только свой узкий канал (если копает). В итоге – ВУЗовские учебники до сих пор на уровне 40-60-х XX в. Публикации – аналогично.

В своё время сам Орлов работал с оценками параметрических семейств. Но ф-ция так правдоподобия, эффективности оценок, неравенство Рао-Крамера. Но этот подход – тупиковый, реальные данные не подчиняются каким-либо параметрическим семействам.

Прикладная делится на: математика, методы сбора данных, кодинг.

Матстатистика давно замкнулась внутри себя и не реагирует на соседние области. В этом она аналогична геометрии – ныне это ритуальный предмет и землю давно меряют геодезисты. Пересечение высот треугольника мало кому интересно. Поэтому учебные часы сокращаются, при поступлении больше не спрашивают. А это путь в историю науки, вслед за теологией.

Большинство методов в Statgraphics/SPSS/Statistica в учебниках просто нет.

Блоги - это не дневники

Первые известные блоги были коллективными и выросли из аналитических колонок (Slashdot, например). До них были частные рассылки, выросшие из официальных (некогда широко известный, а ныне напрочь перекупленный и забытый Subscribe.ru начинался как портал для кошек Citycat с рассылками).

Дневники, выложенные на домашних страничках, тоже бывали, но это были именно электронные дневники, совершенно на блоги не похожие. Просто личные записи с датами, без возможности комментировать.

Появление ЖЖ с его ТОПом дало дурной пример - он был немедленно захвачен "профессиональными блоггерами", а прочие интернетчики (включая президентов) начали им подражать. Теперь личного дневника в открытом доступе уже не сыщешь.

А если сказать шире, дневники характерны для эпох, когда от человека требуют отвечать за каждый поступок, оттачивать характер и быть человеком чести. "А я забыл" для дворянина или самурая считалось позором - "если забывчивый, то записывай".

Неспроста кронпринцев заставляли вести дневники - от великого князя Николая Павловича это потребовали, как только Александр I понял, что долго не протянет, Константин лишился прав на престол, и что престол придётся передавать младшему брату.

Сложно что-то узнать о человеке, особенно известном, из его в принципе публичного блога (толпы бытовых историй в топе происходят с друзьями и дочками друзей всё одних и тех же рож - везёт им, наверное). А вот последнего автора, которого читал Николай II, мы из его дневника знаем: это Салтыков-Щедрин. 

Рекурсия о рекурсии

ivanon-petrov@lj всегда делает интереснейший подборки. Но в последнее время общее прокисание ЖЖ пробирается даже в них.

Даже в этих подборках всё больше остроумнейших мыслей вращаются не вокруг успехов биологии или того факта, что "концепции коммунальной собственности, унаследованной Калифорнией не из английского common law, а из юридических обычаев визиготской Испании, 5 в. н.э.". А вокруг основополагающих тем, как то:

• учёные о науке (с жалобами на жизнь)
• учёные о науке в РФ
• учёные о науке в русскоязычном секторе ЖЖ
• учёные об учёных
• учёные о РФ

То есть та же самая скукота, что и:

• ТВ, где журналисты приглашают в студию журналистов,
• книг состарившихся писателей, где главный герой всегда писатель ("Мастер и Маргарита" простительна, там есть много кто ещё)
• политиков, которых пристроили другие политики
• мюзиклов из жизни варьете (из четырёх мюзиклов, рекламу которых я видел в метро, два - про варьете)
• фильмов про то, как снимали фильм (хотя INLAND EMPIRE и хорош, но это же Линч)

Вот и ходишь теперь за наукой - на ПостНауку.

Мастер Леонардо

Софи Шово срывает покровы с биографии Леонардо да Винчи. Оказывается, рисовал он мало, скульптор был посредственный, да к тому же развратник и извращенец. А основными ео достижениями были дворцовые праздненства и музыкальные импровизации.

Обвинения сами по себе посредственны, но подумать тут есть над чем.

Во-первых, записные книжки Леонардо как минимум интересное чтиво. Конечно, немалая часть тамошних сведений уже в 1970-е издавались в книжках вроде "Советы по домоводству", а ныне гуглится, но во времена Леонардо таких сборников ещё не придумали. То, что он не написал фундаментальных работ, - это не порок, а особенность. В конце концов, Ландау без Лифшица так и остался бы выдающимся лектором.

Во-вторых (как резонно заметили в комментариях) это взгляд на Леонардо циничного XXI века. Если бы его биографию писали деятели Средних Веков, то его изображали бы банальным придворным волшебником. А отсюда можно думать о шаманах-композиторах у Гофмана и Погорельского, о чёрной магии хакеров и т.д. и т.п.

В-третьих, чтобы построить военную машину, нужно много денег и испытаний. Итальянские войны той поры были скорее спортивными, так что князья предпочитали иметь осадные машины в виде чертежей. А потом пришли французы и никакие машины уже не понадобились.

Так что спасибо Леонардо. Даже если он мало (по меркам XX века) до чего докопался - он честно копал и не скрывал своих находок.

CsvHelper

Формат CSV не так прост, как кажется. Формально это просто табличка: столбцы разделены запятыми.

А вот при попытке с ним поработать начинается веселье:

• Точку в десятичных числах, чтобы разделить разряды, ставят только англосаксы и программисты. Некоторые другие народы могут разделять их запятыми. Американское 10,000,000.03 - это русское 10.000.000,03. И если в системе установлена другая система представления чисел, то Excel сохранит файл, разделив столбцы точками с запятой. Хотя диалог сохранения в Excel будет по прежнему уверять, что сохраняет с запятыми как разделителями
• CSV - не UNICODE, и по умолчанию сохраняется в текущей кодировке системы.
• В первой строке - как правило, не данные, а названия столбцов.

Поэтому на C# такие файлы положено читать специальной библиотекой. Текущая версия есть в NUnit, а где-то в версии 3.0 вернутся и атрибуты для маппинга, которые я прикрутил обратно в своём форке.

Судьба Yume Hikki

Если что - этот проект, принёсший немало веселья, закрыт уже два года как.

Окончательно добило его обнаружение фундаментальной ошибки (бывшей и в презентации, которая его вдохновила) - не надо делать JavaScript-игры на div-ах, это медленно. В JavaScript есть Canvas, на ней и рисуйте.