Хориков Владимир // Принципы юнит-тестирования (2021)

Это, скорее, не обзор на книжку, а нытьё о моих проблемах.

В чём была ситуация. После приделывания к своим скриптам по скачиванию дайари штуки, показывающей комментарии, я понял, что мне действительно нужна система автоматического/полуавтоматического тестирования. Потому что это ещё не всё, что я хотел запилить, а после каждого запиливания мне нужна уверенность, что всё правильно.

Что я делал раньше? Я прогонял все скрипты, а потом сравнивал выходную папку с файлами и "эталонную", полученную с предыдущей версией скриптов. Сравнением занимался WinMerge. Если я видел разницу, я начинал выяснение -- должна была эта разница появиться или это ошибка.

Такой подход довольно затратен.

Исключением был модуль по работе с БД, db.py. Хотя у него и не было "юнит-тестирования", но у него был "генеральный прогон", вызывавший все функции модуля по очереди с тестовыми данными. Данные не проверялись, просто результаты выводились на экран. Я сэкономил немало сил и времени постоянно запуская этот прогон после модификаций. Он быстрее ловил ошибки в SQL и в питон-синтаксисе, чем если бы я каждый раз проводил полное преобразование дневника.

Тестирования модуля БД было мало. Мне была нужна уверенность в конечном результате. Тем не менее, я решил начать именно с модуля БД, превратив "генеральный прогон" в серию тестов. Я написал несколько первых тестов для py.test, разобрался что к чему, а потом понял, что у меня есть философские вопросы о том, как же следует делать тесты. И практические вопросы -- как делать принято?

В интернете есть достаточное количество статей о юнит-тестировании для начинающих. Их об'единяет общая проблема. Они показывают тестирование на примере функции сложения двух чисел. Как же приложить такое тестирование к более сложной системе?

За ответами на этот вопрос я обратился к данной книжке и не ошибся.

Книжка короткая, всего 300 страниц. Информации в ней мало, и она довольно простая. Но подана она систематически. Всего десяток тезисов, каждому из которых дано подробное обоснование, и приведены примеры -- сложнее, чем сложение двух чисел. После чтения у меня в голове образовался каркас знаний по теме. И я могу его применять.

Настолько вменяемых книжек существует совсем немного.

Кроме того, я нашёл в книжке подтверждение догадок, которые у меня появились, когда я пытался написать тесты. А ещё я нашёл ответы на все мои вопросы, которые у меня возникли до чтения.

И главный вопрос у меня был такой: почему для модуля БД тесты написались практически сами собой, а для остальных модулей я даже понять не могу, как к этому подступиться? Почему я не понимаю, куда приложить тесты к коду в проектах по работе?

А ответ такой. Чтобы тесты писались, код должен быть разделён на логику и на работу с внешними зависимостями ("коллабораторами", как называет автор). Наши рабочие проекты производят реальные замеры реальных значений, и выдают выходные значения сразу на железо. Это "переусложнённый код", который требует кардинальной переработки. В принципе, разделить логику и работу с внешними устройствами у нас можно, хотя придётся потратить на это довольно много усилий. Но вот можно ли симулировать серии из десятков тысяч входных значений? Как потом анализировать десятки тысяч выходных, не вглядываясь вдумчиво в графики? Это нужно пилить отдельный фреймворк для работы с фальшивыми значениями. И, возможно, этим стоит заняться.

Скрипты по скачиванию дайари проще. Но они всё равно по классификации автора относятся к "переусложнённому коду". Моя 500-строчная функция download() из download.py делает всё. А должна делать только одно действие. Модуль БД, напротив, содержит десятки мелких функций, каждая из которых делает простую вещь. Поэтому-то этот модуль так легко тестируется.

В общем, юнит-тестирование во многом завязано на архитектуру. И архитектурным вопросам автор посвятил, наверное, треть книги.

И, возможно, эта треть важнее, чем сами тесты и тестирование вообще.

---

Мицукэру-моногатари [08]

В декабре мы были в командировке долго, поэтому на с'ёмную квартиру кое-что купили. Например, нормальную доску для резки. За 100 рублей. Потому что комплектная была кривая, резать на ней было невозможно.

Приехав в феврале на тот же адрес, мы обнаружили, что доска исчезла. Старая кривая доска была на месте. Штош.

В апреле я был один. В середине недели мне позвонила хозяйка и сказала, что хочет переселить меня на другой адрес. У неё было несколько квартир под сдачу. Я не стал сопротивляться -- другой адрес был рядом.

И вот захожу я в квартиру, открываю кухонный шкаф -- и вот же она!

Вывод мог быть только один. Доску переместила хозяйка. Была ещё парочка пропавших предметов с первого адреса, но на втором их не было. Возможно, они переместились на третий...

---

Как меня лечили от простуды

Ситуация: с момента остеосинтеза прошло уже десять дней. Чувствую -- что-то не так. Померил температуру -- 37,5. Ночью поднималась до 38,3. Шов пощипывает. Я начинаю читать интернет про воспаление швов и костей.

А утром иду в травмпункт на перевязку. Рассказываю, что у меня случилось. Доктор снимает гипс и изучает шов. Всё нормально! Говорит, что температура не связана с рукой.

"А если температура будет продолжаться, то мы вас госпитализируем! Так что не болейте!"

Тем временем, через день ночью температура доходит уже до 39, причём со стороны перелома температура всегда на полградуса выше. Появляется кашель, пропадает голос. Я нахожусь в сомнениях, однако склоняюсь к простудному генезису температуры. Начинаю пить АЦЦ (ацетилцистеин), отхаркивающее.

Философски это меня навело вот на какую мысль. Казалось бы, перелом руки -- серьёзная травма. Но она мне не доставляет особых хлопот. А вот из-за банальной температуры я не могу ничего делать. Я не могу думать. Так что если физическое состояние угнетает ментальное, то это гораздо сильнее сказывается на продуктивности, на качестве жизни, чем если ментальное состояние остаётся неизменным.

Прихожу в травмпункт опять. Доктор другой. Опять всё ему рассказываю. Он в больницу класть не хочет, говорит, что уверен, что это не из-за руки. Идите к терапевту!

***

Это всё была предыстория. А теперь история.

Иду в поликлинику. Там отдельный вход для пациентов с ОРВИ. Захожу к доктору. Рассказываю ему всё. Он тоже говорит, что дело не в руке. Забегая вперёд, скажу, что дело было действительно не в руке.

Сделал тест на коронавирус -- конечно, отрицательный. Дал листочек с назначениями (разрешил пить парацетамол начиная с 38,0, а не 38,5!). А потом сказал вот что.

Что надо отменить АЦЦ. Потому что АЦЦ предназначен для облегчения отхождения густой мокроты. А у меня в целом кашель сухой. Лучше пусть кашель будет сухой, потому что мокрым можно себя и до тошноты довести. "АЦЦ слишком эффективен".

В общем, взял я листочек с назначениями, вышел и сделал страшную вещь.

Я послушался доктора.

Я пошёл в аптеку и накупил то, что он мне выписал, не прочитав в интернете описаний. Потратил на это я 3.5 тысячи. Не знаю, может дело было в температуре?

Уже дома я посмотрел, что же он мне прописал. Оказывается, вместо единственного работающего препарата ("слишком эффективен"!) мне рекомендовали четыре разных арбидола по 900 рублей каждый.

Ингавирин. Противовирусное. Входит в расстрельный список.
Ренгалин. "Лечение кашля". Гомеопатия. Входит в расстрельный список.
Тонзилгон. Исключительно растительного происхождения. Мне, правда, говорят, что он работает.
Полидекса, спрей. Входит в расстрельный список по категории "спреи с антибиотиками". Но зато содержит дексаметазон.

Что ж, я отменил АЦЦ и начал пить всё, что мне сказали. Температура продолжалась.

Кашель действительно стал сухим. И это оказалось просто ужасно. Я кашлял всю ночь, нифига не поспал. Утром кашель у меня уже был до тошноты, как и обещал доктор. Только доктор обещал кашель, если я буду пить АЦЦ. Я же его получил после отмены АЦЦ.

У меня включилась логика. Я потянулся за запрещённой шипучей таблеткой.

Преимущество АЦЦ, в отличие от бромгексина, в том, что он начинает действовать сразу, а не через два дня. И, как мы помним слова доктора, он "слишком эффективен".

Уже через три часа я получил свой мокрый кашель. Это было так:
-- кашель стал звучать просто ужасно
-- кашлять стало больно
-- но зато! я откашливался за 1-3 кашля, а не за 15
-- и пауза между приступами выросла с 30 секунд до 10-15 минут.

А за это время уже можно было чем-то заняться.

В общем, неправ был доктор.

Температура длилась 5-6 дней, потом нормализовалась. Простуда проходила по совершенно нетипичному графику. Что это было, я так и не знаю.

Любопытные факты о сухом кашле: мой папа сказал, что он при помощи сухого кашля заработал себе паховую грыжу.

---

О пользе пауэрбанков

Пару лет назад я купил сразу два больших пауэрбанка (сяоми на 20000). Политическая обстановка была напряжённая, поэтому брал я их на всякий случай. Думал, что пожалею. Но не пожалел.

Почему два? Потому что один "активный", а другой "на зарядке". Из-за большой ёмкости активный не успевает разрядиться к моменту зарядки второго. Поэтому у меня всегда в наличии есть заряженный пауэрбанк.

А что касается использования... казалось бы, какая ерунда. Гонять туда-сюда электроны, сначала из розетки в банк, потом в устройство... но нет.

Я заметил, что использую пауэрбанк не экстренно, а рутинно. Это тупо удобно. Лежишь в кроватке с телефоном -- не надо тянуть кабель к розетке (может, ещё и с удлинителем). Сидишь на работе не вплотную к розетке -- и телефон при себе, а не где-то на полочке. Ну и самое главное -- я заряжаю телефоны тогда, когда их пора заряжать. А не тогда, когда я оказался рядом с розеткой.

---

Польза автоматической перезагрузки

На связь выходит пользователь и жалуется, что он иногда подключается удалённо к прибору, а наше ПО закрыто.

Я, конечно, первым делом лезу в Event Viewer. Там я нахожу STOP 0x124 WHEA_UNCORRECTABLE_ERROR. Три раза за два месяца. Такого я раньше не видел. Отвал процессора?

Обычно я на всех компьютерах при первичной настройке отключаю перезагрузку при синем экране. Потому что перезагрузка это неинформативно, а синий экран -- информативно. Но если бы я отключил перезагрузку этому пользователю, он бы оказался в затруднительном положении, поскольку в один из моментов не смог бы подключиться удалённо.

Но... может быть, это было бы к лучшему? Потому что он бы забил тревогу раньше.

Погуглив, я увидел какие-то слова про перегрев.

Ставлю ему мониторинг температуры. Процессор показывает нормальную температуру, 60 градусов. Зато все остальные датчики показывают... 112 градусов! Может, конечно, и датчики сбоят. Сложно себе представить, чтобы 3-4 датчика, расположенные в разных местах, показывали одну и ту же температуру. Но показания датчиков не "залипшие", меняются туда-сюда на пару градусов. Не синхронно.

Отправил его проверять вентиляторы и щупать внутренности корпуса.

---

Mushoku Tensei: Isekai ittara honki dasu 25 (00), 26-37

Продолжаю сквозную нумерацию.

О чём

Этот сезон посвящён тому, как Рудеус отправляется в Хогвартс, чтобы вылечить там свою импотенцию.

Что думаю

Сериал продолжает катиться по наклонной -- медленно, но верно. Он по-прежнему весьма хорош, но далеко не так, как предыдущие серии. Первые серии этого сезона были вполне "в стиле", но учёба в Хогвартсе получилась во многом школьной комедией. С нюансом.

Нюанс я написал выше. После психологической травмы в 22-23 сериях Рудеус получает ещё одну, обнаружив у себя импотенцию в не слишком подходящий момент. Потом ему приходится всем про это рассказывать -- тоже травма. В общем, всё это довольно чудовищно.

Место действия тут одно -- это школа магии. Поэтому и персонажи более-менее постоянные. Не мельтешат. Помогает ли это их раскрыть? Нет, потому что персонажей много. При этом мало кто из них достоин упоминания. Кошечки? Заноба, который взялся за ум после того, как ему выдали лоли? Шива-юморист? Это всё проходняк.

Болтливый Фитц.

Мы с самого начала знаем, что Фитц это Силфи, а Рудеус не знает. На этой интриге сезон во многом и держится. Достойна ли упоминания Силфи? К сожалению, да. Она менее интересна, чем персонажи прошлых сезонов. Может быть, даже менее интересна, чем Силфи в детстве. Почему? Потому что она не выросла за лето. И я не столько про её формы, сколько про её содержание. Есть, есть в ней целеустремлённость. Внутренний стержень, так сказать (гусары!). Но это у неё и в детстве было. И ничего нового не прибавилось. Другие персонажи прошли через миллиард приключений и внутренних конфликтов. У неё за то же время их было примерно три.

Конечно, такой и должна быть жизнь простой девочки-подростка. Но не в приключенческом аниме.

Что ж, Силфи. Ты всё-таки проходишь. На три с минусом.


Рекомендации

Не скажу.

Скриншоты

(скриншоты)

Alright internet let's see what ya got.


То, что Сильфи миленькая, во многом спасает ситуацию. Но в приключенческом сериале персонажи не должны выигрывать за счёт своей милоты.


Это они идут по глубокому снегу на ходу растапливая себе путь. Смотрите, у обоих хохолки.


Бухать в академии разрешено. Официально.


Публика разношёрстная. В прямом смысле. Ещё и зомби какой-то затесался.


Помни, палочка выбирает волшебника.


Когда за тобой пришёл Хагрид.


Вот это качком он стал. Страшное дело.


Миленькая яндере.


Безбашенный мечник неожиданно оказывается неплохим психотерапевтом.

---

Как я протёк сам на себя -- и что я при этом узнал

Очень длинный и скучный текст.

Это было ещё в конце марта. Я сидел на работе, а папа зашёл в квартиру. В одной из комнат он почувствовал острый запах сырости.

Текла батарея. Он подставил таз.

Вечером пришёл я и стал оценивать происходящее. На паркете была лужа. Капало довольно бодро -- 2-3 капли в секунду. Капало из места, где на батарее уже был хомут. Папа предложил с'ездить в мурлен и поискать хомут пошире. Но темпы протечки вызывали у меня беспокойство. Я не хотел откладывать устранение течи даже до завтра.

Поэтому я позвонил в диспетчерскую. Оказалось, что в Москве действует единая диспетчерская ([phone]), которая распределяет ситуации по местным диспетчерским, которые называются "объединенная диспетчерская служба", ОДС. И мой случай был в их компетенции.

Дело было в полночь. Уже через полчаса ко мне в гости заглянули три таджика. Они посмотрели на течь и поставили хомут. Бесплатно. Узкий. Вплотную к старому. Э, это я мог и сам сделать! Ну ладно, инцидент был исчерпан, но записываю я всё это не ради инцидента.

А ради рассказа о составлении акта. Акта о протечке.

Известно, что акт о протечке составляется в случае протечки. И он должен быть составлен в течение суток с момента протечки. На практике всё оказалось не так просто.

1. Сначала я спросил про акт у таджиков. Они, естественно, мне ничего составлять не стали. Сказали, что нужен инженер, обращайтесь в УК.
2. Назавтра была суббота. Я попытался дозвониться до УК, но они в субботу не работали.
3. Я попытался позвонить в ОДС, но все их телефоны в интернете оказались неправильными.
4. Тогда я позвонил в единую диспетчерскую ещё раз и оставил отдельную заявку на составление акта.
5. После этого мне опять перезвонили из ОДС и сказали, что техник будет только в понедельник.

Короче, оказалось, что составить акт в течение суток невозможно.

Зачем мне вообще сдался этот акт? Считайте это капризом или предосторожностью. Я хотел иметь на руках документ о том, что у нас была протечка. О предыдущих хомутах у нас ничего не было. Скорее всего потому, что мы устраняли протечки самостоятельно.

В понедельник я работал удалённо, и спокойно ждал, пока со мной свяжутся. Но со мной не связывались. Я позвонил около 13 часов и мне сказали, что про меня помнят, но раз это моя протечка, а не на меня, то такие акты составляются в течение недели (!). Но вы не волнуйтесь, вам позвонят заранее.

В понедельник я никого не долждался. Во вторник я работал очно. Со мной связались в 13 часов и сказали, что инженер для составления акта подойдёт в 14 (!) часов. Вот что такое заранее. Я сказал, что нет проблем. И отправил десант -- свою сестру.

Инженер оказалась очень недовольна... всем. Во-первых, тем, что её вызвали составлять такой пустяковый акт. Во-вторых, она пыталась понять, зачем нам вообще это надо. Страховку получить? В-третьих, она сестре рассказала, что мы сами виноваты в протечке, потому что это не стояк.

Это был тонкий момент. У нас стоят советские батареи, вентили на которых не функционируют с 1985 года. А на некоторых батареях вентили отсутствуют вовсе. Как известно, граница ответственности проходит по первому вентилю. Но что если, например, на верхней половине батареи вентиль есть, а на нижней нет? Если вентиль не функционирует? Всех этих моментов я не знал, и хорошо, что я над ними задумался в такой пустяковой ситуации.

И что, моя сестра составила с инженером акт, все танцуют? Как бы не так.

Ей сказали, что надо подойти по такому-то адресу через неделю. А это был адрес ОДС, но не нашей, а соседней.

Прошла неделя. Захожу я по адресу и попадаю... в длинный тёмный коридор с мигающими лампами. Иду по нему и вижу единственную открытую дверь. Там сидит женщина, а за спиной у неё огромный щит с ключами. Ключи подписаны типа "Подвал дома 5". Я постоял в дверях, но женщина не обратила на меня внимания.

Я пошёл дальше, нашёл ещё одну открытую комнату с более контактной сотрудницей. Она мне об'яснила, что надо вернуться обратно и поговорить с неконтактной.

Та долго листала стопку бумаг, потом нашла мой акт, я расписался на двух экземплярах и один забрал с собой.

Что я из этого вынес?
1. Акт надо читать внимательно, когда подписываешь. Уже дома я обнаружил, что площадь комнаты составляет 2,0 кв. м.
2. Акт надо читать внимательно, когда подписываешь. Акт был составлен на мою сестру, а не на меня. Это не большая проблема в том смысле, что мы оба собственники, но это большая проблема, поскольку подпись-то была моя. Акт должен получать тот же, с кем он составлялся!
3. Советские батареи надо менять. Тогда я буду хотя бы уверен, где на самом деле граница ответственности. И буду отвечать за то, что действительно находится в моей власти, а не непонятно, за что.

***

Говорил потом с соседом снизу. Он осмотрел свой потолок и никаких следов протечки не нашёл. Это было очень хорошо. Толщина перекрытий нас спасла.

---

Если не знаешь, что посмотреть

Записываю для истории -- что происходит в шортсах ютьюба по аниме-тематике.

Примерно год назад появилось такое явление. Люди вырезают из аниме какую-нибудь сцену и делают из неё короткий ролик. Вроде, ничего необычного, да? Но у этого есть несколько особенностей:

1. Это не единичное явление, таких роликов сотни.
2. Это всегда осмысленная сцена, а не просто случайный момент.
3. Это всегда русская озвучка.
4. Ни в заголовке ролика, ни в нём самом нет никакого указания на тайл. Часто указание есть в первом комментарии. Но не всегда!
5. Я смотрю аниме много лет, но почти всё, что попадает в такие ролики -- для меня в новинку.
6. -- добавляют читатели, что на фоне часто добавляют фонк

Что за люди этим занимаются и с какой целью -- пока не понял.

---

Лодочка для благовоний

Это моя сестра постоянно благовония возжигает, а я только иногда. И у меня есть лодочка.

Что я хочу про неё записать -- скорее для себя, чем для других? Что пепел надо из неё выбрасывать сразу, а не "фиг с ним, завтра выброшу".

У меня уже миллиард раз было, когда я эту сраную лодочку зацепил рукой и весь пепел высыпался на пол.

---

Что может неожиданно пригодиться в больнице

К сожалению, больница впечатлила меня очень сильно. Хотя я написал не менее шести постов, материал ещё не исчерпан. Сегодня практический момент.

Я догадывался, что меня могут госпитализировать, поэтому пакет собрал заранее. Во многом я просто переложил самые важные вещи из командировочной сумки в небольшой пакет. Но были и отличия. О том, что некоторые предметы нужны, я догадался позже, когда уже лежал.

Лучше, конечно, всё собрать сразу, чтобы не гонять родственников лишний раз.

Итак, мыльно-рыльное, шмотки, тапочки, кружка, зарядки -- это понятно. А ещё?

1. Мультитул.

У меня был Victorinox Rambler. Можно, конечно, взять с собой аццкий кухонный нож, но важнее не сам нож, а дополнительные инструменты. В первую очередь -- ножницы. Но открывалки, отвёртки, плоскогубцы, пилочка для ногтей -- это всё может пригодиться. Я неожиданно прикрутил ручку у окна, например.

2. Наушники.

Я почему-то забыл их взять с собой. А не весь звук желательно запускать громко.

3. Свой градусник.

Разносят градусники 1-2 раза в день, и градусники ртутные. В то время как вы можете хотеть мерить свою температуру почаще. И поудобнее. Плюс, у меня градусники доверия не вызывали, поскольку показывали подозрительные результаты. Например, у одного в палате должна была быть сильно повышенная температура, а у двоих нормальная. А градусники показали у всех троих 37,0 .

4. СКРЕПКА

Манипуляции с симками -- это то, что с высокой степенью вероятности придётся проделывать. При этом у мед. персонала ни скрепок, ни уж тем более специальных ключей для смартфонов нет. Когда соседу понадобилось поменять симку, мы оказались в затруднительном положении. Проблему удалось преодолеть следующим образом: мы взяли проволоку, которой были обмотаны мои наушники (такая проволочка, которой при упаковке заплетают кабеля для новых устройств). Ножичком очистили её от пластика. Потом скрутили спирально в два раза. Жёсткости оказалось достаточно, чтобы выдавить лоток.

5. Сахар 100 г

Утром приносят чай с сахаром в пакетике. Пьёшь сладкий чай. А вечером приносят кефир без сахара. И ты такой э! Лучше бы я тот пакетик сохранил! Я так делать и стал. Но удобнее просто иметь запас.

6. Рулетка 1м

"А 20 см это сколько? А 30? А 35?" Пошли к медсестре, она нам нашла линейку.

Кто что добавит?

---

Да я просто первый день работаю

Со своими руками, мамиными ногами и командировками я немного поездил на такси по Москве, чем несколько лет не занимался. Кое-что изменилось.

Во-первых, у меня складывается впечатление, что теперь в любое время и в любом месте повышенный спрос. Утром, днём, вечером и ночью.

Во-вторых, положение машин частенько отображается неправильно. Это ожидаемо, но когда машина стоит на месте 5+ минут, и водитель не отвечает в чат -- это плоховато.

***

Вызвал такси. Показывало, что машина рядом. Машина стала удаляться. Удаляться. И поехала вообще неизвестно куда. Пишу в чат:

"Вы едете? Показывает, что вы уже за Савёловский уехали".
"Не показывает, где вы. Вы рядом?"
"Нет. Я на Нижней Масловке".
"А где это?"

Он угорает? Масловка -- это часть ТТК, одной из основных магистралей. Можно ли работать в такси и не знать, где Масловка?

А если место забора не показывает, то это глюк. Заказ я отменил. Или этого водитель и добивался, изображая дурачка?

У следующего водителя спросил, бывало ли, что не отображает точку забора. Он сказал, что с такими глюками ещё не встречался...

---

Скрытность 100%

Пока лежишь в больнице, неизбежно видишь определённое количество треша. Так что, если вы -- чувствительная натура, скажите себе "стоп".

Перед отбоем мы с соседом по палате решали, что делать с дверью -- оставить открытой или закрытой. И решили оставить открытой. Сосед лежачий, поэтому я встал и открыл дверь.

Ночью сосед меня будит и говорит -- глянь в коридор. Я глянул.

Посередине коридора, прямо напротив двери, на полу лежала старушка. И слегка шевелилась.

"Я уже вызвал медсестру, но она что-то не идёт. Сходи, поищи!"

Я срочно вышел из палаты, и в этот момент увидел, что к старушке как раз направляется медсестра.

Это было хорошо. Значит, о ситуации уже знают сотрудники. Я пошёл обратно, лёг, но продолжил смотреть в коридор.

Медсестра склонилась над старушкой.

"Что вы здесь делаете?"
"Я... шла в туалет... а обратно как? Я дорог-то тут не знаю..."
"А куда вы ползёте?"
"На второй этаж... в издательство".

Мы были на четвёртом.

Медсестра, конечно, не могла справиться одна с под'ёмом старушки. Но она помогла ей сесть.

"Не переживайте, сейчас подойдёт помощник, и мы вас отведём в палату..."
"А вы кто? Спасатель?"

В этот момент я понял, зачем всем больным на руки надевают браслеты с ФИО. Этой старушке не удалось уползти далеко. Она была из соседней палаты. Но люди с деменцией могут быть крайне активны. Она могла и из другого отделения приползти!

---

Бояны и новая искренность

В детстве мне подарили задачник Г. Остера (с иллюстрациями Бурусова). Стоит ли говорить о том, что на долгое время он стал моей любимой книгой? Задачник был не только прорешен и прочитан, но и выучен наизусть.

Как родители догадались его подарить -- я не знаю, потому что, например, со стороны бабушки эта книжка встретился полное неодобрение. Просто чудовищными она считала задачи о том, как трое детей ещё не научились плавать, а двое уже утонули.

Но, например, задача о том, как Ляк нафунял 284 жужи, а Кляк только одну, да и ту нылую (с наглядной картинкой), полна житейской мудрости.

Творчеству учит другая задача об учёном с мировым именем Иннокентий, который изобрёл ботинки без подошв, чтобы тайком от всех ходить босиком.

Я не просто ностальгирую. В данном конкретном случае прошлое связано с настоящим и будущим. В телеграм-каналах и статьях из интернета я периодически встречаю фотографии из этой книжки в разных изданиях. Где-то это преподносится как смехуёчки, где-то как "ну и тупые учебники пошли". Но явно не все знают, откуда это и для чего предназначено.

(Дорогие ребята, эта книжка нарочно называется "Задачник", чтобы её можно было читать на уроке математики и не прятать под парту.)

Это-то и делает Задачник не просто развлечением, но классикой.

---

Знак "меньше" на diary.ru

В этом тексте под "исходным кодом страницы" понимается HTML-код. То есть то, что вы видите после нажатия Ctrl+U в браузере.
Под "текстом поста" понимается то, что вы видите при нажатии кнопки "редактировать", если у вас отключены все визуальные редакторы.

***

После перехода на новый движок некоторые заметили, что не так-то просто написать знаки "больше" и "меньше" в тексте. Они могли пропадать, могли портить остальное форматирование, а могли и отображаться нормально. При этом со знаком "меньше" проблем было БОЛЬШЕ. В чём же дело?

Эти знаки, находящиеся внутри постов, переходили в HTML-вывод "как есть". А в HTML эти знаки обозначают разметку. Если эти знаки стоят в тексте, то при неудачном расположении они могут быть восприняты как (ошибочные) теги.

Раньше в дайари работала хтмл-подстановка. Можно в тексте поста вместо < было написать < Тогда в выходную страницу вместо знака попадала подстановка, которая не опознавалась как тег. Вместо этого она преобразовывалась в символ "меньше", причём делал это браузер. Но в исходном коде страницы было видно, что там написано "<".

Разработчики дайари на новом движке подложили пользователям небольшого поросёнка. Теперь если вы пишете в тексте поста <, то это сохраняется как есть (при редактировании поста вы видите эти символы). Но при выдаче поста хтмл-подстановки раскрываются самим движком дайари!

И в исходный код страницы вместо < попадает просто символ "меньше", которого там быть не должно. Таким образом старый (и законный) метод борьбы больше не работает. Можно ли с этим что-то сделать?

Долгое врем я думал, что нельзя. Пока не открыл таблицу хтмл-подстановок. ОКАЗАЛОСЬ, что:
1. Не только "больше" и "меньше" имеют подстановки. Есть много других символов!
2. Дайари при чтении поста из базы преобразовывает не только "больше" и "меньше".

Итак, задача. Написать такой текст, чтобы на выходе получить последовательность символов <

В списке подстановок мы находим:

& -- &

Вот и решение. Изначальный амперсанд может быть заменен на подстановку, таким образом дайари заменит только её, оставив часть lt; в покое.

То есть,
1. мы пишем в посте < ,
2. которое дайари преобразует при загрузке страницы в < ,
3. которое браузер отображает как <

Я теперь даже такое могу писать: <b>strong</b> и это не будет преобразовано.

---

SHINSEKAI: Revolution

Скрипты для скачивания дневника: github.com/zHz00/diary_ru_dump
Удобочитаемый дамп МОЕГО дневника (400 MiB): github.com/zHz00/zhz_diary_obsidian
То же, но без картинок (40 MiB): github.com/zHz00/zhz_diary_obsidian_nopics

В принципе, должно работать для любого дневника, даже со старым дизайном, но сейчас это не протестировано. Тесты будут следующим улучшением!

Скрипты для скачивания дайари я сделал в конце 2021 года. В 2022 немного улучшил. В 2023 почти не трогал. Но в 2024 их пришлось серьёзно доработать. И вот из-за чего это произошло.

(читать дальше)

Как известно, на дайари за спамом не следят. Жалуйся-не жалуйся -- толку нет. Меня беда долгое время обходила стороной. Но 29 февраля 2024 года на моём дневнике были размещены более 80 спам-комментариев. Обнаружив это, я временно закрыл анонимам доступ к комментированию. А сам стал думать, что делать. Удалить можно и вручную, но это не систематическое решение.

Я решил процесс автоматизировать. А для этого нужно что? Тексты и метаданные всех спам-комментариев. А поскольку неизвестно, кто из них спам -- то нужны все комментарии вообще.

Если кто-то помнит, предыдущая версия скриптов качала только мои посты и картинки. А Xersareeth писал, что без комментариев нещитово. Настало время исправить эту ситуацию.

Основные улучшения:

1. Хранение информации в БД.
2. Скачивание комментариев
3. Анти-спам (полуавтоматический)
4. Календарь -- ещё не показывал!
5. Улучшены перекрёстные ссылки
6. Репост в телеграм.

1. Хранение информации в БД.

Какая у меня модель хранения дневника? Она состояла из двух независимых хранилищ.

Первое хранилище -- это скачанные посты в HTML и их метаданные. Это сырые данные, не предназначенные для чтения человеком (мной).
Второе хранилище -- это каталог Обсидиана с маркдаун-файлами. Там всё человекочитаемо. Можно открывать Обсидианом, а можно любым текстовым редактором. Там уже проставлены ссылки на другие посты, на локально скачанные картинки, есть кое-какая навигация и т.п.

Соответственно, первым этапом скачиваются самые новые страницы дневника и обновляются данные в первом хранилище. После этого запускается преобразование -- и получается второе хранилище. Второе хранилище можно даже редактировать из Обсидиана, но смысла в этом нет. Изменения не синхронизируются обратно. Более того, при каждой попытке преобразования обсидиан-храналище удаляется и собирается заново.

Я себя не раз хвалил за такую модель, потому что преобразовать в маркдаун можно разными способами. Если бы я сразу преобразовывал, после каждого изменения алгоритма пришлось бы перекачивать весь дневник.

Но была и проблема. Первое хранилище у меня было в виде отдельных файлов на каждый пост. И ещё по одному файлу с метаданными. Это около 10 тысяч непонятных файлов. Если бы я сохранил такую же модель при скачивании комментариев, я бы припух (отдельный файл на каждый комментарий и отдельный на метаданные?). Поэтому я решил, что всё теперь будет храниться в одном файле. Это будет БД SQLite.

Это не первая БД, которую я запилил. Допустим, третья. В базе шесть таблиц и три индекса. Выглядит это так:

Побочным эффектом создания БД стало то, что я теперь мог удобно листать БД с помощью стороннего софта (например, DB Browser), искать там по любому полю, а также писать запросы типа такого:

Данный запрос показывает топ-10 моих самых активных комментаторов (включая меня самого).

Постоянная доступность подобных возможностей сразу добавляет 100 очков к ощущению крутости.

2. Скачивание комментариев

Скачивание комментариев гораздо более трудоёмко, чем скачивание записей. Когда качаешь записи, можешь скачать сразу по 20 штук, потому что на странице 20 записей. При таком подходе полный дамп моего дневника занимает всего несколько часов, при паузе между запросами в 60 секунд (такая большая пауза, безусловно, излишняя; практика Urban Knight показывает, что паузы в 5 секунд достаточно). Для скачивания комментариев же надо зайти в каждый пост. На текущий момент их 4700.

В общем, первое скачивание всех комментов длилось 2-3 дня. К счастью, благодаря тому, что я комменты храню в БД, необходимости повторных скачиваний старых постов не было. Я мог скачивать в несколько приёмов. Так делать и пришлось, т.к. в комментах обнаружились неоднородности, приводящие к падениям скрипта.

Немного статистики.

Всего на моём дневнике оставили 19933 коммента (включая спам и мои собственные). Естественно, имея в своём распоряжении такой мощный инструмент, как SQL, я не мог не поиграть с SELECT DISTINCT и GROUP BY. А потом засунуть это в эксель. Вот статистика комментариев по годам:

Как видно, несмотря на то, что дайари загнивает, не загнивают читатели моего дневника! Уровня 2012 и 2015 годов (когда у меня активно тусовался Омега) достичь не удаётся, но с 2019 года наблюдается даже определённый рост. Что будет в 2024 -- непонятно. Прошло уже почти полгода, но сейчас сделано только 586 комментариев. Уровень 2023 года вряд ли будет превышен.

Далее, процент моих ответов:

Как видно, с 2020 (или даже с 2017!) процент моих ответов неуклонно снижается. Но это не потому что я кого-то игнорю. Я действительно редко отвечаю сразу. Обычно я жду нескольких комментов, чтобы ответить всем. Тем не менее, случаи позднего ответа (через 2-3 недели) или игнора у меня действительно случаются, увы.

Что с картинками? Мои скрипты универсальны, они автоматически выкачали все картинки из комментариве. Для этого не пришлось даже вносить модификаций. Всегов в комментариях было оставлено 660 уникальных картинок, включая смайлики (которых было 101, и которые, конечно, повторялись). Не менее 205 картинок оказались битыми. Таким образом, было спасено примерно 300 полезных картинок.

Из них при заливке на гитхаб 4 штуки пришлось зацензурить, чтобы не было проблем с их администрацией.

Философская проблема, которая передо мной стояла, заключалась в том, куда эти комментарии деть в обсидиан-хранилище. Можно было каждый комментарий пихать в отдельный маркдаун-файл. Можно было сделать пост отдельно, а комментарии вторым файлом. И, наконец, можно было в одном выходном файле держать и сам пост, и все комментарии.

Минусом всех трёх подходов являлось то, что файлы постов в обсидиан-хранилище будут изменены по тексту, при этом не изменившись по сути. Даже если не хранить комменты в том же файле, что и пост -- потребуется какая-либо ссылка на комментарии, чтобы их можно было удобно прочитать из самого поста. А это опять означает изменение файлов постов.

А почему я не хотел, чтобы файлы постов изменились? Потому что я загружаю обсидиан-дамп в Git. Особенность гита заключается в том, что при изменении файла он грузит не дифф, а полностью новую версию. Это означало, что все 4700 постов у меня будут не только изменены, но и заменены. Да и изменение в этом случае будет совсем неинформативно. Я пост-то не редактировал, а будет написано, что пост изменён.

Но поскольку это бы произошло в любом из трёх сценариев, я выбрал наиболее удобный, по моему мнению вариант. А именно -- общий файл на пост и все его комментарии. Побочным положительным явлением являлось то, что я удалил особую функцию, которая убирала/добавляла пробелы в некоторых местах постов только ради того, чтобы посты не отображались изменёнными из-за различий в whitespace.

Различие это возникло из-за перехода с парсера html.parser на lxml.

Теперь посты выглядят вот так:

3. Анти-спам

Изначально вся эта канитель затевалась именно с целью анти-спама. Но есть и вторая сторона: не только анти-спам требует скачивания комментариев, но и скачивание комментариев требует анти-спама. Почему? Потому что весь спам необходимо удалить перед заливой к гит. Там должны быть только осмысленные комментарии от людей.

Спам, который приходит на дайари, имеет одну характерную особенность. А именно -- спам приходит только в очень старые посты (2015 год и ранее). Я не знаю, почему это происходит, но это очень удобно для создания анти-спама.

Проанализировав последствия атаки 29 февраля я пришёл к выводу, что сравнение даты коммента и даты поста даёт очень хороший результат. Это определяет ВЕСЬ спам, даже тот, о котором я не знал. В том числе были найдены спамные комменты, у которых ссылка была невидимой. Вот, например:

Было и много ложных срабатываний, потому что люди иногда действительно оставляют комментарии в старых постах. Как я решил эту проблему?

У каждого коммента в БД есть два флага: DELETED и NOT_SPAM. Если комментарий старше полугода и написан анонимом, то он попадает в список подозрительных. Я вручную проверяю все такие комментарии. Если я вижу, что комментарий всё-таки настоящий, я помечаю его как NOT_SPAM. Это надо сделать один раз. После этого он больше не будет отображаться как подозрительный. Если же я вижу, что это спам, то он помечается как DELETED. При этом посылается запрос на дайари, который действительно удаляет комментарий. В БД комментарий остаётся, однако не попадает во второе хранилище, т.е. не отображается в Обсидиане и не заливается на Гит.

Для проверки подозрительных комментариев я сделал специальный псевдо-интерфейс:

Чтобы его получить, надо запустить diary_edit.py . Он автоматически докачает новейшвие посты и комментарии, а потом покажет список подозревамеых.

Я тестировал анти-спам 22 дня. За это время я получил 71 спам, это 3.2 спама в день. При этом 59 спамов было в одной записи, это 83%. В других записях было 12 спамов, это всего 0.55 спама в день. Что же это за запись, в которой было 59 спамов? Это пост, посвящённый вирусу phone-a.exe (diary.ru/~zHz00/p175700055_phone-a-exe.htm). Точнее, это не не совсем вирус, но это не имеет особого значения. Важно, что спаммерские скрипты В ПЕРВУЮ очередь нацелены на этот пост.

Я решил эту проблему административно. Я запретил комментарии в этом посте.

4. Календарь

Календарь как в дайари я сделал давно. Но с тех пор улучшил его неоднократно. Сейчас он выглядит так:

В начале есть список годов. В каждом году есть ссылка, возвращающая в начало. Дни, в которые сделано больше одного поста, подсвечены жирным. Если навести мышку на день, сразу увидишь начало поста. Для дней с несколькими постами виден список, там тоже можно навести мышку. Это выглядит так (красный кружок дорисован в пейнте):

5. Улучшенные перекрёстные ссылки.

Ссылки между постами работали давно. Сейчас же у меня появилось 20 тысяч комментариев. Что с этим делать?

а) теперь есть ссылки на комментарии. Оказалось, что Обсидиан поддерживает ссылки на блок внутри поста, если у того есть уникальный идентификатор. Что может быть уникальным идентификатором комментария, если не его номер? Сделано.
б) оказалось, что у меня есть ссылки на тег. До этого момента такие ссылки вели на дайри. Но это не слишком хорошо, потому что в хранилище Обсидиана и так у меня генерируются мд-файлы, содержащие ссылки на все посты по любому тегу. Сделано.
в) ну и ещё у меня были две ссылки на СПИСОК тегов. И для этого мд-файл у меня тоже есть. Сделано.

Вот как выглядят внутренние ссылки на комментарии:

При клике происходит переход к самому комментарию:

Символы ^c... видны только в режиме редактирования. Это маркер блока. И с ним связана одна неприятность. Ссылку можно дать только на блок. Если комментарий состоит из нескольких абзацев, то отображаться при наведении будет только последний, потому что маркер, соответствующий всему комментарию, я присваиваю именно последнему блоку. В данном случае мне повезло, что я ссылался именно на последний абзац.

Похоже, эта проблема неисправима. Можно попытаться выставить маркер для таблицы с метаданными, но тогда при наведении мышки будет видна только шапка комментария. Полезно ли это?

6. Репост в телеграм

Тут картинки мне показывать нечего. Я просто запускаю tg_start.py, а дальше он сам всё делает. А именно:

а) Если в посте были картинки, то они все скачиваются в основную папку дампа, что исключает необходимость их повторного скачивания в будущем.
б) Если пост довольно короткий, он постится в телегу сразу, вместе с картинками, которые грузятся как отделные посты. Короткий абзац после картинки считается подписью и попадает в тот же пост, что и картинка.
в) Если пост длинный, либо в нём много картинок, то он грузится на телегра.ф, вместе с картинками. В телеграм грузится только заголовок, теги и ссылка.

Защиты от повторного постинга нет. Вызов идёт только вручную. Полагаю, что в будущем следует сделать автоматический запуск этого скрипта, скажем, каждые 5 минут, с проверкой на наличие новых постов.

Для того, чтобы репост заработал, надо знать бот-токен телеграма, токен телеграфа и имя канала. Постинг в приватные каналы не поддерживается.

Что дальше?

1. Тесты, чтобы быть уверенным, что скрипты работают для любого днвеника, а не только моего.
2. Гуй

Я хочу, чтобы бэкап своего дневника на дайари могли сделать простые смертные, а не только нёрды. Мы хороним дайари много лет. Но однажды он действительно может умереть. К этому надо быть готовым.

---

Фиксики заняты другим

Оказалось, что на несломанной руке ногти растут примерно в два раза быстрее, чем на сломанной!

---

Вскрытие коробок с язычками

Таких коробок миллиарды, для примера вот коробка от мази:

Такие коробки мне всегда доставляли неудобство. Их невозможно открыть! Суть в том, что язычок 1 находится в зацепе с большим боковым языком 2 (обведён кружочком, целиком не виден). При попытке их расцепить рвётся либо вся крышка, либо язычок 1, либо мнётся крышка, либо основная коробка.

Для меня загадка, зачем делать такие язычки по бокам. Чтобы упаковка сама не открывалась? Но этого можно добиться и чисто на трении, если правильно подобрать размеры.

И по эстетическим, и по практическим причинам я хочу вскрывать такие упаковки не повреждая их. Может быть не слишком приятно, если в магазине открыл коробку, порвал язычок, а товар не подходит.

И, кажется, я нашёл метод. Мне помогает тупой столовый нож. Я вставляю его в щель между крышкой и остальной коробкой, по направлению красной стрелки. Дальше я могу им расцепить язычок крышки 1 и боковой язык 2, если надавлю на них в правильном направлении. После этого можно либо сразу открыть крышку, либо повторить с другой стороны.

И больше эту коробку никогда не закрывать, чтобы не пришлось проводить процедуру повторно.

---

Спам-блок в Телеграме: какие ещё ограничения я обнаружил

В предыдущей серии: zhz00.diary.ru/p221810691_opyat-polu-ban-v-tele...

За полгода спам-блок с аккаунта так и не сняли. Погуглив различные источники, я пришёл к выводу, что снятием блокировки, как и установкой, занимается нейронка. Надо писать ей петиции, чтобы она решила, что меня можно разблокировать. Я, однако, пока этим не занимался (две петиции не помогли).

А занимался я другим. В принципе, жить можно, но не слишком-то комфортно! Кроме невозможности назначения новых админов в чатах и каналах, я обнаружил неожиданны ограничения в личке.

Если у меня "взаимный контакт", то ограничений нет. Но если не контакт?

Я могу отвечать на пришедшие сообщения от кого угодно. Но разработчики телеграма полагают, что даже очень давние собеседники с очень большой хистори могут пострадать от моих действий. И сами собеседники с моей блокировкой справиться не смогут. Поэтому разработчики помогают со мной бороться. Вот какие ограничения у меня есть:
1. Если собеседник не написал мне ни одного сообщения за 3-4 недели, я больше ему писать не могу.
2. Когда бы собеседник мне ни написал сообщение, после этого я могу написать собеседнику 20 сообщений подряд. Всё. Дальше нужно ответное сообщение, при этом смайлик-реакция за ответ не считается.

Это не мешает при общении с людьми, с которыми у меня активная переписка (хотя может быть неудобно, что нельзя пересылать длинные диалоги из других чатов, но такая ситуация редкость). Но есть и другие люди, с которыми я общаюсь реже. Вот и получается, что я либо должен постоянно находиться под риском потери связи с такими собеседниками, либо я должен прямо просить добавить себя в контакты. Что я периодически и делаю.

Зато я могу:
1. Редактировать свои старые сообщения, даже если не могу отправить новые.
2. Ставить реакции.

Почему это не ограничивают -- непонятно.

---

Это не слёзы, это просто дождь

Поскольку я со своей рукой был ходячим, у меня была привилегия: я мог сходить в душ.

Душевая кабинка была своеобразная. Предполагается, что там будут мыться больные, но табуретки нет. Полочки внутри тоже нет. Есть верёвочка для вызова медсестры. Но эта верёвочка находится между стеклом кабинки и стеной. Дёрнуть её нет никакой возможности ни изнутри, ни снаружи.

И ещё один момент. Всем больным при входе надевают на руку бумажный браслет с ФИО и куэр-кодом. Снять его можно только порвав.

Я пошёл на пост, где состоялся следующий разговор.

-- А вот браслет у меня... он под водой не смоется?
-- Смоется.
-- А за утрату браслета санкции не последуют?
-- Последуют.
-- И как в душ ходить?
-- Пакет на руку наденьте.
-- Извините, пакет у меня будет на больной руке.
-- ...
-- Я вас понял.

В общем, браслет я заклеил скотчем.

---

Kaifuku Jutsushi no Yarinaoshi 01-12 END

Так, после различных приключений я готов возобновить вторничные обзоры. Этот сериал я смотрел в 22 году.

О чём

ГГ с неудобным именем оказывается "героем", но всё его окружение оказывается мудаками. Что с ним делают, описывать страшновато. А всё ради того, чтобы он молча выполнял свои геройские функции и остальным не мешал. Ну и ради тяги к садизму, конечно...

Но управлять миром можно и не привлекая внимания санитаров. ГГ долго копил силы и изображал паиньку, и смог дождаться удобного момента.

Теперь всё будет наоборот. Это будет по справедливости. А в чём справедливость -- решит уж сам ГГ.

Что думаю

Ну, это почти хентай. Месть ГГ довольно однообразна и связана с причинением телесных повреждений и изнасилованием.

И, надо сказать, что ощущения тут двойственные. С одной стороны, справедливость действительно должна быть восстановлена. С другой, ГГ на самом деле нездоров психически. Им во многом движет тот же садизм, который когда-то двигал его текущими жертвами. Более того, к "здоровым" конфликтам и "здоровому" насилию он неспособен. Поэтому он так радуется, когда находит повод для мести очередной жертве. Я про Норн. С ней и без всякой мести можно было разобраться. По рациональным, гуманистическим или политическим причинам. Но ГГ умеет только мстить.

Ребята те были похуже помёта
И ребята те вышли вон

Есть ли просвет в этом празднике жестокости? Есть.

ГГ имеет ненормальную психику потому, что его окружение было всё время ненормальным. Выйдя из этой зоны, он попадает в более приличное место. Тоже ненормальное, но лучше. И сам кое-как меняется. Ему хоть какие-то человеческие мысли начинают в голову приходить. Кто знает, что будет дальше?


Рекомендации

Для любителей жестокости.

Скриншоты

Тяжело собрать приличные скриншоты из сериала, состоящего во многом из хентая и насилия. Но я собрал.

(скриншоты)

Некоторые издевательства не показаны прямо. Предлагается вообразить.


Норн может изображать человеческие эмоции, но она настолько страшна, что даже остальные мудаки её боятся.


Кстати, ездит в дамском седле.


Тема демоницы не раскрыта. Второго сезона нет и не предвидится, придётся читать оригинал.


Эпизодическая участница гарема. Специально кадр с ней искал!


Тот самый мем.


Няшная ведь?


Ужас!


Я не могу (или не хочу) открыто публиковать сцены жестокости. Но я могу показать страх в глазах жертвы. И улыбку на лице мстителя.


Гарем почти в сборе. Почти.