Лайвлупинг, медиапродакшн и все эти ваши компьютеры: заметки с тегом КЭНК

Детектим версию WordPress без регистрации и смс

Wed, 15 Oct 2025 17:57:59 +0300

Пока большие свершения прячутся под NDA, расскажу небольшое ноу-хау про вордпресс.

Бессмертный девиз всех велосипедостроителей

Для выявления уязвимостей вордпресса есть хороший инструмент WPScan — тула, которая умеет показать проблемы в компонентах и настройке сайтов на базе WP. Даже с бесплатным тарифным планом Researcher и ограничением в 25 API вызовов в день, на небольших инфраструктурах или в личных целях вполне себе можно уместиться, а для базовой диагностики и ключа апи не надо.

Но что если по каким-то причинам WPScan вы пользоваться не хотите или не можете, а руками внутрь сайтов ходить неудобно, нельзя или некогда?

Грубо оценить ситуацию можно по версии ядра движка. Её косвенно, но с достаточной точностью, можно узнать по версиям включаемых в код библиотек и стилей, которые чаще всего доступны в коде страниц (если админ не заморочился этим отдельно). Лучше смотреть в код админки, но можно и на главной странице поймать полезное. Как правило в коде есть какие-то из строчек, по которым версия выявляется, вот подобранный эмпирически список шаблонов (добавьте свои по вкусу):

login.min.css?ver=
l10n.min.css?ver=
forms.min.css?ver=
buttons.min.css?ver=
dashicons.min.css?ver=
password-strength-meter.min.js?ver=
wp-util.min.js?ver=
user-profile.min.js?ver=
wp-emoji-release.min.js?ver=
style.min.css?ver=
meta name=«generator» content=«WordPress

Смотрим на примере рандомного сайта из интернетов по запросу „блог на WordPress“:

Детектор Версии Вордпресса из пластилина и крышечек от колы

Собираем всё что нашли, сортируем, выявляем самую старую. А дальше ищем её на ресурсе издателей WordPress — https://api.wordpress.org/core/stable-check/1.0/, и смотрим статус.

Версия 6.3.6 — так себе уже версия!

Почему это работает: идущие в комплекте стили и скрипты обычно обновляются вместе с ядром. А если на сайте старое ядро — то скорее всего админы не следят за апдейтами, и обновления плагинов уж тем более не ставят. А значит пришла пора прийти к админам с рекомендациями (или требованиями) обновить всё и засыпать дустом поверх.

Естественно, всё вышеописанное нужно делать силами роботов с помощью того любимого микроскопа для автоматизации, который у вас под руками, благо кода тут на один экран. В результате у вас получится бесплатный DIY-велосипед в лучших традициях КЭНК-подхода. Но лучше, конечно же, использовать нормальные инструменты.

Слава роботам!

Вестник бытовой ИБ-механизации

Tue, 12 Aug 2025 19:13:35 +0300

Добрый вечер, товарищи! С вами вестник бытовой ИБ-механизации. Сегодня мы берем интервью у слесаря-механизатора авэыксов второй категории, Кенколая Овечкина. Кенколай, расскажите про своё рационализаторское предложение.

Кенколай: ну дак это, тык-мык, как его, ну вобщем мы таски ансиблой крутим, а тасок столько, что и не усмотреть. А потом бригадир приходит в конце квартала и говорит, мол так-растак, почему серваки не обновлены? Ну вот я и думаю, нешто я робота на павершелле не запилю, который отчёты по апихе из AWX забирать будет, проблемы в них находить, да тикеты в джиру отправлять? Ну, знамо дело, сходил на «/api/v2/jobs/?started__gte=$Since», джейсон десериализовал, статусы отфильтровал, проблемы регескпом по ’FAILED’ и ’UNREACHABLE’ нашел и разделил, ну и в тикетомёт это всё.

Теперича один робот следит за тем как другой робот работает, и бригадира кожаного зовёт, ежели что не туда вильнуло. А ежели не вильнуло — то и спросу нет!

Спасибо, Кенколай! Ничего не понятно, но очень интересно! А в следующем выпуске мы обсудим как следить за протухающими сертификатами при помощи скриптов и едрени фени!

ExchangeDocSaver: еще одна история про людей и роботов

Thu, 05 Dec 2024 12:27:42 +0300

Несколько лет назад, за кружкой крепкого чая у мангала, мой старинный друг пожаловался на одну из обязанностей на работе: при общении с контрагентами по электронной почте у них возникают артефакты этого общения — счета и прочие документы — которые нужно из почтовых сообщений сохранять на сетевой диск. Причем в компании исторически сложился процесс документооборота, когда эти файлы должны попасть в свое место в иерархии сетевого диска, где за них уже неистово хватаются другие отделы, а иерархия эта не самая простая (хотя будущее место документа определяется по номеру контракта однозначно, по схеме «ну это все знают»).

В общем, выступает мой друг таким вот высокоинтеллектуальным сортировщиком и раскладывальщиком файликов, в фоне во время других (гораздо более сложных и изящных) задач по заключению договоров, преодолению препонов и прочих зарабатываний мильёнов. Ну натурально вот: придумал как привезти из стран заморских жирафа по частям, и чтобы по документам это была канарейка (задача безусловно творческая), а потом не забывай в течение пары месяцев доки по этому проекту из последующей переписки «правой кнопкой мыши — сохранить как — найти папку — блин где же она — а вот — сохранить»

А что — говорю ему я, потягивая чай у мангала — задачка-то похоже автоматизируется. Можно научить роботов пырить в почтовый ящик по Exchange Web Services (EWS) Managed API, находить непрочитанные письма, понимать какие из них содержат нужные документы (а какие — нет), а также к какому контракту они относятся, ну а по номеру контракта и место на сетевом диске найти можно. Контракт конечно может быть в письме и вложениях непонятно где упомянут, но раз человек справляется с поиском — то и робота настропалить на это дело сможем.

Естественно, согласно всем заветам планирования процессов разработки, реализация алгоритма заняла в три раза больше времени, чем задумывалось. Естественно, так как исходные письма посылают человеки, ошибающиеся и ненадёжные, и не все 100% сообщений оформляются как надо, часть писем (довольно малая) алгоритмом пропускается. Но в целом, за несколько дней рьяного кэнк-программинга с использованием наработанных ранее библиотек и с применением худших регулярок ever, был выпущен в прод робот, который начал 24 на 7 делать работу за человека. Робот, который не устаёт, не болеет и не обедает, который днём и ночью мгновенно реагирует на письма от контрагентов изо всех часовых поясов, который всегда кладёт файлы туда, куда надо, и позволяет человеку сфокусироваться на действительно сложных вещах.

На днях, после полутора лет успешной эксплуатации, комплекс впервые потребовал доработки из-за смены формата номера контракта на предприятии. Я дополнил алгоритм детектирования ID контракта новым шаблоном, попутно поправил пару замеченных косяков (и чуть выиграл в производительности), выкатил обновление — и клиент снова доволен, надеюсь что на следующие Х лет.

Детали реализации, код, ФИО счастливчика и название компании — под NDA, по очевидным причинам. Могу лишь сказать что при внимании к деталям и некотором опыте автоматизации под винду и Exchange, можно в таком направлении реализовать практически что угодно. Если вы ежедневно тратите время на работу с почтой, не решаемую обычным функционалом правил и другой автоматизации в почтовом клиенте — возможно, пришла пора переложить это на наших электрических братьев. Как-нибудь расскажу потом про конфеденциальную пересылку алертов из почты в телегу, тоже полезная штука.

Кожаные заняты делом, кремнивые — рутиной. Обожаю такое.

КЭНК! Слава роботам!

Отключаем перезагрузку Windows при обновлениях

Wed, 26 Jun 2024 16:29:18 +0300

В прошлый раз я рассказывал, как победил самопроизвольную перезагрузку винды в производственной среде. Но дома проблема так же актуальна — бесит когда смотришь с утра, что посчиталось в монтажке с новым концертом любимой группы, например, а на тебя в ответ смотрит свежеперезагруженный комп.

Итак, kenk-shift-active-hours или Бесконечный откладыватель авто-перезагрузки Windows при обновлениях

скрипт задаёт в качестве начала активных часов текущий час, а в качестве конца — время на 18 часов позже (это максимальная возможная длительность)
в комплекте идёт инсталлер, который копирует скрипт в профиль пользователя и создает задачу в планировщике, стартующую скрипт автоматически каждые полчаса
в итоге, система корректно сама ходит за апдейтами и устанавливает их, а также сигнализирует о необходимости перезагрузки для завершения обновления, но никогда не перезагружается сама

Отмечу отдельно что для домашнего использования такое (потенциально) бесконечное откладывание ребута приемлемо, я достаточно ответственен чтобы в короткий (но удобный мне) срок перезагрузить тачку.

Скрипт на гитхабе: https://github.com/alexbatishchev/kenk-shift-active-hours

КЭНК!
Слава роботам!

Сага о перезагрузках, или смекалка против власти корпораций

Tue, 18 Jun 2024 00:21:45 +0300

Сегодняшний рассказ — на мои любимые темы: как заставить роботов работать за людей, и как победить неумолимые корпорации с помощью их же инструментов. А ещё это реальный эксклюзив и ноу-хау, до которого (кажется) ещё никто не задумывался. Устраивайтесь поудобнее.

Предыстория такова: первой большой задачей на нынешнем проекте у меня было внедрить процесс обновления операционок на рабочих местах. Главная проблема тут в бесценности пользовательских данных и в том, как в борьбе за безопасность Microsoft перешла грань. Начиная с какого-то момента, штатными средствами и политиками Windows стало невозможно обеспечить обязательную, но бережную установку обновлений системы для клиентских ОС. Да, появились более наглядные нотификации, возможность задавать дедлайны, но в итоге, все варианты сводились к двум сценариям — либо апдейты не будут гарантированно установлены, либо автообновление будет работать, но комп может быть перезагружен в вообще говоря неудобное клиенту время. Самый отстой тут — перезагрузки по ночам или в другие моменты, когда комп что-то делает без активного участия человека — тут администраторы, программисты и прочие рендерщики видео по три часа в фоне начинают беситься, вспоминая потерянное на таких ребутах время и данные.

Собственно, рабочую задачу я решил через отключение всех автоматических политик Microsoft и реализации собственного решения — агента, который работает на хостах, по удобному предприятию и сотрудникам расписанию ставит обновления, назначает и следит за сроками установки, адекватно напоминает о необходимости перезагрузки и вообще решает задачу бережно и результативно. Ключевая фишка — умные дедлайны, когда на установку обновлений пользователю отводится некоторое количество рабочих дней, а принудительная перезагрузка (если до неё дойдёт) не происходит пока пользователя нет у компа, и он не может сохранить свои данные. Ну а попутно появился инструмент инвентаризации и управления клиенсткими машинами. Когда-нибудь расскажу об этом отдельно, кодовое имя проекта «Светофор».

Уведомление, которым Светофор достаёт даже самого упорного пользователя

Однако, с Windows 11 оставалась одна загвоздка — штатными средствами полностью запретить винде перезагружаться по собственному желанию, при включенной авто-установке апдейтов, не получилось. Были найдены и протестированы совсем уж некрасивые варианты типа модификации системных файлов и запрета самой винде их менять на уровне файловых прав, но это было грязно и неудобно для внедрения. До поры таких клиентов было немного, ситуация позволяла терпеть, однако недавно я сам перешёл на Windows 11, миграция в компании тоже стартовала, и проблема начала разрастаться.

Я провёл очередной рисёрч на тему (оказалось что ничего за годы не изменилось), после чего сделал ещё один заход на проблему в КЭНК-парадигме, и тут в ночи перезагрузочного кошмара забрезжил-таки рассвет.

Следим за руками: винда штатно смотрит на заданный в настройках Период Активности (Active Hours), и не ребутает компы во время него. Так отчего бы нам автоматически не сдвигать его постоянно так, чтобы период активности не заканчивался никогда?

Быстрая проверка показала что соответствующие параметры хранятся в реестре и доступны на запись непривилегированным пользователям, и что система реально их регулярно перечитывает. А если параметры сдвигать вперёд постоянно, то неуправляемого саморебута после установки обновлений не случается совсем.

вот они красавчики в реестре и в гуе

Дальше — дело техники, добавил в Светофор небольшой модуль, он сдвигает Active Hours на компах пользователей, а перезагрузкой управляет сам.

Компьютеры работают, человек кайфует, корпорации щёлкнуты по носу, ситуация под нашим контролем!

А вот о том, как это может быть полезно простым домашним юзерам — расскажу в следующий раз.

КЭНК!
Слава роботам!

Робот-лесник и ёлка

Tue, 11 Jun 2024 21:25:10 +0300

Сегодня расскажу про суровое, простое и полезное как топор в лесу кэнк-поделие, на разработку и запуск которого в пром ушло меньше часа времени.

Вот ELK-стек, в который собираются некоторые данные. Конечно, мы следим за хостами фермы через мониторинг. Но хотелось бы и смотреть и за состоянием самого сервиса, и — главное — вовремя узнавать если что-то пошло не так.

Выбираем сервак для размещения робота-лесника (в моём случае под виндой ибо фигачим быстро и грязно на павершеле). Пишем скрипт, в котором:

читаем список FQDN нод нашей ёлки из конфига скрипта
проходим по списку, проверяя доступность хостов по сети (через Test-NetConnection -port 9200). Если какая-то нода не пингуется или не отвечает по 9200 — алертим админу
если есть хоть одна живая нода — запрашиваем у неё статус через API «https://cluster.com/_cluster/health?pretty». В полученном json пырим в «status», если он не «green» — запрашиваем более подробную диагностику через «https://cluster.com/_nodes/process?pretty» и тоже всё алертим админу.

типовой результат запроса health

куда алертим? Ну лично мне удобней получать такое в почту и в специальный аварийный чят в телеге.
повторяем проверку (дёргаем скрипт планировщиком на сервере с нужной периодичностью)

Итого, при проблемах с сервисом имеем своевременные оповещения, машины трудятся а человеки отдыхают.

Думал оформить свой скриптец в виде готового продукта, но в целом тула вышла специфичная под мои требования и легко воспроизводимая в нужном виде под требования чужие, так что ограничусь общим алгоритмом и описанием идеи.

КЭНК!
Слава роботам!

Обновление Эгеи и грязные хаки

Mon, 05 Feb 2024 19:58:44 +0300

Обновил движок блога до актуальной версии, а заодно победил старую проблему. Эгея умеет вписывать в вёрстку иллюстрации по ширине, но когда вставляешь в пост вертикальную фотку в большом разрешении, она ожидаемо расползается на несколько экранов (в большинстве популярных сейчас размеров мониторов) — а что, по ширине всё чётко же?! Получите, распишитесь.

В прошлые годы пытался несколько раз победить проблемами средствами CSS, но моё кунфу здесь недостаточно сильно. Поэтому приходилось при публикации дополнительно контролировать размеры, делать отдельные версии фоток для блога — короче неудобно, некрасиво, технологично и оскорбительно по отношению к роботам (которые и должны выполнять такую работу).

В этот раз, подгоняя тему оформления новой версии движка под себя, вспомнил про эту беду. Решил сделать ещё один заход, и ковырясь в вёрстке набрёл на код форматера Нисден, который отвечает в Эгее за рендеринг страниц. Увидел в нём код, меняющий слишком широкие картинки , и подумал, почему бы так же не пофиксить и возможный выход за границы по высоте?

В итоге: грязный хак (10 строчек кода в двух модулях PictureRenderer.php и FotoramaRenderer.php), захардкоженая предельная высота в 800 пикселей (предельная ширина у Ильи вынесена в конфиг, и чтобы это повторить пришлось бы много что исправить и дописать), картинки вписываются в страницу, роботы работают а человеки отдыхают.

Немного неудобно будет потом апгрейдиться, но предложить улучшение в код не могу — движок не опенсорсный.

КЭНК: обновление генератора фонов для рабочего стола

Sun, 31 Dec 2023 11:15:12 +0300

В последнее время всё чаще сталкиваюсь с необходимостью использовать в powershell вызовы системного API для реализации функционала, под который нет готовых командлетов. Разбираясь с решением очередной проблемы этим методом, вспомнил про генератор фонов для RDP, который я когда-то пилил, и в котором до идеала не хватало авто-назначения сгенерённого фона, потому что такой функции я тогда не нашел. Ну думаю, через системное API уж точно кто-то сообразил как сделать — напомню, там у меня получилось задать картинку и параметры через реестр, а вот форсировать обновление без перезагрузки я не смог.

Погуглил в эту сторону, нашел пару реализованных вариантов (1 и 2), и скопипиздил в скрипт код, так что теперь генерятор работает без ручного труда совершенно.

Код на гитхабе. Слава роботам!

Сервис isDayOff для нужд автоматизации

Wed, 07 Jun 2023 23:37:28 +0300

Несколько лет использую в работе сервис isDayOff, который позволяет проверить дату на принадлежность к нерабочему дню, согласно официальным указам и распоряжениям.

Я очень люблю автоматизацию, особенно — автоматический контроль за соблюдением правил и договоренностей в системах. Человеческий фактор невозможно полностью исключить, зато можно заставить дотошных и не устающих роботов контролировать, что человек сделал всё правильно. Однако, здесь кроется одна проблема — человеки, в отличие от роботов, уходят на выходные и государственные праздники. Согласно Первому закону робототехники, робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. А что может быть противней, чем тикет на исправление некритической проблемы, прилетевший в выходные? Да, можно запрограммировать, чтобы тикеты не прилетали в субботы и воскресенья — но что делать с праздниками и переносами выходных?

isDayOff простой как автомат Калашникова, и легко встраивается в скрипты и пайплайны автоматизации. В простейшем виде через https://isdayoff.ru/today можно узнать, является ли текущий день рабочим, ну а дополнительные параметры к запросу могут дать информацию о любой дате в прошлом и будущем (в разумных пределах) и даже о праздниках в соседних странах (поддерживаются Белоруссия, Казахстан и Украина).

База сервиса активно поддерживается и приводится в соответствие законам, когда принимаются решения о переносах праздников и выходных. Чтобы не потерять функционал при возможном отключении сервиса (а в дивные новые времена обо всём начинаешь думать в разрезе «а что если забанят»), я обычно стараюсь в проектах использовать локальную базу на год вперед, сдампленную с сайта, и обновляющуюся ежемесячно — заодно, локальная копия базы снижает нагрузку на сервис, зачем зря напрягать бесплатное отличное решение.

В целом всё просто и понятно. Например, в виде без кеширования запрос обычно посылаю через подготовленную функцию, с логикой обработки ситуации когда сервис недоступен

С учетом простоты решения, его легко встраивать и в других ситуациях, когда требуется контролировать рабочий статус даты — уведомления, расписание резервного копирования, подсчёт количества рабочих дней до наступления дедлайна перезагрузки по обновлениям системы, и так далее.

Слава роботам!

Забрать своё из облаков: обновление вКачатора

Thu, 01 Jun 2023 14:52:34 +0300

Допилил небольшое, но важное дополнение для скрипта обогащения дампов профиля ВКонтакте. Эксплуатация предыдущей версии выявила существенный недостаток: видео с YouTube, импортированные в ВК, в разных разделах сайта фигурируют с разными ID (и разными URL). Выходит странненькое — по этим разным ссылкам открывается один и тот же объект (страницца) ВК, с теми же комментариями, лайками, и прочими атрибутами соцсети, и конечно же встроенный в объект ролик YouTube там тоже один и тот же, но ссылки на этот объект разные. И например, добавленное на стену видео, и то же видео, посланное в диалоге, будут иметь разные адреса. Поэтому старая версия скачивала, и складывала в папку видео несколько раз, что расходовало лишнее место (а у меня в избранные как-то попала даже девятичасовая прямая трансляция выхода в открытый космос с МКС).

Идеально было бы научить скрипт сразу узнавать такие дубликаты по адресам, и не скачивать повторы вовсе, но как это сделать я придумать не смог. Зато можно скачать через yt-dlp оригинал с ютуба, и по его метаданным распознать дубль, сравнив с метаданными уже скачанных видео. Так и поступил — теперь скрипт сохраняет в простой json информацию по всем уже скачанным файлам, и при закачке дубля не сохраняет его на диск, заменяя ссылки в дампе на уже скачанный экземпляр. На моем дампе это значительно сократило объём выгрузки.

Обновлённая версия уже на гитхабе: https://github.com/alexbatishchev/kenk-vk-enricher

Powershell и странненькое с TimeSpan

Wed, 17 May 2023 22:29:53 +0300

Авторы Powershell, с одной стороны, многое в своём творении придумали системно и логично. С другой стороны, постоянно натыкаешься на странности, объяснения которым в области логики не найти.

Любимый пример — класс TimeSpan, временной промежуток, отрезок времени между двумя датами. У объектов этого класса есть несколько свойств, отражающих заданный объектом промежуток времени в разных единицах измерения. И в перечне этих свойств неочевидная логика авторов языка проявляется в полной красе.

Вот свойства Hours, Minutes, Seconds, Milliseconds. Интуитивно думаешь, что это — значение промежутка времени в часах, минутах, секундах, и миллисекундах. Довольно быстро наступаешь на эти грабли, и узнаёшь, что это кое-что другое, а именно количество часов в рамках дня, минут в рамках часа и тому подобное. То есть, если промежуток времени у вас в 1 день и 1 час, то Hours — не 25, а 1. А если между датами прошло 2 часа и 10 минут, то свойство Minutes будет не 2*60+10, а просто 10. Зачем это надо? Ну, наверное для чего-то может пригодиться, хотя я ни разу за много лет эти свойства не использовал. Зато, сколько ошибок в скриптах из-за неверного их понимания я встречал на стековерфлоу и в прочих местах в интернетах!

Окей, столкнувшись с этим (или прочитав заранее в документации, что вряд ли), ты спустя какое-то время познаешь TotalHours, TotalMinutes, TotalSeconds и TotalMilliseconds, с той самой очевидной логикой «полное количество часов между датами» и так далее. Если между моментами времени прошло два с половиной часа, то это будет 2.5 TotalHours, 150 TotalMinutes и 9000 TotalSeconds. Ура, теперь-то всё понятно, можем смело фигачить!

И вот в этот момент, к полному сил и умиротворённому программисту, из-за угла подходят в кепках и адидасе братюни Days и TotalDays, и объясняют, что понятий он не знает, и вообще зря на раён зашел. Ибо Days — это в в натуре полное количество дней (а не как можно было бы по аналогии предполагать, количество дней в рамках года). А TotalDays — это да, это полное количество дней, дробь (типа, аккуратно посчитанное, вкуриваешь?). А Days — грубо посчитанное. Но полное. Почему? Короч, так надо. Кстати, дай позвонить!

И вот, сидишь, смотришь на это, и думаешь — а оно зачем вообще так?? Потом вздыхаешь, материшься, сверяешься с документацией ещё раз, пишешь в коде правильное.

Может показаться, что этот пост написан с целью излучить в пространство бессильную злобу — но на деле, это просто справочник. Я буду ходить сюда каждый раз, когда буду юзать TimeSpan, потому что запоминать подобное — просто портить себе мозг.

Дорогой Вася! Если тебе надо посчитать промежуток времени, юзай TotalDays, TotalHours, TotalMinutes, TotalSeconds и TotalMilliseconds, помни что они — вещественные, и означают то, что тебе нужно. А про другие свойства TimeSpan забудь!

А для вас — картинка, иллюстрирующая всю дичь TimeSpan

Слава роботам!

ArrayList и производительность массивов в Powershell

Tue, 07 Feb 2023 16:51:56 +0300

Powershell — язык весьма великодушный к программистам, почти всё в нём делается легко, интуитивно, и не требует особой подготовки и продумывания от автора кода. Однако, при выходе на объемные задачи начинают выстреливать некоторые вещи, которые для удобства изначально выполнены неэффективно.

По одной из задач мне требовалось обрабатывать большие объемы данных (сотни тысяч и миллионы строк таблиц). На тестовых множествах всё работало хорошо, но на прод данных скрипт начинал работать непозволительно долго. Я провел профилирование и выяснил, что с ростом количества данных всё больше времени (с нелинейным ростом) начинает занимать операция добавления элемента в архив.

$array = $array + $newElement — что может быть интуитивней? Оказалось, массивы в Powerhsell это имутабельные объекты, и поэтому предыдущий код фактически создает новый неизменяемый объект из всех элементов предыдущего массива и одного нового. Конечно, на больших объемах массивов такая операция будет занимать всё больше времени, и нелинейный рост вполне объясним. Этой неэффективности лишен специальный тип данных ArrayList — это тот же массив, разве что элементы добавлять самым очевидным способом через «плюс» в него нельзя.

Вот код, на котором я проверил время работы цикла из добавления N случайных строк к массивам в умолчальном варианте и варианте ArrayList

На 10 тысячах операций результаты примерно похожи — отличаются в десятки процентов. Но уже на сотне тысяч разница — на порядок. При этом время работы через ArrayList растет линейно вместе с количеством циклов, а у классических массивов — экспоненциально

Вот такие тонкости вскрываются спустя годы работы с языком. С другой стороны, это хорошо характеризует его в положительном плане — сколько за это времени гигабайт csvшек и джейсонов было перелопачено без этих ваших ArrayList?!

Забрать своё из облаков: kenk-vk-enricher 1.4

Wed, 11 Jan 2023 23:19:20 +0300

Допилил скрипт обогащения дампа Вконтакте. Теперь скрипт качает видео в разделах Видеозаписи, Стена и Сообщения — закачка идет через yt-dlp, перед использованием желательно обновить его до свежей версии, и залогиниться в ВК в одном из бразуеров на машине, тогда yt-dlp сможет использовать куки и больше видео будет доступно для скачивания. Также скачиваются аттачменты типа «файл» на стене и в сообщениях (те, что доступны по прямым ссылкам).

Сейчас актуальной версией скрипта мой личный профиль выкачивается на почти 200 гб, сказываются видео файлы в переписке и на стене — часто репостились интересные чужие видосы, и всё вместе занимает прилично места. Ну да больше-не меньше.

Скрипт на гитхабе: https://github.com/alexbatishchev/kenk-vk-enricher

Слава роботам!

Забрать своё из облаков: важные видео из YouTube — 2

Sat, 07 Jan 2023 20:20:29 +0300

Спустя полгода после запуска велосипедика для автокачания и сохранения важных видосов, провёл аудит его работы и немного допилил.

Во-первых, за прошедшее время скриптом в архив было скачано несколько видосов, которые уже недоступны в интернете — часть удалили авторы, а часть сгинула вместе с каналами, удалёнными администрацией йутуба в баталиях нового чудного времени цензуры и культуры отмены. Помещать интересные (а особенно острые и потенциально скандальные) видосы в плейлист для сохранения стало привычкой.

Во-вторых, всплыла интересная особенность этого вашего СЕО и кликбейт-традиций: авторы на ютубе нередко переименовывают ролики, иногда (как например вДудь) — после добавления субтитров и других изменений, а иногда — просто чтобы новые названия привлекали внимание зрителей и обманывали алгоритмы. Так как в шаблон именования файлов я внёс название ролика, это приводило к тому что часть роликов повторялась несколько раз — а видос с одного канала (крутой по содержанию документальный фильм про советскую мультипликацию, кстати), закачался аж 6 раз, в соответствии с каждым почти ежедневным переименованием.

К счастью, в шаблон имени файла я с самого начала добавил ID ролика, и по ним дубликаты можно легко находить. Добил скрипт закачки несколькими строками, находящими в архиве файлы с одинаковыми ID внутри имён и удаляющие самые старые файлы — и дело в шляпе

В-третьих, оказалось что место видосиками жрётся весьма стремительно — а я по старой привычке выбрал для хранения максимально возможное качество. Подумал над вопросом, и решил что в подавляющем большинстве случаев содержимое вполне воспринимается и в невысоком качестве, и в качестве разумного компромисса выбрал скачивать вариант 720p. В первую ночь видосики с новыми параметрами перекачались, дубликаты удалились, выигрыш по месту вышел очень приятный.

Машины работают, человек счастлив. Вернусь к вопросу через следующие полгода

Забрать своё из облаков: kenk-vk-enricher

Thu, 05 Jan 2023 22:34:03 +0300

Причесал и опубликовал скрипт, докачивающий в дамп официальной выгрузки из ВКонтакте картинки в переписку (сообщения) и фотоальбомы. Фотки выкачиваются и складываются заодно внутрь дампа в папки с именами, соответствующими оригинальным альбомам, а если они были опубликованы с подписью (как например часто было при параллельной публикации в ИГ) — подпись сохраняется в отдельный текстовой файл рядом.

В дампе переписке все файлы даются прямыми ссылками. А вот в дампе стены картинки прописаны ссылками вида https://vk.com/photoXXXXXXXXX_XXXXXXXXX — но тут был придуман хитрый ход, немного исправляющий ситуацию. Так как среди фотоальбомов есть «Фотографии на моей стене», то если сдампить их и из кода страницы выдернуть и прямые ссылки на файлы, и ссылки photoXXXXXXXXX_XXXXXXXXX (которые там есть), то можно закешировать это соответствие и подставить потом известные картинки в код выгрузки стены. К сожалению, так можно обойти только картинки, и только картинки ваши — репосты от других пользователей или групп так и останутся со ссылками на данные в серверах ВК. Как до них добраться без URL оригинальных файлов непонятно — с парсерами картинок ВК в интернете такая же беда как и с видео. Хотя жаль, стену со своими публикациями хотелось бы содрать в максимально полном виде, включая и репосты.

За недолгое время с прошлой публикации yt-dlp успел разучиться качать видео из вк, и вновь научился этому в свежем апдейте — похоже что война апишников с реверс-инженерами идёт денно и нощно. С учетом этого, выкачку видео пока думаю не реализовывать.

Забавное наблюдение — в дампе стены есть уже удалённые вами сообщения (с пометкой «Запись удалена»). Так приятно что заботливые товарищи всё хранят даже после удаления (евпочя).

КЭНК! Слава роботам!

Ёлочные игрушки: собираем и анализируем в ELK состояние систем

Thu, 29 Dec 2022 02:10:46 +0300

Сегодня расскажу о том, как можно применять Elasticsearch, Logstash, и Kibana для сбора и анализа информации в различных задачах системного администрирования и управления информационной безопасностью на предприятии.

Ложь, наглая ложь и статистика

Часто в работе системы, которыми мы управляем, дают информацию о своем текущем состоянии, но не хранят (или хранят в неудобной или неполной форме) историю этого состояния. При этом, решая задачи по изменению и улучшению инфраструктуры, важно понимать не только где мы находимся, но и то, куда и с каким прогрессом мы движемся.

Формулирование таких метрик и понимание их изменения помогает сразу по нескольким фронтам. Во-первых, исполнитель всегда может оценить прогресс и наглядно продемонстрировать руководству что и насколько улучшено (или ухудшено), с актуальными «здесь и сейчас» цифрами. Ура, нет больше ночных бдений «срочно предоставить к утру отчет о том что сделано по этой проблеме» — отчёты доступны здесь и сейчас в любой момент.

Во-вторых, самому сотруднику для профилактики выгорания и получения обратной связи о своей работе важно иметь возможность оценить, что и как изменилось в результате его труда. Это особенно важно в деятельности по эксплуатации и настройке систем, где часто нет четкой финальной точки (типа «построил дом — завершил проект»), а есть бесконечный непрерывный процесс, и без понимания его прогресса может возникать впечатление что работа не приносит результатов, что она неисчерпаема и как будто топчется на месте.

Предположим, внедряется процесс управления учетными записями в AD — настраиваются политики, вычищаются старые или ненужные записи, настраиваются параметры безопасности. Как оценить насколько сегодня ситуация лучше чем была месяц назад? Безопасник нашел и поставил задачу исправить N записей, за это время админы сделали M новых, что в целом по ситуации? Какова её оценка и как она изменилась?

Другой практический пример — управление обновлениями Windows хостов при помощи WSUS. Насколько сегодня уровень покрытия инфраструктуры апдейтами лучше чем два месяца назад? Не стало ли хуже из-за раздолбайства смежных подразделений, или выхода апдейта с ошибками установки? Ситуация в целом исправляется или наоборот, движется в ад? А что, патчи в этом месяце раскатываются с обычной динамикой, или что-то идёт нештатно?

Третий пример — некая система управления агентами на хостах, показывающая в реальном времени статус сервера (онлайн-оффлайн), но не хранящая истории этих состояний. Как узнать (с достаточной точностью в 1-2 часа) когда хост светился в системе в последний раз?

Конечно, такую статистику по выбранным метрикам можно собирать по случаю вручную, строить графики в экселе или другом средстве ручной аналитики. Но зачем, если можно заставить работать роботов и получать актуальный результат автоматически и в любой момент?

Достаём подарки из-под ёлки

Основная идея этого kenk-велосипеда заключается в том, чтобы регулярно и автоматически собирать (или выгружать) из информационных систем данные, и после этого хранить и анализировать их с помощью ELK Stack.

При этом появляется возможность анализировать состояние систем в исторической перспективе, видеть тренды изменений и контролировать соблюдение заданных ключевых показателей. Кроме того, появляется возможность собирать или генерировать другую информацию, недоступную через штатные средства управления этими системами — потому что перед загрузкой в ELK, данные можно дополнительно обработать, обогатить сведениями из других систем и так далее. Например, можно дополнить статистику из WSUS данными из учетной системы предприятия об ответственных за сервера, и иметь возможность сразу видеть кого нужно пнуть за необновлённый хост.

В результате внедрения подобной системы у инженера или руководителя подразделения появляется инструмент, позволяющий видеть прогресс по процессам, а также искать данные состояния системы в исторической перспективе. Кроме того, данные из разных систем предприятия при этом обретают связь и дополнительный тюнинг в соответствии с ландшафтом инфраструктуры.

Картинки и примеры

Приведу пару визуальных примеров. В картинках ниже конкретные цифры (показатели) и временные отметки на скриншотах удалены по причине NDA

Пример 1. Графики изменения во времени на группе хостов метрик «процент обновлённых назначенными патчами машин» и «процент машин, требующих перезагрузки для завершения обновления». Вы никогда не получите эти данные из WSUS, потому что он не хранит историю состояний хостов

Пример 2. График изменения во времени на группе хостов количества установленных экземпляров Chrome разных версий. Здесь красиво видно, как по мере выпуска патчей одна версия Chrome сменяет на группе хостов другую. Вы не получите эти данные, если ваша система учёта ПО на хостах этого не умеет (данные для графика получены из отчетов Kaspersky Security Center)

Общее описание архитектуры

Итак, как такое устроить?

регулярно генерим по расписанию данные о системе (сгружаем из неё через апи или парсим штатные отчёты системы)
обогащаем эти данные информацией из смежных систем и добавляем сведения и метрики, которых нет в исходных данных
записываем всё в json файлы
установленный на хосте-анализаторе filebeat подхватывает дамп и отсылает в Elasticsearch
настроенные в Kibana дашборды отображают красоту и позволяют формировать отчёты играя параметрами (наборы хостов, время выборки, прочие фильтры)

kenk-дисклеймер

Этот подход рожден и работоспособен в условиях, когда у вас есть набор информационных систем, возможности которых недостаточны для решения озвученных задач. Если ваша система всё это может (и в условиях дивной новой реальности вы можете эту систему продолжать покупать), сий велосипед не для вас.

Также, в полном соответствии с kenk-доктриной, решение потребует кровавого программинга на коленке и применения прочих костыльно-пластилиновых технологий. Если вы не готовы к таким жертвам — решение не для вас

КЭНК: безопасно храним секреты для скриптов PowerShell

Wed, 02 Nov 2022 23:19:24 +0300

Часто из скриптов PowerShell нужно обращаться к системам, требующим аутентификации — например, для парсинга данных о хостах из корпоративной системы мониторинга, или для выгрузки данных об уязвимостях из веб-портала системы обнаружения уязвимостей. Также нередко в этих случаях используются учетные записи с расширенными полномочиями во внешних системах, но в целом это не принципиально — любые секреты хочется хранить так, чтобы до них было невозможно добраться злоумышленнику.

Понятно, что харкодить креды в источниках или держать их в конфигурационных файлах скрипта — дело пропащее. Даже если зарезать на уровне файловой системы доступ только для учетной записи, от которой должен стартовать скрипт, остаётся возможность администратору сервера эти права изменить и данные прочитать. Неаккуратненько выходит ©.

К счастью, в Windows есть магическая штука на этот случай — Secure Strings — волшебство которых в данном случае заключается в том, что они работают с учетом контекста учетной записи, от которой запущены. Поэтому, если задать пароль ($pw = Read-Host -AsSecureString) прогнать его через ConvertFrom-SecureString ($pw | ConvertFrom-SecureString) и результат записать в файл, то на выходе будет чудесная буквенно-цифровая белиберда. А обратно эту белиберду можно превратить в пароль (Get-Content .\password.txt | ConvertFrom-SecureString), но только вот пароль правильным получится только если это преобразование работает от той же учетной записи, под которой шло прямое кодирование.

При запуске скрипта на этом компьютере но от другой учетной записи, при запуске скрипта на другой машине, при смене пароля учетной записи — всегда расшифровка будет завершаться с ошибкой. Да, это создаёт неудобства при смене пароля сервисной учетной записи, от которой стартуют скрипты, и ключевую информацию нужно будет перегенерить — но зато спрятанные таким образом секреты точно завязаны на сохранность пароля от учетной записи и не могут быть прочитаны никем кроме неё.

В своих проектах я использую свою маленькую библиотеку, позволяющую запросить и сохранить данные в ключевой файл в формате JSON, и читать данные из него в скриптах. Но в целом подход прозрачен и его можно реализовывать так как удобно

В интернетах пишут, что в свежих версиях павершелла появились интеграции с системами хранения паролей, но до этого мои руки пока не дошли — привычное работает, роботы трудятся, люди отдыхают

Пример кода, иллюстрирующий подход:

Ссылки по теме:

https://www.techtarget.com/searchitoperations/tutorial/How-to-secure-passwords-with-PowerShell
https://www.travisgan.com/2015/06/powershell-password-encryption.html

Слава Роботам! КЭНК!

КЭНК: тихое удаление обновления Windows по номеру KB

Mon, 15 Mar 2021 13:29:36 +0300

Задача: тихо удалить с хоста обновление Windows по номеру KB.

Какое-то время проблема легко решалась через wusa.exe /uninstall /kb:XXXXXX /quiet, но теперь в Windows 10 команда с ключом quiet просто игнорируется, а без ключа — задает много вопросов пользователю, что ожидаемо, но не подходит для решения задачи.

В интернетах быстро гуглится способ, который хорош, но не универсален. Способ рассчитывает на то что KB будет упомянута в имени пакета для DISM, а это бывает не всегда — в примере ниже у двух последних обновлений номера KB в имени пакета нет.

Ситуацию усложняет то, что в разных локалях ОС команда dism выдает информацию на разных языках, да к тому же не структурированным объектом — а строкой. К счастью, из строки все же можно выцепить имя пакета, а по нему — запросить подробную информацию (тоже строкой), где номер KB есть (судя по моим тестам) всегда:

Итоговое решение задачи такое:

смотрим список всех установленных обновлений и выдергиваем имена пакетов
по каждому пакету смотрим расширенное описание и ищем в нём искомый номер KB
если в описании найден нужный номер KB — пакет по его имени отправляется на деинсталляцию через DISM.exe /Online /Remove-Package /PackageName:$sFoundPackageName /quiet /norestart

Короткий сниппет, иллюстрирующий подход:

$sKBNumber = "4578968"
$aUpdts = dism /online /get-packages | ? {$_.Contains("Package_for")} | %{($_.Split(":"))[1].Trim()}
foreach ($sUpdate in $aUpdts) {
$sInfo = (dism /online /get-packageinfo /packagename:$sUpdate) -join(", ")
if ($sInfo.Contains($sKBNumber)) {
write-host "Found package $sUpdate for KB number $sKBNumber"
# uncomment below to uninstall package
# DISM.exe /Online /Remove-Package /PackageName:$sUpdate /quiet /norestart
}
}

КЭНК! Слава роботам!

КЭНК: выгрузка фото из iCloud на Яндекс диск — 2

Sun, 07 Feb 2021 16:28:22 +0300

В прошлой серии велосипедостроения на тему переноса фоток в Яндекс.Диск была успешно решена проблема выгрузки и переименовывания файлов из iCloud в соответствии с датой. Однако, опыт эксплуатации процедуры показал её недостаток: перенесенные таким образом файлы *.heic Ядиском не располагались по альбомам в соответствии с датой, а сваливались в одну кучу дня импортирования.

Пара вечеров была потрачена на анализ и сравнение *.heic файлов, импортированных яндексом с телефона самостоятельно, и обработанных мной вручную. К сожалению, никакого способа поправить теги даты так, чтобы яндекс их воспринял, не нашлось: изменения внесенные exiftool или гуевыми программами типа XnView или FastStone результата не давали. Я заморочился, сравнил файлы преобразованные яндексом и свои, добился полного совпадения полей в выгрузке exiftool — и всё равно роботы яндекса делать красоту отказывались. Поэтому с *.heic файлами придуман обходной путь — конвертировать их в jpeg (те же теги, пробитые в jpeg, срабатывали отлично)

Заодно кстати выяснилось, что яндексу важны метаданные в поле DateTimeOriginal: файлы с корректно заполненными DateCreated но не заполненными DateTimeOriginal он также датировал неправильно.

Так вот, конвертация из heic в jpeg. Тут мне открылся неведомый мир цветовых профилей и прочих тонкостей. Оказалось что эппле пишет heic со своим чудо-профилем, который мало кто понимает и корректно показывает. Все распространённые свободные конверторы в джипег на выходе дают гораздо более бледные и светлые картинки, при этом встроенный просмотрщик macOS эти файлы показывает в исходном красивом цвете, а вот в других программах и на других платформах случается «ой». Перелопачена уйма форумов, нужное колдунство найдено — нужно не просто конвертировать heic в jpeg, но ещё и заменять цветовой профиль, а также корректировать гамму (значение корректировки я подобрал на глаз более-менее похожим, возможно тут будут нюансы на фотках разных насыщенностей)

Вот что выходит с разными конвертациями и (что важно) при разных программах просмотра:

оригинальный heic в Preview macOS, конверченный ImageMagick jpeg без коррекции цвета в Preview macOS, он же в XnView, jpeg с коррекцией цвета в Preview macOS и в XnView

Хорош рассусоливать, что вышло-то?

Итоговая на текущий момент процедура конвертации такова:

перегнать все heic в jpeg при помощи ImageMagick, заменяя цветовой профиль на sRGB.icc и цветовое пространство на sRGB и корректируя гамму, стереть оригиналы
пробить во все экспортированные файлы (и в том числе в джипеги, конвертированные из heic) метаданные из *.xmp
видосикам пробить FileModifyDate из TrackCreateDate и переименовать
там где у картинок DateTimeOriginal задан — переименовать файлы в соответствии с датой
там где у картинок DateTimeOriginal не задан — пробить его из DateCreated и переименовать файлы в соответствии с датой

Обработанные таким образом медиаматериалы корректно раскладываются яндекс диском в альбомы по времени и геолокации. Косяки и нюансы

не раскладываются по датам PNG (у меня это на 100% скриншоты) — ну да от них участия в генерации памятных сторис и прочей красоты не требуется.
heic с Live Photos внутри конвертируются в два файла: картинка с дефолтным кадром и микро-mp4 с полной анимацией. Не парит опять же.

В полном соответствии с методологией КЭНК и принципами Hobby-as-Code процедура собрана в shell скрипт, ознакомиться с которым можно на github (уберите от консоли беременных детей и женщин): https://github.com/alexbatishchev/kenk-yadisk-photomaster

КЭНК!
Слава роботам!

КЭНК: выгрузка фото из iCloud на Яндекс диск

Sun, 27 Dec 2020 12:13:08 +0300

Технологии предоставляют людям всё больше готовых результатов, скрывая под капотом внутреннюю сложность и логику. Это здорово, потому что мы получаем кучу услуг и сервисов, не прилагая к этому усилий. Это плохо, потому что мы не управляем этими услугами, можем лишиться их в любой момент и, если не предпринимать дополнительных мер, не сможем ничего тут исправить.

Например, иг — попробуйте штатными средствами, положенными по закону, выгрузить свои данные — и через боль и неудобства вы сможете сохранить жалкое подобие архива, а как красиво всё смотрится пока работает. Увели у вас аккаунт, заблокировали по какой-то уважительной для роботов причине — вы абсолютно беззащитны перед произволом обстоятельств и желаниями компании.

Сегодняшний рассказ — о сервисе, который достался «забесплатно», но потом перестал работать, и о том как я добился получения привычного результата уже своими силами.

Что случилось и кто виноват

В мире победившей вычислительной фотографии я уже много лет снимаю на телефон и веду архив фото на телефоне. Это удобно, и всё связанное с повседневным фото завязано у меня на экосистему Apple. Однако, было бы глупо полагаться только на одного вендора, да и вручную выдёргивать фото из Apple для резервной копии не самый удобный вариант, поэтому как только Яндекс запустил фичу автоматической синхронизации фотографий на Яндекс.Диск, я сразу же начал ей пользоваться.

Вышло удобно:

фотографирую на телефон или планшет, имею синхронизированные фотки на всех личных устройствах и ноуте (на разных платформах приложение называется по разному, буду дальше использовать термин Айклауд как синоним определения «ну где там у эпплов всё лежит и красиво синхронизируется и показывается на всех девайсах»).
Сразу после съемки или по напоминанию отмечаю в Айклауде сердечком лучшие фото и удаляю откровенный брак и шлак, на телефоне остаются материалы лучшие и «пусть просто для архива»
Всё это время полное зеркало всех фото и видео с телефона автоматически синхронизируется с папкой Фотокамера в Яндекс диске (а она уже в свою очередь бэкапится как надо на NAS)
раз в 2-3 месяца провожу чистку:

захожу в айклауд через приложение на ноуте или телефоне,
скрываю все избранные (Library — альбом Favourites — ⌘A — hide items),
стираю все оставшиеся нескрытые (и не лайканые) фотки (Library — альбом photos — ⌘A — delete items),
возвращаю все скрытые обратно (Library — альбом Hidden — ⌘A — unhide items)

переношу все фотки из папки Фотокамера Яндекс диска в долговременный архив, Яндекс на телефоне сам синхронизируется и обратно заливает в фотокамеру только избранные фотографии

Таким образом я всегда имею две копии актуальных фоток (избранные + недавно сделанные) на яндексе и в айклауде, а также легко регулярно очищаю хранилище на устройствах от ненужных данных, оставляя только лучшие. Также благодаря этому умные алгоритмы Apple и Яндекса генерят мне истории и ролики-воспоминания на основе лучших фото и видео из поездок, с важных событий и тому подобное.

Красиво переименованные и уложенные яндексдиском файлы

Схема удобная, и работала она несколько лет, пока не случилась та самая упомянутая ранее потеря сервиса. В какой-то момент Яндекс поменял логику работы мобильного приложения — весной при очередной чистке я обнаружил, что он больше не перезакачивает в папку Фотокамера файлы, которые ранее в ней были, и после были мной удалены. Похоже что у себя они хранят хэши всех файлов, так как отредактированные после фотки в диск при такой схеме перезаливаются. Но неизменные — нет, а значит я больше не мог проводить синхронизацию лучших фото при регулярной чистке.

В принципе, потеря небольшая, просто весь 2020-й Яндекс диск скидывал мне напоминания о событиях 19-го. Тем не менее, это натолкнуло меня на мысль о том, что случись что — у меня есть полный архив всех фото включая самые свежие, но архива лучших нет! На отбор их потрачено время, и теперь сведения этого отбора не защищены от потери.

Казалось бы, чего тут сложного? Берём штатный способ выгрузки из Айклауда, сохраняем в папку избранные данные за нужный период — вуаля. Но тут вскрывается второй упомянутый ранее аспект — скрытая под капотом сложность.

Айклауд (как и Яндекс) красиво показывает в ленте фото по датам и местам, умеет на основе этой метаинформации собирать истории и альбомы. При этом на уровне файлов творится дикая дичь — в зависимости от источника (фото сделано на телефон, сохранено из мессенджера, проявлено в Лайтруме на компе и прислано по почте, это скриншот экрана или сохранёнка с веб страницы), а также от типа файла (разные форматы видео и графики), метаданные о времени съемки, локации и другом хранятся в разных полях по разной логике. И вот выгруженные штатными средствами файлы именуются непонятно как, имеют странные даты съемки (ещё и отображаемые по-разному в зависимости от программы просмотра) — в общем никакой красоты, удобства и единообразия тут нет.

Выгрузка из Айклауда. Ад и мешанина в именах, атрибутах и метаданных файлов. Дата съемки видео якобы неизвестна (но она есть, просто зашита глубоко)

В логику работы Айклауда все эти тонкости зашиты. В логику работы яндекса тоже — мобильное приложение при синхронизации переименовывает файлы по дате правильно, сохраняет геолокацию и всё прочее. Но теперь-то воспользоваться этой логикой яндекса мы не можем.

Что делать

Проводим НИР, применяем для решения задачи великий и могучий ExifTool. Общая схема такая:

экспортируем данные из macOS Photo в оригинальном качестве и с записью дополнительных файлов xmp
пробиваем с помощью ExifTool метаданные из xmp в медиафайлы
проходимся по файлам набором команд ExifTool с разными параметрами в зависимости от типа файла и сохранённых в нём данных, чтобы переименовать их по дате
раскладываем полученные файлы по каталогам дат (для удобства)

Собственно, на понимание того, в каких случаях как может храниться дата съемки, и экспериментальный подбор команд для третьего пункта, и ушло несколько часов этой субботы

Зато теперь есть способ выгрузить лучшие материалы из Айклауда и разложить их красиво с сохранением метаданных, в том числе и положить в Яндекс диск для бэкапа и красивостей. Вторичная выгода — прокачка скилла и овладение инструментом ExifTool и скриптования на bash под macOS, теперь эти ваши экзифы и переименования файлов можем делать с закрытыми глазами и одной левой

Итог

Итоговый скрипт достаточно специфичен, чтобы его публиковать и отчуждать, но для истории сохраню здесь.

# экспортируем фотки из macOS Photo в оригинальном качестве и с записью xmp, открываем терминал в этот каталог

# далее пробиваем параметры из xmp в графические файлы
find . -maxdepth 1  -not -iname "*.xmp" -exec bash -c 'file="{}"; xmpname=${file%.*}.xmp; echo "$xmpname"; echo "$file"; exiftool -tagsfromfile "$xmpname" -xmp "$file" -overwrite_original' \;

# пробиваем атрибуты и переименовываем файлы по дате в зависимости от типа и содержимого

exiftool '-FileModifyDate<TrackCreateDate' '-FileName<TrackCreateDate' -d "%Y-%m-%d %H-%M-%S.%%f.%%e" *.mov -directory=out
exiftool '-FileModifyDate<TrackCreateDate' '-FileName<TrackCreateDate' -d "%Y-%m-%d %H-%M-%S.%%f.%%e" *.mp4 -directory=out

exiftool -v '-Filename<${datetimeoriginal}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.jpg -directory=out -if '($datetimeoriginal and (not ($datetimeoriginal eq "0000:00:00 00:00:00"))) and ($filetype eq "JPEG")' 
exiftool -v '-Filename<${datetimeoriginal}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.jpeg -directory=out -if '($datetimeoriginal and (not ($datetimeoriginal eq "0000:00:00 00:00:00"))) and ($filetype eq "JPEG")' 
exiftool -v '-Filename<${DateCreated}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.jpeg -directory=out -if '($DateCreated and (not ($DateCreated eq "0000:00:00 00:00:00"))) and ($filetype eq "JPEG")'
exiftool -v '-Filename<${DateCreated}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.jpg -directory=out -if '($DateCreated and (not ($DateCreated eq "0000:00:00 00:00:00"))) and ($filetype eq "JPEG")'


exiftool -v '-Filename<${datetimeoriginal}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.heic -directory=out -if '($datetimeoriginal and (not ($datetimeoriginal eq "0000:00:00 00:00:00")))'

exiftool -v '-Filename<${datetimeoriginal}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.png -directory=out -if '($datetimeoriginal and (not ($datetimeoriginal eq "0000:00:00 00:00:00")))'
exiftool -v '-Filename<${DateCreated}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.png -directory=out -if '($DateCreated and (not ($DateCreated eq "0000:00:00 00:00:00")))'

exiftool -v '-Filename<${datetimeoriginal}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.gif -directory=out -if '($datetimeoriginal and (not ($datetimeoriginal eq "0000:00:00 00:00:00"))) and ($filetype eq "GIF")' 
exiftool -v '-Filename<${DateCreated}.%f.%e' -d "%Y-%m-%d %H-%M-%S" *.gif -directory=out -if '($DateCreated and (not ($DateCreated eq "0000:00:00 00:00:00"))) and ($filetype eq "GIF")'

# Чистим xmp
rm -f ./*.xmp

# перекладываем файлы в папки YYYY/YYYY-MM/
cd out
find . -maxdepth 1  -type f -exec bash -c 'file=$(basename "{}"); yearname=${file:0:4}; monthname=${file:5:2}; pathname="$yearname/$yearname-$monthname"; mkdir -p "$pathname"; echo "$pathname"; mv "$file" "$pathname"/ ' \;

Полезные ссылки по теме

КЭНК!
Слава роботам!