Подготовлена бета версия утилиты командной строки wparc [1] архивации данных из сайтов Wordpress. Утилита использует стандартное API предоставляемое CMS Wordpress и доступной по адресу /wp-json/. Поскольку на Wordpress работает огромное число сайтов СМИ и личных сайтов, то утилита будет необходима для получения быстрых дампов данных, значительно быстрее чем классические веб-краулеры. Подробнее о структурах данных можно прочитать в документации Wordpress REST API [2]. Утилита поддерживает две команды: - dump - выгрузить все данные через обход точек подключения к API, результатом являются файлы в форматах .json и .jsonl - getfiles - выгрузка всех медиа файлов перечисленных в файле wp_v2_media.jsonl полученного после исполнения команды dump Примеры сайтов на Wordpress: duma-rad.ru, www.iephb.ru, paperpaper.ru, agentura.ru и многие другие. Ограничения: - некоторые владельцы сайтов на Wordpress блокируют доступ к /wp-json/ без авторизации и из этих сайтов невозможно пока извлечь данные - у старых версий версий Wordpress отсутствует точка подключения /wp-json/ и также невозможно скачать данные таким способом. В будущем утилита будет поддерживать команды проверки сайта на возможность выгрузки данных, упаковывать их в пакет данных (data package) для долгосрочного сохранения и поддерживать выгрузку данных из Wordpress даже без доступного API (по определенным шаблонам этой CMS). Найденные ошибки заполняйте в issues репозитория проекта wparc [3] Ссылки: [1] https://github.com/ruarxive/wparc [2] https://developer.wordpress.org/rest-api/ [3] https://github.com/ruarxive/wparc/issues #wordpress #webarchives #digitalpreservation #opensource #tools