Извращения с Apache Kafka: забавный кейс из жизниОткрытый вебинар для тех, кто хочет узнать, как организовать Data Lake на 80 ТБ с помощью Apache Kafka.7 июля в 19:00 (мск)
Проведёт вебинар Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT. Уже более 5 лет он занимается нагруженными проектами, а в числе его успешных проектов продукты из разных сфер: от инфраструктур для ГИС до интернет-магазинов кошачьего корма.
Вот планы Михаила на предстоящий вебинар:
«На вебинаре я расскажу о своём опыте создания Data Lake на ~80 ТБ с помощью Apache Kafka. Дополнительно разберу, какие подводные камни могут возникать, если Retention выкручен в 9999999, и как жить, если Apache Kafka — единственный источник данных в информационной системе».
Приходите, будет полезно!
Записаться на вебинар:https://slurm.club/3I3IKEG
Полезные команды Linux. Пользователи и группы
# useradd -c "User Vasya" -g admin -d /home/vasya -s /bin/bash vasya
Создать пользователя vasya, домашним каталогом будет создана директория /home/vasya, в качестве системной оболочки будет назначен /bin/bash, пользователь будет включен в группу admin, кроме того для учетной записи будет создан комментарий "User Vasya"
# useradd vasya
Создать пользователя vasya
# usermod -c "User FTP" -g system -d /ftp/ftpuser -s /bin/nologin ftpuser
Изменение пользователя
# userdel -r vasya
Удалить пользователя с именем vasya и его домашнюю директорию
# groupadd [ group_name ]
Создать группу с именем group_name
# chage -E 2005-12-31 vasya
Установить дату окончания действия учётной записи пользователя vasya
# groupdel [ group_name ]
Удалить группу group_name
# groupmod -n test new_test
Переименовать группу test в new_test
# newgrp - [group]
Изменяет основную группу текущего пользователя. При указании "-", ситуация будет идентичной той, в которой пользователь вышил из системы и снова вошёл. Если не указывать группу, основная группа будет назначена из файла /etc/passwd
# grpck
Проверка корректности системных файлов учётных записей. Проверяется файл/etc/group
# pwck
Проверка корректности системных файлов учётных записей. Проверяются файлы /etc/passwd и /etc/shadow
# passwd
Изменить пароль текущего пользователя
# passwd vasya
Изменить пароль пользователя vasya ( может выполнять только root )
👉 @i_odmin
Пойдешь на Docker – захватишь Kubernetes со скидками 😏
Чтобы обучение летом прошло с двойной пользой, дарим скидку 30% на комплект курсов «Docker: from zero to hero» и «Kubernetes База».
Вы научитесь не только работать с контейнерами, но и сможете эксплуатировать сложные приложения из нескольких контейнеров при помощи k8s.
🔥 Бонус – сертификация. Если вы наберете достаточно баллов, мы дадим вам именной сертификат, который можно добавить в портфолио.
Узнать больше:https://slurm.club/3a7jGjt
Основные SQL-команды и запросы с примерами, которые должен знать каждый разработчик
В небольшом обзоре разберем наиболее важные команды языка запросов SQL и сделаем шаг в сторону грамотного изучения работы с базами данных.
#sql
👉 @database_info
Слёрм + Southbridge = Администрирование Linux Мега
🔥Attention! Мы решили создать самый хардовый курс по Linux, задействовав опыт и кейсы инженеров Southbridge. Сразу предупреждаем: будет жёстко, но хочешь знать — учись.
🤓 Это курс не по конкретному дистрибутиву, а в целом по Linux. Он поможет углубить ваши знания в работе с ОС и разобраться с best practices. Вы узнаете про установку Linux с помощью чёрной магии, приёмы ускорения работы в консоли, создание и применение bash-скриптов и многое другое.
Все, что мы разберём во время обучения, вы сможете сразу применять в работе.
Что будет на курсе:
📌9 «живых» уроков
📌Практика на стендах
📌Закрытый чат со спикером
📌Сертификация
⏱ Старт потока — 28 июля
Записывайтесь сами и подтягивайте знакомых, которые хотят пройти все круги ада и улучшить знания Linux или стать системным администратором: https://slurm.club/3bFXhub
Полезные команды Linux. Монтирование файловых систем
# mount /dev/hda1 /mnt/disk
Монтировать устройство /dev/hda1 в папку с именем /mnt/disk. точка монтирования, папка /mnt/disk, должна существовать
# fuser -km /mnt/hda1
Размонтировать устройство hda1 если оно заблокировано каким либо процессом
# mount -o loop file.iso /mnt/cdrom
Смонтировать фаил или образ ISO в директорию /mnt/cdrom
# mount /dev/hdb /mnt/cdrecorder
Монтировать cdrw или dvdrom
# mount -t vfat /dev/hda5 /mnt/hda5
Смонтировать раздел с файловой системой FAT32
# mount /dev/cdrom /mnt/cdrom
Монтировать cdrom или dvdrom
# mount /dev/fd0 /mnt/floppy
Монтировать floppy disk ( дисковод мягких дисков )
# mount /dev/hdc /mnt/cdrecorder
Монтировать cdrw или dvdrom
# mount /dev/sda1 /mnt/usbdisk
Монтировать USB устройство
# mount -t smbfs -o username=user,password=pass //WinClient/share /mnt/share
Монтировать сетевую файловую систему Windows (SMB/CIFS)
# umount -n /mnt/hda2
Размонтировать без записи в файл /etc/mtab, используется в ситуациях, когда файл находится в режиме только чтение или жесткий диск переполнен
# umount /dev/hda2
Размонтировать диск hda2, предварительно неоходимо выйти из точки монтирования /mnt/hda2
👉 @i_odmin
Открытые практикумы DevOps, Linux, Networks и Golang by Rebrain: расписание на Июль
Успевайте зарегистрироваться. Количество мест строго ограничено! Запись практикума DevOps by Rebrain в подарок за регистрацию!
👉Регистрация
5 июля DevOps: 1,5 часа с DevOps-инженером (Василий Озеров)
6 июля Linux: linux from scratch - 05 (Андрей Буранов)
7 июля Golang: Go и GRPC (Егор Гришечко)
12 июля DevOps: Мониторинг микросервисных приложений в k8s (Александр Крылов)
13 июля Linux: linux from scratch - 06 (Андрей Буранов)
14 июля Networks: REBRAIN & Timeweb Cloud: Настройка динамической маршрутизации на базе протокола OSPF (Андрей Гуляев)
19 июля DevOps by Rebrain
20 июля Linux: linux from scratch - 07 (Андрей Буранов)
21 июля Golang: Подготовка приложения к деплою в k8s кластер (Глеб Наземнов)
26 июля DevOps: Алгоритмы балансировки haproxy (Александр Крылов)
27 июля Linux: Фичи канального уровня в Linux (Даниил Батурин)
27 июля AWS Serverless челлендж: свой Instagram на-коленке. Часть 2 (Максим Пеньков)
28 июля Networks by Rebrain (Ольга Яновская)
Посмотреть программу практикумов и записаться бесплатно
Открытые еженедельные DevOps практикумы - https://rebrainme.com/channel
Присоединяйтесь!
Мониторинг в ОС Linux \ ps \ top \ gstat \ vmstat \ iostat \ netstatapt-get install top
apt-get install ganglia-monitor
apt-get install sysstat
apt-get install sockstattop
У утилиты top есть параметры, которые облегают жизнь, их мы набираем в top’e когда он запущен:
S — показать системные процессы, по умолчанию они не показываются
u — и имя пользователя, например u mysql покажет процессы запущенные от пользователя mysql
o — используем для сортировки, возможные параметры — pri, size, res, cpu, time, threads
m — переключение между режимами отображения нагрузки и ввода-вывода
k — завершить процесс, ввод pid процесса
r — изменить приоритет процесса, вводим pid процесса
n — отображать статистику по определённому процесс
a — показывает абсолютные запущенных процессов
top -n 3 — показывает самые ресурсоёмкие приложения в данный момент
gstatgstat — показывает использование дисков.
gstat -a — используется для вывода только активных устройств
vmstatvmstat — показывает состояние виртуальной памяти и буфера
vmstat 5 — отображает статистику раз в пять секунд
vmstat -z — показывает состояние буфера
vmstat -i — показывает состояние прерываний
iostatiostat — выводит статистику по I/O устройств
iostat -d -w5 — показывать информацию по дискам, с периодичностью в пять секунд безостановочно
iostat -dx -w5 — показывает расширенную статистику
iostat -dx /dev/vda 5 — показывает расширенную статистику
netstatnetstat — показывает активные сетевые соединения.
netstat -w 1 — количество пакетов в настоящее время.
netstat -ibt — вывод сетевых интерфейсов с разбивкой по IP адресам, отображает объём трафика, количество ошибок, коллизий
netstat -rn — отображает таблицу маршрутизации
👉 @i_odmin
Вакансия от Яндекса: требуется специалист службы поддержки в Yandex Cloud на удалёнку
Yandex Cloud — это облачная платформа, сервисы которой позволяют хранить и обрабатывать данные. Специалисты службы поддержки решают трудности клиентов: от восстановления утерянных прав доступа до поиска причины ошибки при подключении.
Нужен IT-специалист, который уже занимался больше года администрированием и диагностикой ОС на Linux, Unix, собирал пакеты и управляли репозиториями ПО и вообще обладает базовыми знаниями в области информационной безопасности. Обучение за счёт компании, частичная или полная занятость. Откликнуться можно по ссылке.
Ansible На Русском Языке
1 - Автоконфигурирование для DevOps - Полный Курс на Простом Языке
2 - Установка на Ubuntu и CentOS
3 - Установка на Amazon Linux через PIP
4 - Подключение к серверам LINUX
5 - Подключение к серверам WINDOWS
6 - Правила создания файла Inventory
7 - Запуск Ad-Hoc Комманд
8 - Правила Формата YAML
9 - Перенос переменных в group_vars
10 - Первые Playbook
#devops #Ansible #девопс
Подпишись 👉@i_DevOps
Полезные команды Linux. Работа с файлами и папками
# pwd
Вывести текущую директорию
# cd /home
Перейти в директорию /home
# cd ..
Перейти в родительский каталог, то есть подняться на уровень выше
# cd ../..
Подняться в дереве каталогов на два уровня
# cd
Перейти в домашний каталог
# cd ~user
Перейти в домашний каталог пользователя user
# cd -
Перейти в предыдущую директорию, из которой был сделан переход в текущую директорию
# cp -a test_1 test_2
Копировать директорию test_1 в директорию test_2
# cp file_1 file_2
Копировать файл file_1 в файл file_2
# cp -a /tmp/test .
Rопировать директорию test и все ее содержимое в текущую директорию
# cp test/* .
Копировать все файлы содержащиеся в директории test в текущую директорию
# iconv -l
Выводит список доступных для использования кодировок
# iconv -c -f windows-1251 -t utf-8 inputFile > outputFile
Конвертировать файл из кодировки windows-1251 в кодировку utf-8
# ln -s /path/to/filedir ./link
Создать в текущей директории символическую ссылку link на директорию или файл filedir
# ln /path/to/filedir ./link
Создать в текущей директории жесткую ссылку link на директорию или файл filedir
# ls
Вывести листинг содержимого текущей директории
# ls -F
Листинг текущей директории с добавлением к именам символов, обозначающих тип объекта
# ls -l
Листинг текущей директории с подробностями по каждому объекту ( права доступа, владелец, группа, дата, размер )
# ls -a
Кроме обычных объектов, вывести в листинге, скрытые файлы и директории, текущего каталога
# ls /tmp | pr -T5 -W$COLUMNS
Листинг директории /tmp в 5 колонок
# ls *[0-9]*
Вывести в листинг файлов и директорий текущего каталога, содержащие в имени цифровые символы
# lstree
Листинг иерархии директорий и файлов, начиная с корневого каталога (/)
# mkdir dir
Создать в текущем каталоге, директорию с именем dir
# mkdir dir_1 dir_2
Создать в текущем каталоге две директории, с именами dir_1 и dir_2
# mkdir -p /path/to/dir
Создать иерархию директорий. Кроме самой директории dir будут созданы все промежуточные директории
# mv filedir new_filedir
Переместить ( переименовать ) файл или директорию из filedir в new_filedir
# rm -rf /dir
Рекурсивно удалить директорию dir и всё её содержимое, без запроса подтверждения на удаление
# rm -f file
Удалить файл file, без запроса подтверждения
# rm -rf /dir_1 /dir_2
Удалить директории /dir_1 и /dir_2 вместе с содержимым, без запроса подтверждения
# rmdir /dir
Удалить директорию /dir
# tree
Вывести иерархию директорий и файлов, начиная с корневой (/)
# touch -t 0712250000 file1
Изменить дату и время создания файла, если указанный файл не существует, создать его с указанными датой и временем (YYMMDDhhmm)
👉 @i_odmin
👻 Жизнь сисадмина страшна и полна ужасов, поэтому мы решили привнести в нее немного веселья. Если именно его тебе и не хватало, то наш квиз - лучший выбор следующих пяти минут.
DevOps-квиз от Evrone - это 7 нестандартных и сложных вопросов, правильные ответы на которые гарантируют наш респект и шанс выиграть Yandex.Станцию в розыгрыше 26-го августа. Стать участником розыгрыша просто: ответь верно минимум на 6 вопросов из 7 - и ты в игре! Победителя определит генератор случайных чисел, так что самому умному потребуется еще и капелька везения.
👉🏼👉🏼Советуем не откладывать участие - переходи по ссылке, чтобы испытать свои знания и удачу.
Что такое FSMO роли, их назначение и можно ли без них жить
Многие системные администраторы, работая с Microsoft Active Directory Domain Services не знают или не до конца понимают, что такое FSMO роли и для чего они нужны. Те кто о них знает, не всегда понимает важность этих ролей, в каких случаях владелец ролей обязательно должен быть доступен, а в каких случаях их отсутствие практически никак не отразится на работе службы каталогов.
В статье ниже, будет в кратце рассказано про Flexible single-master operations «операции с одним исполнителем». А также можно ли без них жить.
👉 @i_odmin
Долгое завершение rdp сессии
Очень часто, долго завершается терминальная сессия. Виноват какой то процесс, долго выполняющий свое закрытие. Чаще всего это – SplWOW64.exe
Для его принудительного, быстрого завершения, необходимо добавить ветку реестра
"HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\SysProcs"
DWORD: SPLWOW64.EXE = 0
Таким же способом добавляется любая программа, которая долго выполняет закрытие.
👉 @i_odmin