Ну, если поискать вот так вот:

====
curl -d '{"query": {"match":  {"subg": "*nodelist*"}}}, "size": 100}' https://dynamic.lessmore.pw/search
====

То можно найти тред от августа 16-го года, где я выкладывыал этот лист на ii.difrex.ru :)

...это нормально? Или у меня всё поломалось?

+++ Caesium/0.4 RC1

around> ...это нормально? Или у меня всё поломалось?

Ты же сам видел, сколько у нас узлов. :) Так что людей очень мало, соответственно, и разговоров обычно тоже. Даже в Фидо, где на пару порядков больше людей, уже тихие. Хотя и сломаться может что то :)

around> ...это нормально? Или у меня всё поломалось?

Это нормально.
Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.

Но мы всё читаем

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

around> ...это нормально? Или у меня всё поломалось?
Это норма. Тут наплывами общение происходит.

Вот, например, тренд за последние 60 дней https://images.lessmore.pw/media/images/2019-08-19 _316-17-51.png без ботов
Волнами у нас общение происходит :)

+++ At work. idec.el/0.1

around> ...это нормально? Или у меня всё поломалось?

И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.

> И все таки поломалось.
Вроде нашёл проблему, починил. :)

>> И все таки поломалось.
> Вроде нашёл проблему, починил. :)

Что было то?

На самом деле, там не было try except вокруг блока чтения данных в pickle формате.

Почему возникает такая проблема (битый файл)? Вероятно, зависон одной копии фетчера (например, при проблемах с сетью) и запуск параллельно второй. Или мой "ручной" запуск, во время работы фетчера по крону. Других идей пока нет. Речь о файле count.lst

Я пока протсо обрамил try except и слежу за ситуацией. Возможно, пока твой сервак был в дауне это и произошло.

> Что было то?

Место на диске кончилось. :(

Peter> Место на диске кончилось. :(
Вчера из-за этого ломал голову. Не мог настроить caesium.

around>> ...это нормально? Или у меня всё поломалось?
vit01> Это нормально.
vit01> Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.
vit01> Но мы всё читаем

ok =) а то я волнуюсь =)

+++ Caesium/0.4 RC1

around>> ...это нормально? Или у меня всё поломалось?
Peter> И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.

Я как чувствовал =)

+++ Caesium/0.4 RC1

>> Что было то?
Peter> Место на диске кончилось. :(

Я вчера на похожие грабли наступил.
Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
Вчера выяснилось, что с начала августа уже не транслирует =)

service udpxy restart ничего не дал. ps -aux | grep udpxy показывает, что всё запущено, netstat -tunlp - что всё слушает там, где ожидается. Но ничего не перегоняется.

Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
Ради интереса удалил несколько строк, чтобы стало 2047 - заработало, но ровно до момента, пока лог не достиг 2048.

+++ Caesium/0.4 RC1

> Я вчера на похожие грабли наступил.

Да, и главное каждый раз говоришь себе -- очевидная ситуация, в следующий раз проверь ее сразу. Но снова и снова происходит то же самое. :)

around> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around> Вчера выяснилось, что с начала августа уже не транслирует =)

around> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.

На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.

Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

around>> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around>> Вчера выяснилось, что с начала августа уже не транслирует =)
around>> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
vit01> На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.

Повторюсь, места там полно было. А вот logrotate настроил после этого, да =(

vit01> Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.

Да есть у меня zabbix, что ж я, совсем конченый? =)

+++ Caesium/0.4 RC1

Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Да, как минимум, из-за красивого гуя
Мне, правда, zabbix не нравится сложностью в настройке и перегруженностью всякой фигнёй запутывающей, но в конце концов выглядит это всё приятно

Если у тебя есть что посоветовать удобнее и проще, то рассказывай давай

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Только поэтому у меня его нет. Но альтернативы особо я не искал. Гуй и графики мне ни к чему, а вот оповещалку в почту хотя бы было бы неплохо.

Если есть что по теме посоветовать, то буду рад, хотя на "новом" железе у меня больше мускул по OOM не падает %)

Так, я вернулся с лекции Столмена, теперь могу ответить сразу и тебе и Виктору :).
По поводу того, чем мониторить. Самый легкий вариант -- это Prometheus+Alertmanager.
Самый простой сетап для получения системных метрик: поднимаешь node exporter(он собирает все с линукса), прометеем собираешь метрики с него, по определенным условиям(например, free_memory_mb{host="f.q.d.n"} < 200) отправляется событие в алертменедржер, а у него из коробки есть почта, вебхуки и.т.д. При желание к этому наипростейше прикручивается Grafana, в которой делаешь дашборды с графиками; там тоже есть алертинг, кстати.

Свои метрики предоставлять тоже очень просто, т.к. формат простой и свободный можно писать на чем угодно.
Сама экспортируемая метрика выглядит так:

====
# HELP idec_messages example metric
# TYPE idec_messages gauge
idec_messages{echo="ii.test.14"} 0.0
====

Ну, т.к. это все написано на Go, то к ресурсам не требовательно.

Ссылки:
* Prometheus https://github.com/prometheus/prometheus
* Alertmanager https://github.com/prometheus/alertmanager
* Node exporter https://github.com/prometheus/node_exporter
* Доки https://prometheus.io/docs/introduction/first_step s/

Будут вопросы -- обращайтесь :)

> Будут вопросы -- обращайтесь :)

Что сказал дедушка Столлман? :)

> Что сказал дедушка Столлман? :)
То же что и всегда говорил: четыре основные свободы, проприетарщина -- плохо, ГНУ СЛЭШ ЛИНУКС, про то, что подписки(нетфликс, и.т.д)
это хрень, что DRM зло. Высказал свое отношение к Биткоину -- это свободный софт, значит, хорошо. Но пользоваться он им не хочет, т.к. он
недостаточно анонимен, как наличка. Говорит, что у ГНУ есть свой какой-то софт для анонимных платежей в любой валюте и это не блокчейн.
Что это, может знает кто?

Заполучил автограф на ноут ^_^

Хреновые фотки: https://cloud2.difrex.ru/index.php/s/Qgt2rPv7t3ga2 Pa

Difrex> Говорит, что у ГНУ есть свой какой-то софт для анонимных платежей в любой валюте и это не блокчейн.
Difrex> Что это, может знает кто?

https://www.opennet.ru/opennews/art.shtml?num=4666 4

https://taler.net

Это типа self-hosted аналог Paypal, если я правильно понял. Туда в бэкэнд можно добавлять поддержку как обычных денег, через банки, так и крипты вроде битка и.т.п.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Будут вопросы -- обращайтесь :)

Почитал документацию, установил и потыкал, вещь крайне прикольная и интересная.

Но есть один большой и жирный минус - защита данных. Из коробки там не то что никакого https, даже опции "поставить пароль" нету. И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс, что, как по мне, просто дикость.

В доках говорится: "Мы считаем, что все метрики - это публичные данные, а если у вас как-то иначе, то это уже не наши проблемы".

Предлагают настраивать reverse proxy, глушить всё фаерволом или извращаться какими-нибудь другими способами. Что тут делать - пока хз

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Конфиг поправить не проблема

> Мы считаем, что все метрики - это публичные данные
Обычно там действительно нет никаких секретных данных.

> Предлагают настраивать reverse proxy
Ну дык, ставишь Nginx и закрываешь, как тебе нужно.

====
cat > /etc/default/prometheus <<EOF
ARGS="-web.listen-address=localhost:9090"
EOF

cat > /etc/default/prometheus-node-exporter <<EOF
ARGS="-web.listen-address=localhost:9100"
EOF

htpasswd -c /etc/nginx/.htpasswd my_user
chown www-data /etc/nginx/.htpasswd
chmod 400 /etc/nginx/.htpasswd

cat > /etc/nginx/sites-available/my_prom.conf <<EOF
upstream prom {
  server localhost:9090;
}

server {
  listen my-prom.example.com:443;
  server_name my-prom.example.com;

  ssl on;

  ssl_certificate        /etc/letsencrypt/live/my-prom.example.com/fullchain.pem;
  ssl_certificate_key /etc/letsencrypt/live/my-prom.example.com/privkey.pem;

  location / {
    proxy_pass http://prom;
    auth_basic               "My Prometheus server";
    auth_basic_user_file /etc/nginx/.htpasswd;
  }
}

cd /etc/nginx/sites-enabled
ln -s ../sites-available/my_prom.conf
systemctl restart nginx
====

5 минут на настройку =)

>> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Difrex> Конфиг поправить не проблема

Конфиг успел ещё после установки поправить, но просто обидно, что такой дефолт. В новостях то и дело проскакивает какой-нибудь скандал, что внутренние базы МВД утекают или мобильных операторов из-за открытого во внешнюю сеть и ненастроенного elasticsearch.

>> Предлагают настраивать reverse proxy
Difrex> Ну дык, ставишь Nginx и закрываешь, как тебе нужно.

Спасибо за подсказку, завёл кое-как с нужными настройками. И это было подольше 10 минут :)

Ещё в конфиге пришлось делать фетчинг по basic auth, чтобы уж совсем безопасно было.

Жаль, что в документации не сделали приличное разъяснение и уже готовые примеры (может быть, даже не на nginx, а на ещё более лёгком софте). А то желание "прикрыть зад" системе, наверное, самое первое, что приходит в голову

---

-

Настроил Grafana с крутой панелью сразу для двух серваков и думаю, как теперь сделать оповещения нормально

Либо использовать alertmanager, либо внутренние оповещалки в Grafana. Что лучше, пока не знаю

В Zabbix были преднастроенные шаблоны для уведомлений, типа "если оперативка занята на 90% или больше, то это плохо". Там даже срабатывания были, когда /etc/passwd менялся на сервере, что мне лично не было нужно, но кому-то - вполне. Всё что оставалось - это просмотреть изкоробочные условия и подправить слегка под свои предпочтения. То есть чтобы, например, при 80% занятой ОЗУ срабатывало, а не 90.

Для node_exporter так и не нашёл какого-то общего стандартного набора правил, который покрывал бы максимум юзкейсов. Поэтому, вероятно, придётся писать свои с нуля.

Но если где-то завалялась уже готовая конфиг-портянка с правилами, то с удовольствием воспользовался бы ей.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?

Альтернативы? Кактус? Нагиос? Обсервиум?

+++ Caesium/0.4 RC1

Отвечал тут:  Dvuym2sUg7ZceZRymAj8

Обсуждение размазалось по нескольким эхам, лучше читать в конце этого треда(который ты стартанул :)), https://dynamic.lessmore.pw/thread/53be9048-45ae-4 310-8f6a-77d5f540387b

Про то, как устроен мониторинг у меня на проекте я затирал тут, если интересно: https://youtu.be/ouloiciOlqc?t=1210 :)

> Про то, как устроен мониторинг у меня на проекте я затирал тут, если интересно: https://youtu.be/ouloiciOlqc?t=1210 :)

Забавно, развиртуализация. :)

P.S. Теперь можно сказать, что WG играл в мои игры (если ты играл в INSTEAD). мухахаха!

А если серъезно, похоже в Беларуси WG -- неплохое место для айтишников.

> Все романы типа «Солярис» написаны одним и тем же способом, который я сам не могу объяснить… Я и теперь ещё могу показать те места в «Солярис» или «Возвращении со звёзд», где я во время писания оказался по сути в роли читателя. Когда Кельвин прибывает на станцию Солярис и не встречает там никого, когда он отправляется на поиски кого-нибудь из персонала станции и встречает Снаута, а тот его явно боится, я и понятия не имел, почему никто не встретил посланца с Земли и чего так боится Снаут. Да, я решительно ничего не знал о каком-то там «живом Океане», покрывающем планету. Всё это открылось мне позже, так же, как читателю во время чтения, с той лишь разницей, что только я сам мог привести всё в порядок.

-- С. Лем. "Моя жизнь"

> Все романы типа «Солярис» написаны одним и тем же способом, который я сам не могу объяснить…
Подходящий способ. Ведь, интереснее сочинять, когда сам не знаешь, что будет дальше.

Привет всем!

Поскольку Cutiefeed ужасен, и только из-за него так и не смог заставить себя регулярно юзать IDEC, попытался запустить Цезий. К сожалению, ничего не понимаю в Питоне, просто скачал его последнюю версию и натравил на caesium.py . А оно ругается:

>Traceback (most recent call last):
> File "E:\dev\caesium-master\caesium.py", line 3, in <module>
> import curses, os, urllib.request, urllib.parse, base64, codecs, pickle, time, >subprocess, re, hashlib, webbrowser, locale
> File "D:\Dev.dir\Python3\lib\curses\__init__.py", line 13, in <module>
> from _curses import *
>ModuleNotFoundError: No module named '_curses'

Может быть кто-то знает, как умилостивить питона? Сорри если оффтоп, не знаю куда писать.

Напрямую его не запустишь в винде. Можно запустить через cygwin, это такое unix-окружение для винды. Либо в 10 есть некоторый слой совместимости с линуксом https://docs.microsoft.com/ru-ru/windows/wsl /install-win10, там наверное будет работать.

>Напрямую его не запустишь в винде. Можно запустить через cygwin

А есть где-то какой-то FAQ, как, не вдаваясь в детали, запустить через Cygwin?

z-Hunter> Привет всем!

Привет

z-Hunter> Поскольку Cutiefeed ужасен, и только из-за него так и не смог заставить себя регулярно юзать IDEC, попытался запустить Цезий.

Ты юзал старую сборку для винды с сайта? Она несколько релизов не обновлялась вообще (и не обновляется до сих пор) по одной простой причине - у меня нет винды.

Актуальный Cutiefeed всегда лежит на Гитхабе, однако пашет нормально только на линуксах. Он, конечно, ужасен, но уже получше :)

Давно хочу переписать всё это дело на другом тулките и сделать дизайн как в IDEC Mobile, но постоянно сталкиваюсь с трудностями и так и не могу сделать какой-то рабочий прототип.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

>> Напрямую его не запустишь в винде. Можно запустить через cygwin
z-Hunter> А есть где-то какой-то FAQ, как, не вдаваясь в детали, запустить через Cygwin?

FAQ никто не писал, вроде бы. Если интересует, я могу написать инструкцию по запуску Caesium через Cygwin, но только завтра. Дома нет машин с виндой а то.

>> Напрямую его не запустишь в винде. Можно запустить через cygwin
z-Hunter> А есть где-то какой-то FAQ, как, не вдаваясь в детали, запустить через Cygwin?

Вот обещанная инструкция:

1. Качаем https://cygwin.com/setup-x86_64.exe ( https://cygwin.com/setup-x86.exe для 32-битной винды) и запускаем.
2. Выбираем установку из интернета (далее отвечаем на тривиальные вопросы о путях установки и настройках прокси-сервера, выбираем зеркало).
3. Выбор пакетов. Необходимо установить следующие пакеты: git, python3, ncurses, nano (в окне выбора пакетов есть поиск).
4. После запусска терминала необходимо клонировать актуальную версию caesium:

====
$ git clone https://github.com/idec-net/caesium.git
====

5. После этого достаточно зайти в директорию цезия и запустить его:

====
cd caesium
./caesium.py
====

Редактировать конфигурационный файл можно либо нажав E в цезии, либо напрямую:

====
$ nano caesium/caesium.cfg
====

Не очень удобно, но пользоваться можно :)