<![CDATA[lanmaster's blog]]>https://lanmaster.su/https://lanmaster.su/favicon.pnglanmaster's bloghttps://lanmaster.su/Ghost 4.3Fri, 25 Jul 2025 06:04:11 GMT60<![CDATA[CentOS 7. Замена диска в raid.]]>Пришло грустное письмо:

This message was generated by the smartd daemon running on:
   host name:  lanmaster
   DNS domain: su
The following warning/error was logged by the smartd daemon:
Device: /dev/sda [SAT]
]]>https://lanmaster.su/centos-7-zamiena-diska-v-raid-0/608b071859a263000122fd8dSat, 01 May 2021 07:28:10 GMTПришло грустное письмо:

This message was generated by the smartd daemon running on:
   host name:  lanmaster
   DNS domain: su
The following warning/error was logged by the smartd daemon:
Device: /dev/sda [SAT], 8 Currently unreadable (pending) sectors
Device info:
TOSHIBA HDWD110, S/N:Y5DA3S0FS, WWN:5-000039-fe7c499c2, FW:MS2OA8J0, 1.00 TB

Запуск самодиагностики диска показал, что в письме правда. Придется менять диск. Купил такой же по геометрии, маркировке и емкости, какой был. Дальше выключил сервер и полез гуглить, как это все делается.

Параметры сервера: есть четыре гнезда под диски:
1 - /dev/sda
2- /dev/sdc (не помню уже, зачем перепутаны местами sdb и sdc, но пусть будет так)
3- /dev/sdb - сам по себе, не состоит в raid
4 - пусто

Зачем-то сразу заменил дохлый диск на новый в первом гнезде. Сервер отказался запускаться, якобы не может загрузиться с диска. Ну логично вроде бы, ведь загрузка шла как раз с /dev/sda. Переставил бывший sda из второго гнезда в первый. Во второй док поставил новый диск.
Загрузилось. Теперь виден degraded raid, состоящий из sda (помним, что это бывший sdc).

Дальше делал по инструкциям: тут и тут
Инфа по разделам на райде - просто смотрим

mdadm --detail /dev/md0
mdadm --detail /dev/md1
mdadm --detail /dev/md2

Смотрим таблицы разделов

[root@lanmaster ~]# sfdisk -l /dev/sda
Диск /dev/sda: 121601 цилиндров, 255 головок, 63 секторов/дорожку
Units: cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0

Устр-во Загр   Нач   Конец    #цил     #блоки   Id  Система
/dev/sda1   *      0+     63-     64-    512000   fd  Автоопределение Linux raid
/dev/sda2         63+ 113952- 113889- 914808832   fd  Автоопределение Linux raid
sfdisk:                 конец: (c,h,s) ожидалось (1023,254,63) найдено (288,76,44)

/dev/sda3     113952+ 115329-   1377-  11059200   fd  Автоопределение Linux raid
/dev/sda4          0       -       0          0    0  Пустой

[root@lanmaster ~]# sfdisk -l /dev/sdc
Диск /dev/sdc: 121601 цилиндров, 255 головок, 63 секторов/дорожку

Бэкапим таблицы разделов и создаем на sdc такие же разделы, как на sda.
Создать бэкап:

sfdisk --dump /dev/sda > /home/alexander/2021-04-29/sda_parttable_mbr.bak

Восстановить бэкап на  /dev/sdc:

cat /home/alexander/2021-04-29/sda_parttable_mbr.bak | sfdisk /dev/sdc

Подключаем разделы на sdc в рэйд в соответствующие разделы md:

mdadm /dev/md0 -a /dev/sdc1
mdadm /dev/md1 -a /dev/sdc2
mdadm /dev/md2 -a /dev/sdc3

Теперь новый диск является частью массива. Синхронизацию дисков вы можете увидеть, введя команду: 

cat /proc/mdstat
или
watch -n 2 cat /proc/mdstat

Нужно еще загрузчик установить на новый диск, это уже после синхронизации массива. Брал отсюда:

grub2-install /dev/sdc

После перестановки дисков массива местами - система загружается и работает, команда cat /proc/mdstat показывает массив в исправном состоянии:

Personalities : [raid1]
md2 : active raid1 sda3[1] sdc3[0]
      11059136 blocks [2/2] [UU]

md1 : active raid1 sda2[1] sdc2[0]
      914808768 blocks [2/2] [UU]
      bitmap: 2/7 pages [8KB], 65536KB chunk

md0 : active raid1 sda1[1] sdc1[0]
      511936 blocks [2/2] [UU]
]]><![CDATA[Vaadin 14. Модель+контроллер.]]>Есть относительно крупная форма, со множеством взаимосвяз

]]>https://lanmaster.su/vaadin-14-modiel-kontrollier/606f0df769d546000180497fFri, 09 Apr 2021 08:06:21 GMTЕсть относительно крупная форма, со множеством взаимосвязанных компонентов. При выборе какого-нибудь комбобокса нужно получить из БД несколько наборов данных, обновить их в DataProvider-ах других компонентов. В общем - ситуация напоминает большую комнату с большим числом разных объектов со множеством ниточек-связей. И дернув одну ниточку, можно вызвать шквал ответных реакций со всех сторон комнаты.

Контролировать состояние такой системы очень сложно. Любая попытка внести изменения приводит к головным болям, работе на несколько дней и несколько дней тестирования.

Принято решение переделать работу формы на использование модели и контроллера. Мне не удалось вписать Vaadin в классическую схему работы MVC. Придумал немного измененную свою:

Controller:

  • реализует в виде методов с однозначными названиями, вызовы к которым поступают из разных источников;
  • для методов, в которых производится изменение состояния компонентов UI, нужно использовать двух-этапную реализацию:
    • первый этап - изменение модели;
    • второй этап - синхронизация компонентов с моделью;
  • двунаправленно взаимодействует с UI, внешними сервисами, базой данных;
  • может менять состояние модели;

Model:

  • хранит данные для всех компонентов формы:
    • коллекции значений, например для комбобоксов;
    • выбранные значения для комбобоксов (если не null, то обязательно объект такого значения должен быть в коллекции);
    • одиночные значения, например для Label/Text/Checkbox;
  • содержит методы для перезагрузки данных в коллекциях, по возможности, используя текущие значения других частей модели;
  • предоставляет данные для UI и Controller
  • принимает изменения данных и запросы на перезагрузку коллекций от Controller;

UI:

  • реагирует на события пользовательского интерфейса, это могут быть, например, FocusListener, BlurListener и т.п.;
  • для ValueChangeListener нужно добавлять проверку на поступление события именно от пользователя, используя if (event.isFromClient()) {}. Если условие верно - то обычно следует вызвать в контроллере метод вида asyncChangeValue*(event.getValue()). Приставка async* в данном случае напоминает мне о том, что метод асинхронный, двух-этапный.
  • для исключения ненужных попыток обновлять данные в компонентах UI создал абстрактный класс ModelSyncable, содержащий логику обнаружения измнений в коллекциях и/или выбранном значении компонента. Типичная схема работы с этим классом:
    • враппер компонента наследует от класса ModelSyncable и переопределяет некоторые или все из его методов:
      • syncSupplierModelCollectionIds() - поставщик списка Id на базе коллекции;
      • syncSupplierModelValueId() - метод-поставщик значения из модели;
      • syncSupplierComponentValueId() - метод-поставщик значения из компонента;
      • для определения, нужно ли производить обновление данных в компоненте, используются методы:
        • syncNeedDataProviderRefreshAll() - если возвращает TRUE, значит нужно обновить DataProvider для списка значений (refreshAll());
        • syncNeedComponentValueChange() - если возвращает TRUE, значит нужно обновить выбранное значение компонента;
      • требуется реализация метода syncByModel();

Пример реализованного метода:

@Override
public void syncByModel() {
    if (syncNeedDataProviderRefreshAll())
    	component.getDataProvider().refreshAll();
    if (syncNeedComponentValueChange())
    	component.setValue(lineModel.getEntityAddrss());
}

Картинка, как оно все связано (link):

Враппер компонента - это простой класс, в конструкторе которого производится инициализация компонента, настройка его листенеров и т.д. Геттер компонента getComponent() прилагается.

Асинхронный двух-этапный метод Контроллера - это метод, позволяющий выполнять тяжелые операции в отрыве от основного потока UI. Если выполнять такие операции в основном потоке UI - это будет приводить к торможению работы интерфейса. В этом методе асинхронно (отдельно от вызывающего потока) и последовательно выполняются два блока кода:

  • тяжелые операции по получению данных из БД, обновление модели;
  • вызов методов синхронизации компонентов `syncByModel()`, данные которых были затронуты в первом блоке. Этот блок выполняется при блокировке потока UI, используя ui.access();

Советы самому себе:

  • не создавать раздельные контроллеры для вложенных компонентов, пускай он лучше будет один большой (у меня получился более 700 строк), но все в одном месте. Гораздо сложнее кодить, имея два и более контроллера, которые зависят друг от друга. У меня в форме есть грид, каждая строка которого состоит из 3 ComboBox и одного Div. Сначала я сделал контроллер и модель для грида, потом добавил контроллер и модель для строки грида. Когда все это смешалось и появились вызовы из контроллеров во вложенные контроллеры и наоборот - настал кошмар. Пришлось объединять контроллеры в один - GridController. А вот модели я оставил как было - модель грида и модель строки.
  • для не вложенных компонентов создавать раздельные контроллеры вполне разумно, особенно если в них много кода;
  • двух-этапные асинхронные методы по возможности не должны включать в себя вызовы других методов такого же типа. Иначе начнется что-то типа 'race condition' и станет неясен результат всей операции. Подобные асинхронные методы можно вызывать только для не пересекающихся операций, например, вывод уведомления.

Кое-какой код:

import com.vaadin.flow.component.Component;
import ru.waptaxi.wtwebordermanager.jettyserv.webcontext.views.reception.model.ReceptionModel;

import java.lang.annotation.Annotation;
import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.List;
import java.util.Objects;
import java.util.function.Supplier;

/**
 * Абстрактный класс для расширения врапперами компонентов.
 * Основное назначение - для реализации логики обнаружения изменений в данных компонента.
 *
 * @since 2021-04-05
 */
public abstract class ModelSyncable {

    private static final String METHOD_NOT_IMPLEMENTED_STRING = "Не реализован метод '%s' в классе %s";
    private static final String METHOD_NOT_FOUND_STRING = "Ошибка обнаружения метода '%s' в классе %s";

    protected ModelSyncable() {
    }


    /*
     * ***************************************************************************************
     * ***************************************************************************************
     * *********************** СИНХРОНИЗАЦИЯ ДАННЫХ КОМПОНЕНТА И МОДЕЛИ **********************
     * ***************************************************************************************
     * ***************************************************************************************
     * 2021-03-15. Вся эта каша заварена для исключения ненужных передач данных между
     * браузером и сервером. Методы syncNeed*, используя данные поставщиков syncSupplier*,
     * возращают признаки, нужно ли обновлять список данных компонента из модели
     * (для компонентов с коллекциями) и нужно ли обновлять значение в компоненте
     * на значение из модели.
     */

    /**
     * Обновление компонента на основе данных из модели
     */
    public abstract void syncByModel();


    /**
     * ***************************************************************************************
     * Детекция изменений в коллекции, используемой в компоненте
     * ***************************************************************************************
     */
    private static final String SYNC_SUPPLIER_MODEL_COLLECTION_IDS_METHOD = findMethodNameForAnnotation(SyncSupplierModelCollectionIdsMethod.class);
    private int collectionIdsHash = 0; // Последний хэш коллекции


    /**
     * Дефолтный поставщик списка Integer из коллекции объектов для создания хэша
     * Для компонентов Vaadin, которым требуется знать об изменениях в их списке данных,
     * нужно переопределять этот метод, реализуя в нем возврат значения типа List<Integer>,
     * состоящих из ID элементов данных. Без переопределения метода дефолтный поставщик
     * будет всегда выдавать пустой список и хэш считаться не будет.
     *
     * @return поставщик List<Integer> для расчета хэша
     */
    @SyncSupplierModelCollectionIdsMethod
    public Supplier<List<Integer>> syncSupplierModelCollectionIds() {
        return ArrayList::new;
    }


    /**
     * Признак изменения коллекции для компонента
     * Здесь проверяется, где именно реализован метод-поставщик List<Integer>.
     * Если он реализован только в данном абстрактном классе - то никакие
     * изменения детектироваться не будут.
     */
    public final boolean syncNeedDataProviderRefreshAll() {
        // Дефолтное значение (Имя интерфейсного класса) - только для создания реакции "не реализован метод",
        // т.к. возможно исключение и строка останется пустой, что приведет к ложному срабатыванию логики
        String collectionHashSupplierDeclaringClassName;
        try {
            collectionHashSupplierDeclaringClassName = this.getClass().getMethod(SYNC_SUPPLIER_MODEL_COLLECTION_IDS_METHOD)
                    .getDeclaringClass().getSimpleName().intern();
        } catch (NoSuchMethodException e) {
            OperationsLogger.logError(e, String.format(METHOD_NOT_FOUND_STRING, SYNC_SUPPLIER_MODEL_COLLECTION_IDS_METHOD, this.getClass().getSimpleName()));
            return false;
        }

        String abstractClassName = ModelSyncable.class.getSimpleName().intern();
        // Если метод-поставщик хэша не реализован в дочернем классе, то пишем в лог и возвраащаем false,
        // иначе - получаем актуальный хэш для коллекции и сравниваем его с ранее сохраненным
        if (collectionHashSupplierDeclaringClassName.equals(abstractClassName)) {
            OperationsLogger.logWarn(String.format(METHOD_NOT_IMPLEMENTED_STRING, SYNC_SUPPLIER_MODEL_COLLECTION_IDS_METHOD, this.getClass().getSimpleName()));
        } else {
            List<Integer> ids = syncSupplierModelCollectionIds().get();
            int actualCollectionHash = Objects.hash(ids.toArray()); // Хэш на основе ID элементов коллекции
            if (actualCollectionHash != collectionIdsHash) {
                collectionIdsHash = actualCollectionHash;
                return true;
            }
        }
        return false;
    }


    /*
     * ***************************************************************************************
     * Детекция изменений в выбранном значении, используемом в компоненте
     * Сравнение производится между значением в компоненте и значением из модели
     *
     * @see #syncSupplierComponentValueId - поставщик значения из компонента
     * @see #syncSupplierModelValueId()     - поставщик значения из модели
     * ***************************************************************************************
     */

    private static final String SYNC_SUPPLIER_MODEL_VALUE_ID_METHOD = findMethodNameForAnnotation(SyncSupplierModelValueIdMethod.class);
    private static final String SYNC_SUPPLIER_COMPONENT_VALUE_ID_METHOD = findMethodNameForAnnotation(SyncSupplierComponentValueIdMethod.class);


    /**
     * Поставщик ID выбранного значения из модели, например ID
     * Нужен для определения, нужно ли обновлять значение в компоненте...
     * Если текущее значение компонента отличается от текущего значения модели
     * - то нужно обновить значение в компоненте
     *
     * @see #syncSupplierComponentValueId()
     */
    @SyncSupplierModelValueIdMethod
    public Supplier<Object> syncSupplierModelValueId() {
        return () -> 0;
    }


    /**
     * Поставщик текущего значения компонента, например ID
     * Нужен для определения, нужно ли обновлять значение в компоненте...
     * Если текущее значение компонента отличается от текущего значения модели
     * - то нужно обновить значение в компоненте
     *
     * @see #syncSupplierModelValueId()
     */
    @SyncSupplierComponentValueIdMethod
    public Supplier<Object> syncSupplierComponentValueId() {
        return () -> 0;
    }


    /**
     * Метод, возращающий TRUE, если значение в компоненте отличается от значения в модели
     */
    public final boolean syncNeedComponentValueChange() {
        // Имя класса, в котором реализован метод с указанным именем
        String methodImplementsClassName1;
        try {
            methodImplementsClassName1 = this.getClass().getMethod(SYNC_SUPPLIER_MODEL_VALUE_ID_METHOD).getDeclaringClass().getSimpleName().intern();
        } catch (NoSuchMethodException e) {
            OperationsLogger.logError(e, String.format(METHOD_NOT_FOUND_STRING, SYNC_SUPPLIER_MODEL_VALUE_ID_METHOD, this.getClass().getSimpleName()));
            return false;
        }

        // Имя класса, в котором реализован метод с указанным именем
        String methodImplementsClassName2;
        try {
            methodImplementsClassName2 = this.getClass().getMethod(SYNC_SUPPLIER_COMPONENT_VALUE_ID_METHOD).getDeclaringClass().getSimpleName().intern();
        } catch (NoSuchMethodException e) {
            OperationsLogger.logError(e, String.format(METHOD_NOT_FOUND_STRING, SYNC_SUPPLIER_COMPONENT_VALUE_ID_METHOD, this.getClass().getSimpleName()));
            return false;
        }

        String abstractClassName = ModelSyncable.class.getSimpleName().intern();
        // Если метод1 реализован только в абстрактном классе, то пишем в лог
        // иначе, если метод2 реализован только в абстрактном классе, то пишем в лог
        // иначе - считаем хэш значения из модели и сравниваем его с сохраненным для компонента
        if (methodImplementsClassName1.equals(abstractClassName)) {
            OperationsLogger.logWarn(String.format(METHOD_NOT_IMPLEMENTED_STRING, SYNC_SUPPLIER_MODEL_VALUE_ID_METHOD, this.getClass().getSimpleName()));
        } else if (methodImplementsClassName2.equals(abstractClassName)) {
            OperationsLogger.logWarn(String.format(METHOD_NOT_IMPLEMENTED_STRING, SYNC_SUPPLIER_COMPONENT_VALUE_ID_METHOD, this.getClass().getSimpleName()));
        } else {
            int modelValueHash = Objects.hash(syncSupplierModelValueId().get());
            int componentValueHash = Objects.hash(syncSupplierComponentValueId().get());
            if (modelValueHash != componentValueHash)
                return true;
        }
        return false;
    }


    /**
     * Поиск названия метода по аннотации
     */
    private static String findMethodNameForAnnotation(Class<? extends Annotation> annotationName) {
        Method[] methods = ModelSyncable.class.getMethods();
        for (Method method : methods) {
            boolean annotationPresent = method.isAnnotationPresent(annotationName);
            if (annotationPresent)
                return method.getName();
        }
        return "";
    }


}




@Retention(RetentionPolicy.RUNTIME)
public @interface SyncSupplierComponentValueIdMethod {
}
@Retention(RetentionPolicy.RUNTIME)
public @interface SyncSupplierModelCollectionIdsMethod {
}
@Retention(RetentionPolicy.RUNTIME)
public @interface SyncSupplierModelValueIdMethod {
}

public class CityComboBox2 extends ModelSyncable {

    private final MarshrutGridRow marshrutGridRow;
    private final ComboBox<EntityCity> component;
    private final MarshrutGrid2 marshrutGrid2;
    private final MarshrutGridRowModel rowModel;


    /**
     * Конструктор
     */
    public CityComboBox2(MarshrutGridRow marshrutGridRow) {
        this.marshrutGridRow = marshrutGridRow;
        this.marshrutGrid2 = marshrutGridRow.getMarshrutGrid();
        this.rowModel = marshrutGridRow.getRowModel();

        component = new ComboBox<>();
        component.setSizeFull();

        // Подключение и настройка набора данных
        component.setItemLabelGenerator(EntityCity::getName);
        ListDataProvider<EntityCity> dataProvider = new ListDataProvider<>(rowModel.getEntityCityList());
        dataProvider.setSortOrder(EntityCity::getName, SortDirection.ASCENDING);
        component.setDataProvider(dataProvider);

        component.addValueChangeListener(event -> {
            if (event.isFromClient()) marshrutGrid2.getController().asyncChangeCity(marshrutGridRow, event.getValue());
        });

        component.addFocusListener(event -> marshrutGrid2.getController().focusSetLast(component));

    }


    public ComboBox<EntityCity> getComponent() {
        return component;
    }


    @Override
    public Supplier<List<Integer>> syncSupplierModelCollectionIds() {
        return () -> rowModel.getEntityCityList().stream().map(EntityCity::getCityId).collect(Collectors.toList());
    }

    @Override
    public Supplier<Object> syncSupplierModelValueId() {
        return rowModel::getCityId;
    }

    @Override
    public Supplier<Object> syncSupplierComponentValueId() {
        return () -> Objects.nonNull(component.getValue()) ? component.getValue().getCityId() : 0;
    }

    @Override
    public void syncByModel() {
        if (syncNeedDataProviderRefreshAll())
            component.getDataProvider().refreshAll();
        if (syncNeedComponentValueChange())
            component.setValue(rowModel.getEntityCity());

    }
}
]]><![CDATA[Удаление клонов stackoverflow в выдаче Гугла (периодически обновляется)]]>Сильно надоела куча хлама с переводом статей из stackoverflow в выдаче по

]]>https://lanmaster.su/udalieniie-klonov-stackoverflow-v-vydachie-gughla/5e576e397824a90001b8cf22Thu, 27 Feb 2020 07:25:13 GMTСильно надоела куча хлама с переводом статей из stackoverflow в выдаче поисковика google.com. Где-то в инете накопал такой способ, да простит меня автор способа, не могу вспомнить - где именно нашел.

Ставим в браузер расширение - блокировщик рекламы: AdBlock Plus

Переходим в настройки AdBlock, раздел «Расширенные» → «Мой список  фильтров». Добавляем туда список, указанный ниже. Вроде можно добавить  все сразу. Список плохих доменов, для включения в список блокировки  AdBlock:

google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="codeflow.site"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="qaru.site"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="coredump.su"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="askdev.info"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="ubuntugeeks.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="programmerz.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="code-examples.net"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="stackovernet.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="stackoverrun.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="qa-help.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="switch-case.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="switch-case.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="answer-id.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="codeday.me"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="issue.life"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="stackru.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="voidcc.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="overcoder.net"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="askvoprosy.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="progi.pro"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="vike.io"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="codengineering.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="it-swarm.net"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="qarus.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="programqa.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="likeflow.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="stackanswers.net"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="i-harness.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="askdev.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="fooobar.com"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="coderquestion.ru"])
google.com,google.ru#?##search .srg> .g:-abp-has(a[href*="myht.ru"])
]]><![CDATA[Установка Nominatim в Docker]]>Качаем репозиторий с гитхаба
mkdir /home/user/nominatim
cd /home/user/nominatim
git clone https://github.com/merlinnot/nominatim-docker.git
cd /home/user/nominatim/nominatim-docker

Соби

]]>https://lanmaster.su/ustanovka-nominatim-v-docker/5e5765b57824a90001b8cef1Thu, 27 Feb 2020 06:48:52 GMTКачаем репозиторий с гитхаба
mkdir /home/user/nominatim
cd /home/user/nominatim
git clone https://github.com/merlinnot/nominatim-docker.git
cd /home/user/nominatim/nominatim-docker

Собираем образ контейнера Docker. Здесь следует пояснить: первые строки параметров объяснены в  первоисточнике, последние две строки параметров - это указание, откуда  качать исходный дамп OSM и откуда брать обновления к нему. Очень  рекомендую использовать SSD-диск, при работе с базой данных это станет  узким местом всей системы.

docker build . \
-t nominatim \
--build-arg PGSQL_VERSION=10 \
--build-arg POSTGIS_VERSION=2.5 \
--build-arg BUILD_THREADS=2 \
--build-arg BUILD_MEMORY=1GB \
--build-arg OSM2PGSQL_CACHE=1000 \
--build-arg RUNTIME_THREADS=4 \
--build-arg RUNTIME_MEMORY=2GB \
--build-arg PBF_URL=https://download.geofabrik.de/russia/ural-fed-district-latest.osm.pbf \
--build-arg REPLICATION_URL=https://download.geofabrik.de/russia/ural-fed-district-updates

Долго-долго ждем… Было сделано несколько попыток генерации образа:

  1. Успешно прошла только генерация образа для Урала. Генерация проводилась на виртуальной машине Virtualbox с гостевой системой CentOS 7 (1511) с оперативной памятью 2Gb. Размер образа для Урала получился около 10 Gb.
  2. Попытка запустить создание образа для России на живой машине (CentOS 7 (1511), 2Gb памяти и 500Gb места на диске, установлен docker-ce) провалилась с такой ошибкой:

Reading in file: /srv/nominatim/src/data.osm.pbf
Using PBF parser.
Processing: Node(322360k 329.3k/s) Way(0k 0.00k/s) Relation(0 0.00/s)COPY_END for planet_osm_nodes failed: ERROR: could not extend file «base/16386/19754.1»: wrote only 4096 of 8192 bytes at block 208840
HINT: Check free disk space. CONTEXT: COPY planet_osm_nodes, line 38636000
(Вероятно, требуется больше оперативной памяти для большого дампа России.)

В случае успешного импорта размер образа Docker будет занимать около 100 Gb.

Запуск настроенного контейнера с данными

Ключ -h нужен, чтобы передать в контейнер имя хоста, оно будет подставляться во все URL, генерируемые для загрузки страницы Nominatim. Если его не указать - то URL будут формироваться с использованием внутреннего имени хоста контейнера и страница будет грузиться некорректно.

docker run --name nominatim --restart=always -d -p 8088:80 -h 192.168.0.71:8088/nominatim nominatim:latest

Обновление данных в Nominatim

Судя по всему, нужно добавить в cron задачу обновления. Смотрим здесь: https://github.com/openstreetmap/Nominatim/issues/1143

Сначала нужно инициировать обновления в Nominatim:

# Зайти в консоль контейнера
sudo -u nominatim /srv/nominatim/Nominatim/build/utils/update.php --init-updates

Последовательность полного обновления:

# Зайти в консоль контейнера
sudo -u nominatim /srv/nominatim/Nominatim/build/utils/update.php --import-osmosis-all

Для автоматического обновления через cron добавьте в него такую команду (от пользователя nominatim):

sudo -u nominatim /srv/nominatim/Nominatim/build/utils/update.php --import-osmosis

Разное

Почему-то не подхватились параметры конфига из Dockerfile. Это приводит к  тому, что апдейт данных производится с дампа планеты, уходит много  трафика. Тогда правим файл  /srv/nominatim/Nominatim/build/settings/settings.php:

Правим файл /srv/nominatim/Nominatim/build/settings/settings.php

Изменяем:
@define('CONST_Replication_Url', 'https://download.geofabrik.de/russia/ural-fed-district-updates');
@define('CONST_Replication_Update_Interval', '86400');
@define('CONST_Replication_Recheck_Interval', '900');

Добавляем:
@define('CONST_Replication_MaxInterval', '86400');

Запуск импорта из командной строки хоста

Вот так можно запустить импорт вручную. Но лучше добавить команду импорта в cron.

docker exec -it nominatim sudo -u nominatim /srv/nominatim/Nominatim/build/utils/update.php --import-osmosis
docker exec -it nominatim sudo -u nominatim /srv/nominatim/Nominatim/build/utils/update.php --import-osmosis-all

Источники:
https://github.com/merlinnot/nominatim-docker
https://github.com/openstreetmap/Nominatim/issues/1143

]]><![CDATA[Объединение дампов OSM]]>Качаем дампы, например отсюда:

https://download.geofabrik.de/asia/kazakhstan-latest.osm.pbf
https://download.geofabrik.de/russia/ural-fed-district-latest.osm.pbf

Качаем пос

]]>https://lanmaster.su/obiedinieniie-dampov-osm/5e5764af7824a90001b8ced7Thu, 27 Feb 2020 06:43:12 GMTКачаем дампы, например отсюда:

https://download.geofabrik.de/asia/kazakhstan-latest.osm.pbf
https://download.geofabrik.de/russia/ural-fed-district-latest.osm.pbf

Качаем последнюю версию Osmosis:

http://bretth.dev.openstreetmap.org/osmosis-build/osmosis-latest.zip

Команда запуска:

osmosis --rb kazakhstan-latest.osm.pbf --rb ural-fed-district-latest.osm.pbf --merge --wb merged.pbf

Источники:
https://gis.stackexchange.com/questions/242704/how-to-merge-osm-pbf-files
https://wiki.openstreetmap.org/wiki/Osmosis/Detailed_Usage_0.47

]]><![CDATA[Ограничение частоты запросов по API_KEY с использованием OpenResty и Docker]]>Предыдущий вариант ограничения был статичен, для внесения

]]>https://lanmaster.su/oghranichieniie-chastoty-zaprosov-po-api_key-s-ispolzovaniiem-openresty-i-docker/5e57636e7824a90001b8cea2Thu, 27 Feb 2020 06:40:37 GMTПредыдущий вариант ограничения был статичен, для внесения изменений в список API-KEY  требовался перезапуск Nginx. Нужно решение с динамическими ключами.  OpenResty - это комплекс полезных расширений для сервера Nginx, на его  базе можно реализовать требуемое. Используем Docker, официальный образ OpenResty и официальный образ сервера Redis. Redis будет хранить в себе API-ключи.

Задача: все запросы, поступающие на адрес http://192.168.0.71:8080/ проверять на наличие заголовка API-KEY и на его базе принимать решение о фильтрации запросов. Запросы с правильными API-KEY перенаправлять на адрес http://192.168.0.72/.

Внимание! Все указанные операции проводятся на хосте 192.168.0.71!

Установить Docker. Для CentOS:

yum install docker

Установить контейнер OpenResty. Здесь мы запускаем контейнер, подключаем  в него с хоста папку с конфигами nginx, чтобы было удобнее их  редактировать:

docker run -d \
--name openresty \
-p 8080:8080 \
-v /media/docker-data/openresty/etc/nginx/conf.d:/etc/nginx/conf.d \
openresty/openresty:alpine

Установить контейнер Redis. Здесь также подключаем папку хоста, для  хранения данных на случай восстановления при аварийных ситуациях:

docker run -d \
--name redis \
-p 6379:6379 \
-v /media/docker-data/redis/data:/data \
redis redis-server --appendonly yes

Создаем конфиг nginx:

#/media/docker-data/openresty/etc/nginx/conf.d/default.conf:

# Выделение памяти для функции расчета частоты
lua_shared_dict my_limit_req_store 100m;

server {

    listen       8080;
    server_name  192.168.0.71;

    location / {

        access_by_lua_file /etc/nginx/conf.d/apikey_module.lua;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://192.168.0.72/;
    }

    error_page 404 /404.html;
    error_page 500 502 503 504 /50x.html;

    # Этот путь изменен на корректный для OpenResty, иначе в логах будет ошибка 404 вместо 503,
    # просто потому, что файл описания 503-й ошибки не найден...
    location = /50x.html {
        root /usr/local/openresty/nginx/html;
    }
}

Создаем скрипт LUA, подключаемый в конфиге выше (строка access_by_lua_file…):

#/media/docker-data/openresty/etc/nginx/conf.d/apikey_module.lua:

-- Функции в начале файла, т.к. интерпретатор LUA имеет последовательную обработку скрипта и должен видеть вызывающийся
-- код до его вызова.

-- Проверка наличия ключа в базе Redis
function check_key(key)
    local redis = require "resty.redis"
    local red = redis:new()
    red:set_timeout(1000) -- 1 second
    - Здесь укажите собственные настройки сервера Redis
    local ok, err = red:connect("192.168.0.71", 16379)

    -- Если не удалось подключиться к серверу Redis - пишем в лог
    if not ok then
        ngx.log(ngx.ERR, "failed to connect to Redis server: ", err)
        return false
    end

    -- Запрос ключа в сервере Redis
    local value, err = red:get(key)

    -- Если не удалось выполнить запрос - пишем в лог
    if not value then
        ngx.log(ngx.ERR, "failed to get key in Redis server: ", err)
        return false
    end

    -- Если для ключа нет значения - то возвращаем false
    -- иначе - возвращаем true
    if value == ngx.null then
        ngx.log(ngx.ERR, "no value found for key ", key)
        return false
    else
        -- Ключ найден в базе Redis, пишем в лог. Убрать потом.
        --ngx.log(ngx.ERR, "key:", key, " value:", value)
        return true
    end
end

--Функция ограничения частоты запросов
function limit_requests()
    local limit_req = require "resty.limit.req"
    -- my_limit_req_store прописывается в перед блоком server конфига Nginx (default.conf)
    -- 200 запросов в секунду с одного IP (исключительно для тестов)
    local lim, err = limit_req.new("my_limit_req_store", 200, 0)
    -- Если ограничитель не инициирован, то смиренно отдадим контент, но с задержкой
    if not lim then
        ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
        -- Спим 1 сек
        ngx.sleep(1)
        return ngx.exit(200)
    end

    -- Ключ счетчика частоты - IP запрашивающего
    local key = ngx.var.binary_remote_addr
    local delay, err = lim:incoming(key, true)
    if not delay then
        -- Если запрос не пролазит по частоте - то даем ответ 503
        if err == "rejected" then
            ngx.log(ngx.ERR, "delay rejected: ", err)
            return ngx.exit(503)
        end
        ngx.log(ngx.ERR, "failed to limit req: ", err)
        return ngx.exit(503)
    end

    if delay>= 0.001 then
        local excess = err
        ngx.sleep(delay)
    end
end

-- Ищем ключ API_KEY в заголовках
local key = ngx.var.http_api_key

-- Если ключ есть, то нужно проверить его по базе Redis
if key then
    -- Проверка на наличие ключа в базе Redis
    local key_exist = check_key(key)
    -- Если ключа нет - передаем управление на функцию ограничения частоты запросов
    if not key_exist then
        ngx.log(ngx.ERR, "check_key() returned false")
        limit_requests()
    end
else
    limit_requests()
end

Для добавления ключей в Redis используем консоль:

docker run -it --link redis:redis --rm redis redis-cli -h redis -p 6379
#Добавляем ключи:
redis:6379> set 111 ""
redis:6379> set 222 ""
redis:6379> set 333 ""
quit

Испытания.

# Установка нагрузочного инструмента для испытаний
yum install siege

Коды результатов: (200 - запрос ушел на следующий сервер, 503 - запрос отброшен).
10 запросов с неверным ключом:

[root@localhost ~]# siege -b -r 1 -c 10 -H "API-KEY: 1aaa111" http://192.168.0.71:8080/icons/ubuntu-logo.png
** SIEGE 4.0.2
** Preparing 10 concurrent users for battle.
The server is now under siege...
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.02 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.03 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png

10 запросов без ключа:

[root@localhost ~]# siege -b -r 1 -c 10 http://192.168.0.71:8080/icons/ubuntu-logo.png
** SIEGE 4.0.2
** Preparing 10 concurrent users for battle.
The server is now under siege...
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.01 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.02 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.02 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.02 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 503     0.02 secs:     541 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png

10 запросов с правильным ключом:

[root@localhost ~]# siege -b -r 1 -c 10 -H "API-KEY: 111" http://192.168.0.71:8080/icons/ubuntu-logo.png
** SIEGE 4.0.2
** Preparing 10 concurrent users for battle.
The server is now under siege...
HTTP/1.1 200     0.01 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.01 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.01 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.01 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png
HTTP/1.1 200     0.02 secs:    3338 bytes ==> GET  /icons/ubuntu-logo.png

Источники:

]]><![CDATA[Ограничение частоты запросов по API-KEY с использованием Nginx]]>Хотим добавить ограничение частоты запросов для какого-т

]]>https://lanmaster.su/oghranichieniie-chastoty-zaprosov-po-api-key-s-ispolzovaniiem-nginx/5e5762447824a90001b8ce94Thu, 27 Feb 2020 06:32:12 GMTХотим добавить ограничение частоты запросов для какого-то ресурса. Пример запроса:

http://test.one/somefile_105_907.png

Используем nginx. Примеры на базе CentOS 7.
Добавляем в nginx реверсивный прокси. Теперь все запросы будем принимать  на другой адрес, ограничивать частоту посещения и перенаправлять на  старый адрес. Новый адрес:

http://test.two/somefile_105_907.png

В начало блока http добавляем маппинг параметров для API-ключей, подключаем в него внешний файл с самими ключами, создаем правило ограничения доступа:

#/etc/nginx/nginx.conf:

http {

    map $http_api_key $limit {
        include /etc/nginx/conf.d/apikeys.map;
        default $binary_remote_addr;
    }

    limit_req_zone $limit zone=apikey:10m rate=12r/m;

    # Тут остальная часть прежнего конфига...
}

Добавляем сам файл с ключами:

#/etc/nginx/conf.d/apikeys.map:

111 '';
222 '';

Модифицируем блок конфигурации дефолтного сервера nginx (блок server / location):

#/etc/nginx/conf.d/default.conf:
server {
    listen       80;
    server_name  test.two;

    location / {
        limit_req zone=apikey nodelay;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://test.one/;
    }
}

Внимание! default.conf взят для минимизации примера, в реальных условиях используйте свои конфиги.

Описание работы:

  • Запрос поступает на http://test.two/somefile_105_907.png
  • Анализируется HTTP-Header «API-KEY». Берется его значение в переменную $http_api_key
  • $http_api_key сверяется со списком из файла apikeys.map
  • Если соответствие найдено, то  переменной $limit устанавливается пустое значение (запрос не будет  участвовать в анализе частоты обращений)
  • Если нет соответствия, то переменной  $limit устанавливается значение, равное IP адресу запроса. Такой запрос  будет обрабатываться по правилам, указанным в limit_req_zone. Частота  запросов будет ограничена (1 раз / 5 секунд) (rate=12r/m);
  • Если фильтрация не требуется - то запрос передается на http://test.one/somefile_105_907.png, ответ возвращается обратно.

Примеры запросов с помощью утилиты CURL:

# Такие запросы будут проходить без ограничений:
curl "http://test.two/somefile_105_907.png" -H "Api-Key: 111"
curl "http://test.two/somefile_105_907.png" -H "Api-Key: 222"

# А такие будут фильтроваться по правилам:
curl "http://test.two/somefile_105_907.png" -H "Api-Key: 121"
curl "http://test.two/somefile_105_907.png"

Ссылки:

https://serverfault.com/questions/784852/nginx-conf-for-limit-req-based-on-http-header
http://nginx.org/ru/docs/http/ngx_http_limit_req_module.html
http://nginx.org/ru/docs/http/ngx_http_map_module.html
https://habr.com/ru/company/southbridge/blog/329876/

]]><![CDATA[Vaadin . Настройка времени жизни устаревших UI.]]>Vaadin 14.1.17

Настройка Jetty-embedded сервера для работы с сессиями Vaadin. Главные тре

]]>https://lanmaster.su/vaadin-nastroika/5e563853cd815b0001e74199Wed, 26 Feb 2020 09:44:07 GMTVaadin 14.1.17

Настройка Jetty-embedded сервера для работы с сессиями Vaadin. Главные требования - бесконечная сессия при активном UI в браузере и максимально быстрое отключение закрытых UI (например, в случае перезагрузки страницы браузера).

// Установка параметра для авто-закрытия устаревших сессий. 
// Хотя на самом деле закрываются устаревшие UI, а не сессии.
System.setProperty("vaadin.closeIdleSessions", "true");
// Установка периодичности "живости" UI, в секундах
System.setProperty("vaadin.heartbeatInterval", "10");

Server server = new Server();
WebAppContext webAppContext = createWebAppContext();
server.setHandler(webAppContext);
WebSocketServerContainerInitializer.initialize(webAppContext);
server.start();

// Установка периода "вечной жизни" для UI.
webAppContext.getSessionHandler().setMaxInactiveInterval(-1);

Vaadin признаёт UI дохлой в случае, когда 3 раза подряд не получит ответы на heartbeat. Периодичность heartbeat по умолчанию равна 5 минутам.
Наша задача снизить эту периодичность, выбран период 10 секунд. Таким образом, после перезагрузки страницы (или ее закрытии) UI будет считаться живым еще чуть более 30 секунд. После чего можно будет получить реакцию detachListener.
Про heartbeat

]]><![CDATA[Установка и настройка движка Ghost в контейнере Docker.]]>Пробросил внешний порт 57443 на порт сервера 57443. Порт сервера слуш

]]>https://lanmaster.su/ustanovka-i-nastroika-dvizhka-ghost/5e561a7fcd815b0001e74171Wed, 26 Feb 2020 07:17:06 GMTПробросил внешний порт 57443 на порт сервера 57443. Порт сервера слушает nginx. Конфиг nginx обеспечивает шифрование SSL, заворачивает HTTP трафик от докер-контейнера Ghost в SSL-обертку. nginx перенаправляет трафик на порт 2368 докер-контейнера.

Запуск докер-контейнера:

docker run -d \
--name ghostcms \
-e url=https://lanmaster.su:57443 \
-p 2368:2368 \
-v /mnt/lanmaster-data/ghostcms:/var/lib/ghost/content \
ghost

Полезные ссылки:
Стиль и поиск для сайта

]]><![CDATA[socks4_client]]>Этого не хватало в моей системе:

yum install -y gcc gcc-c++ autoconf automake
mkdir /home/your_user/proxychains
cd /home/your_user/proxychains
git clone https://github.com/rofl0r/proxychains-ng.
]]>https://lanmaster.su/socks4_client/5e55053acd815b0001e74142Tue, 25 Feb 2020 11:38:13 GMTЭтого не хватало в моей системе:

yum install -y gcc gcc-c++ autoconf automake
mkdir /home/your_user/proxychains
cd /home/your_user/proxychains
git clone https://github.com/rofl0r/proxychains-ng.git
cd proxychains-ng
./configure && make && sudo make install
make install-config

Меняем строку подключения к Socks4 на свою (в конце конфига).
Например, так: socks4 192.168.0.70 7788

vi /usr/local/etc/proxychains.conf

Размещаем исполняемый файл в системе

sudo mv ./proxychains4 /usr/bin/

Использование:

proxychains4 wget https://download.geofabrik.de/russia-latest.osm.pbf

Чтобы заставить Docker тоже ходить через прокси:

1. В файле /etc/sysconfig/docker добавить строчки:
    all_proxy="socks5://192.168.0.70:7788"
    #http_proxy="http://192.168.0.70:7788"
    #https_proxy="http://192.168.0.70:7788"
2. systemctl daemon-reload
3. service docker restart

Источники:
http://pinewong.com/posts/5-proxy-in-centos-7
https://crondev.com/running-docker-behind-proxy/

]]><![CDATA[Старая версия сайта]]>https://lanmaster.su:57443/

Не поддерживается.

]]>https://lanmaster.su/staraia-viersiia-saita/5e576fa97824a90001b8cf4cSun, 23 Feb 2020 07:28:00 GMThttps://lanmaster.su:57443/

Не поддерживается.

]]><![CDATA[Kanboard]]>https://kanboard.org/

Best kanban board for me!

]]>https://lanmaster.su/kanboard/5e576f517824a90001b8cf42Tue, 05 Mar 2019 07:27:00 GMThttps://kanboard.org/

Best kanban board for me!

]]><![CDATA[Установка и настройка своего тайл-сервера.]]>Внимание!

Существует docker-версия тайл-сервера, поэтому можно с

]]>https://lanmaster.su/ustanovka-i-nastroika-svoiegho-sierviera-tail-ghienieratora/5e5769407824a90001b8cf0eTue, 05 Feb 2019 07:01:00 GMTВнимание!

Существует docker-версия тайл-сервера, поэтому можно сильно не погружаться в эту инструкцию.

Технические требования (актуально в моем случае)

  • Минимум ОЗУ: 12 Гб
  • CPU: чем больше ядер, тем лучше
  • HDD: Для дампа России и пары стилей 120 Гб SSD

Установка осуществлялась на чистую Ubuntu 1804, размещенную в VirtualBox на контейнере размером 100Гб.
Внимание! При установке Ubuntu я создал пользователя alexander с паролем  '1'. Он же будет использоваться для учетной записи базы PostgreSQL.

Источник:
https://switch2osm.org/manually-building-a-tile-server-18-04-lts/

Обновить репозитории и пакеты

sudo apt-get update
sudo apt-get upgrade
sudo apt install libboost-all-dev git-core tar unzip wget bzip2 build-essential autoconf libtool libxml2-dev libgeos-dev libgeos++-dev libpq-dev libbz2-dev libproj-dev munin-node munin libprotobuf-c0-dev protobuf-c-compiler libfreetype6-dev libtiff5-dev libicu-dev libgdal-dev libcairo-dev libcairomm-1.0-dev apache2 apache2-dev libagg-dev liblua5.2-dev ttf-unifont lua5.1 liblua5.1-dev libgeotiff-epsg curl

Установка сервера базы данных

sudo apt-get install postgresql postgresql-contrib postgis postgresql-10-postgis-2.4 postgresql-10-postgis-scripts

Создаем базу. Логинимся под пользователем postgres

sudo -u postgres -i

Создаем учетку БД с паролем

createuser alexander --pwprompt

Создаем базу данных gis

createdb -E UTF8 -O alexander gis
psql
    \c gis
    CREATE EXTENSION postgis;
    CREATE EXTENSION hstore;
    ALTER TABLE geometry_columns OWNER TO alexander;
    ALTER TABLE spatial_ref_sys OWNER TO alexander;
    \q
    exit

В домашней папке alexander делаем новую папку src:

mkdir ~/src

Установка osm2pgsql

cd ~/src
git clone git://github.com/openstreetmap/osm2pgsql.git
cd osm2pgsql
sudo apt install make cmake g++ libboost-dev libboost-system-dev libboost-filesystem-dev libexpat1-dev zlib1g-dev libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev lua5.2 liblua5.2-dev
mkdir build && cd build
cmake ..
make
sudo make install

Установка mapnik

sudo apt-get install autoconf apache2-dev libtool libxml2-dev libbz2-dev libgeos-dev libgeos++-dev libproj-dev gdal-bin libmapnik-dev mapnik-utils python-mapnik
python
# Команды:
    import mapnik
    quit()

Установка mod_tile + renderd

cd ~/src
git clone -b switch2osm git://github.com/SomeoneElseOSM/mod_tile.git
cd mod_tile
./autogen.sh
./configure
make
sudo make install
sudo make install-mod_tile
sudo ldconfig

Установка carto

sudo apt install npm nodejs
sudo npm install -g carto
carto -v

Установка стиля Openstreetmap-Carto

cd ~/src
git clone git://github.com/gravitystorm/openstreetmap-carto.git
cd openstreetmap-carto
# Генерация mapnik.xml на основе стиля project.mml
carto project.mml> mapnik.xml

Загрузка данных OSM PBF с сервера https://download.geofabrik.de/russia.html

mkdir ~/data
cd ~/data
wget https://download.geofabrik.de/russia-181224.osm.pbf

Запуск импорта PBF ⇒ база данных gis

osm2pgsql -d gis -U alexander -W --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 2500 --number-processes 1 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-181224.osm.pbf

Загрузка шейпфайлов для границ стран/регионов в низком зуме

cd ~/src/openstreetmap-carto
scripts/get-shapefiles.py

Установка шрифтов

sudo apt-get install fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted ttf-unifont

Правим конфиг рендерера

vi /usr/local/etc/renderd.conf
# Вносим изменения:
    XML=~/openstreetmap-carto/src/openstreetmap-carto/mapnik.xml

Подготовка Apache

sudo mkdir /var/lib/mod_tile
sudo chown alexander /var/lib/mod_tile
sudo mkdir /var/run/renderd
sudo chown alexander /var/run/renderd

# Правим файл /etc/apache2/conf-available/mod_tile.conf (создаем при необходимости)
# Текст в файле:
    LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

sudo a2enconf mod_tile

# Правим файл /etc/apache2/sites-available/000-default.conf
# Добавьте строки между "ServerAdmin" и "DocumentRoot":
    LoadTileConfigFile /usr/local/etc/renderd.conf
    ModTileRenderdSocketName /var/run/renderd/renderd.sock
    # Timeout before giving up for a tile to be rendered
    ModTileRequestTimeout 0
    # Timeout before giving up for a tile to be rendered that is otherwise missing
    ModTileMissingRequestTimeout 30

# Дважды перегружаем сервис Apache
sudo service apache2 reload
sudo service apache2 reload

Подготовка renderd

#Пробуем ручной запуск renderd
renderd -f -c /usr/local/etc/renderd.conf

# Идем на адрес (IP укажите свой) http://192.168.0.72/hot/0/0/0.png
# Если тайл появился - то все хорошо. Жмите CTRL+C для останова рендререра.

# Правим файл ~/src/mod_tile/debian/renderd.init
    RUNASUSER=alexander

sudo cp ~/src/mod_tile/debian/renderd.init /etc/init.d/renderd
sudo chmod u+x /etc/init.d/renderd
sudo cp ~/src/mod_tile/debian/renderd.service /lib/systemd/system/

# Пробуем запустить сервис renderd
sudo /etc/init.d/renderd start

# Ставим в автозапуск
sudo systemctl enable renderd

Подготовка HTML-файла для просмотра тайлов

# Забираем на машину с браузером файл ~/src/mod_tile/extra/sample_leaflet.html
# Меняем в нем адрес 127.0.0.1 на нужный и открываем полученный HTML-файл в браузере

Дополнение 1. Обновление или дублирование данных OSM

Создать новую базу с названием типа osmcarto_gis20181205 по инструкции  выше. Импортировать туда новый дамп. Скопировать папку стиля в другое  место, например в

/home/alexander/src/openstreetmap-carto-new/

Сменить владельца новой папки на alexander:

sudo chown alexander /home/alexander/src/openstreetmap-carto-new/

Исправить имя базы данных в файле project.mml:

    dbname: "osmcarto_gis20181205"

Генерация нового файла стиля Mapnik:

cd /home/alexander/src/openstreetmap-carto-new/
sudo rm mapnik.xml
carto project.mml> mapnik.xml

Исправить /usr/local/etc/renderd.conf. Дописать в него новый блок:

    [ajt2]
    URI=/hot2/
    TILEDIR=/var/lib/mod_tile
    XML=/home/alexander/src/openstreetmap-carto-new/mapnik.xml
    HOST=localhost
    TILESIZE=256
    MAXZOOM=20

Перезапуск сервисов

sudo service apache2 restart
sudo service renderd restart

Копируем файл sample_leaflet.html > sample_leaflet2.html. Заменить в нем URL на такой:

http://192.168.0.72/hot2/{z}/{x}/{y}.png

Дополнение 2. Добавляем редактор стилей kosmtik

Источники:
https://github.com/kosmtik/kosmtik
Еще интересная ссылка: https://ircama.github.io/osm-carto-tutorials/kosmtik-ubuntu-setup/
Описание CartoCSS: https://media.readthedocs.org/pdf/cartocss/latest/cartocss.pdf

Резервная копия стиля.
Стиль (/home/alexander/src/openstreetmap-carto)  предварительно скопирован в папку  (/home/alexander/src/openstreetmap-carto-new)

cp -r /home/alexander/src/openstreetmap-carto/ /home/alexander/src/openstreetmap-carto-new/
sudo npm -g install kosmtik

# Открытие порта на интерфейсе 192.168.0.72
kosmtik serve /home/alexander/src/openstreetmap-carto-new/project.mml --host 192.168.0.72

# Проходим на URL: http://192.168.0.72:6789/
# Вручную правим файлы *.mss в папке проекта. При сохранении файлов будет автоматически перезапускаться mapnik в составе kosmtik и будут обновляться тайлы в редакторе.

Дополнение 3. Импорт стиля OSM Bright

Источники:
https://github.com/mapbox/osm-bright
https://switch2osm.org/serving-tiles/manually-building-a-tile-server-14-04/
https://github.com/mapbox/osm-bright/blob/master/README.md
По поводу замены в файле osm-bright.osm2pgsql.mml ссылок URL на уже скачанные и распакованные архивы:
https://switch2osm.org/?s=loading+osm+data

Под пользователем postgres создаем базу osmbright_svo_20181210

sudo -u postgres -i
createdb -E UTF8 -O alexander osmbright_svo_20181210

psql
    \c osmbright_svo_20181210
    CREATE EXTENSION postgis;
    CREATE EXTENSION hstore;
    ALTER TABLE geometry_columns OWNER TO alexander;
    ALTER TABLE spatial_ref_sys OWNER TO alexander;
    \q
    exit

Загрузка репозитория стиля и дополнительных данных для низкого зума

cd ~/src
git clone git://github.com/mapbox/osm-bright.git
cd osm-bright
mkdir shp
cd shp
wget http://data.openstreetmapdata.com/simplified-land-polygons-complete-3857.zip
wget http://data.openstreetmapdata.com/land-polygons-split-3857.zip
wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/10m/cultural/ne_10m_populated_places.zip

# Распаковать архивы в папки с их названиями (без вложенных папок)

Импорт данных в БД

osm2pgsql -c -G -U alexander -W --number-processes 4 -d osmbright_svo_20181210 /home/alexander/data/RU-SVE.pbf
# Другая версия запуска импортера на примере импорта России:
# osm2pgsql --create --cache 3072 --slim --multi-geometry --username alexander --password --number-processes 4 --database osmbright_russia_2018-12-05 /home/alexander/data/russia-181205.osm.pbf
# Такой импорт занял 31027 секунд для России на SSD VirtualBox (MaxWriteSpeed=120Mb/s)
# Здесь важен ключ --cache 3072 :
# - он выделяет 3 Гб ОЗУ для кэша нодов при импорте - значительно ускоряет процесс импорта
# - рекомендуется давать на кэш максимально возможное значение памяти из доступной (80-90%)

Конфигурирование стиля

cd /home/alexander/src/osm-bright/
cp configure.py.sample configure.py

# Приведем конфиг (/home/alexander/src/osm-bright/configure.py) к виду:
    config["name"] = "OSM Bright SvObl"
    config["importer"] = "osm2pgsql"
    config["path"] = path.expanduser("/home/alexander/src/osm-bright")
    config["postgis"]["host"]     = "127.0.0.1"
    config["postgis"]["port"]     = "5432"
    config["postgis"]["dbname"]   = "osmbright_svo_20181210"
    config["postgis"]["user"]     = "alexander"
    config["postgis"]["password"] = "1"

./make.py
cd OSMBrightSvObl
carto project.mml> mapnik.xml

Добавляем новый блок в конфиг рендерера

#  В файле /usr/local/etc/renderd.conf:
    [ajt3]
    URI=/hot3/
    TILEDIR=/var/lib/mod_tile
    XML=/home/alexander/src/osm-bright/OSMBrightSvObl/mapnik.xml
    HOST=localhost
    TILESIZE=256
    MAXZOOM=20

Остановка сервиса renderd, чтобы запустить его вручную…

sudo service apache2 restart
sudo service renderd stop
renderd -f -c /usr/local/etc/renderd.conf

# Делаем новый HTML-файл, проверяем, рендерятся ли тайлы при ручном запуске рендерера.
# Если все хорошо - то запускаем сервис:
sudo service renderd start

Если нужно редактировать стиль:

# Редактор для OSM-Bright
kosmtik serve /home/alexander/src/osm-bright/OSMBrightSvObl/project.mml --host 192.168.0.72

Дополнение 4. Пре-рендеринг тайлов по слоям

Наблюдать за процессом можно так:

tail -F /var/log/syslog

Файлы считал командной ncdu.
Запуск пре-рендеринга для указанных слоев по всей планете:

time render_list -a -n 3 -s /var/run/renderd/renderd.sock -z 11 -Z 11 -m osmbright_scale2_russia
# time - просто таймер для вычисления потраченного времени
# -n - число потоков отправки заданий на рендеринг
# -z -Z - минимальный и максимальный уровень зума для рендеринга
# -m - название блока параметров в файле /usr/local/etc/renderd.conf (в квадратных скобках)

Для пре-рендеринга нужных зон можно использовать такую утилиту-прокладку для render_list

# Источник: https://github.com/alx77/render_list_geo.pl
# Например, Свердловская область даст такие координаты (LAT,LON):
# 62.2, 56.9                        62.2, 66.3
# 55.7, 56.9                        55.7, 66.3

# Команда:
time ./render_list_geo.pl -n 3 -z 0 -Z 16 -x 56.9 -X 66.3 -y 55.7 -Y 62.2 -m osmbright_scale2_russia

Дополнение 5. Добавление на слой OSM-Bright номеров домов

Нужно уже иметь собранную папку стиля (она появляется после запуска ./make.py). Добавляем в папку файл addressing.mss:

/* Features related to (postal) adresses: */
@address-color: #666;

@water-color: #aad3df;
@land-color: #f2efe9;
@standard-halo-radius: 1;
@standard-halo-fill: rgba(255,255,255,0.6);

#interpolation {
  [zoom>= 17] {
    line-color: @address-color;
    line-width: 1;
    line-dasharray: 2,4;
  }
}

#addresses {

  [zoom>= 17] {
    text-name: "[addr_housename]";
    ["addr_housenumber" != null] {
      text-name: [addr_housenumber];
      ["addr_housename" != null] {
        text-name: [addr_housenumber] + "\n" + [addr_housename];
      }
    }
    text-placement: interior;
    //text-face-name: @book-fonts;
    text-face-name: @sans;
    text-fill: @address-color;
    text-halo-radius: @standard-halo-radius;
    text-halo-fill: @standard-halo-fill;
    text-size: 15;
    text-wrap-width: 30; // 3.0 em
    text-line-spacing: -1.5; // -0.15 em
    text-margin: 3; // 0.3 em

    [zoom>= 18] {
      text-halo-radius: @standard-halo-radius * 1.25;
      text-size: 18;
    }

    [zoom>= 20] {
        text-size: 20;
        text-wrap-width: 22; // 2.0 em
        text-line-spacing: -1.65; // -0.15 em
        text-margin: 3.3; // 0.3 em
    }
  }
}

Добавить в файл project.mml изменения:

# Добавить ссылку на addressing.mss, должно получиться так:

  "Stylesheet": [
    "palette.mss",
    "base.mss",
    "roads.mss",
    "labels.mss",
    "addressing.mss"
  ],

# Добавить источник данных для слоя addresses, скорректировать поля подключения к БД,
# примерно вот так:

    {
      "Datasource": {
        "dbname": "osmbright_russia_2018-12-05",
        "extent": "-20037508.34,-20037508.34,20037508.34,20037508.34",
        "geometry_field": "way",
        "host": "127.0.0.1",
        "id": "addresses",
        "key_field": "",
        "password": "1",
        "port": "5432",
        "project": "foss4g-2011",
        "srs": "+proj=merc +a=6378137 +b=6378137 +lat_ts=0.0 +lon_0=0.0 +x_0=0.0 +y_0=0.0 +k=1.0 +units=m +nadgrids=@null +wktext +no_defs +over",
        "table": "(SELECT
            way,
            \"addr:housenumber\" AS addr_housenumber,
            \"addr:housename\" AS addr_housename,

            way_area/NULLIF(!pixel_width!::real*!pixel_height!::real,0) AS way_pixels
          FROM planet_osm_polygon
          WHERE ((\"addr:housenumber\" IS NOT NULL) OR (\"addr:housename\" IS NOT NULL) )
            AND building IS NOT NULL
        UNION ALL
        SELECT
            way,
            \"addr:housenumber\" AS addr_housenumber,
            \"addr:housename\" AS addr_housename,
            NULL AS way_pixels
          FROM planet_osm_point
          WHERE (\"addr:housenumber\" IS NOT NULL) OR (\"addr:housename\" IS NOT NULL)
          ORDER BY way_pixels DESC NULLS LAST) AS DATA \n",
        "type": "postgis",
        "user": "alexander"
      },
      "advanced": {},
      "class": "",
      "extent": [
        -122.85990918289764,
        47.38001179491598,
        -121.86970418303555,
        47.842970094896586
      ],
      "geometry": "point",
      "id": "addresses",
      "name": "addresses",
      "srs": "+proj=merc +a=6378137 +b=6378137 +lat_ts=0.0 +lon_0=0.0 +x_0=0.0 +y_0=0.0 +k=1.0 +units=m +nadgrids=@null +wktext +no_defs +over",
      "srs-name": "900913"
    }

Сгенерировать новый стиль для Mapnik

carto project.mml> mapnik.xml

Трики

Если будут проблемы с подключением к базе, то может пригодиться:

# Добавил строчку в конфиг /etc/postgresql/10/main/pg_hba.conf:
    host<-->all<---><------>all<---><------>192.168.0.0/24<><------>md5

# Добавил строчку в /etc/postgresql/10/main/postgresql.conf
    listen_addresses = '*'

Если забыли указать пароль при создании учетки postgres, то вот:

sudo -u postgres psql
    ALTER USER alexander PASSWORD '1';
    \q

Если устал ждать, пока запарсится дамп PBF в базу Pgsql, то можно  прикинуть, сколько осталось ждать, натравив на дамп PBF такую утилиту:

# Взято отсюда: https://gis.stackexchange.com/questions/238009/get-the-date-information-of-a-pbf-file
# https://wiki.openstreetmap.org/wiki/Osmconvert
osmconvert64-0.8.8p.exe l:\opt\_osm-dumps\0.4.0\2018-12-05\russia-181205.osm.pbf --out-statistics
Она выведет объем данных в дампе по типам Node/Way/Relation.
После того, как прикинули по времени, еще умножьте на 2 или 3, т.к. будет произведена индексация загруженных данных.

Добавление недостающих шрифтов

https://askubuntu.com/questions/3697/how-do-i-install-fonts
http://tile.paulnorman.ca/fonts/Malige-n.ttf
https://www.dafontfree.net/freefonts-unifont-f165343.htm
https://github.com/saiswa/free-fonts/tree/master/PCLinuxOSFonts

# Скачать шрифт TTF (например, ArundinaSans.ttf), положить его в папку /usr/share/fonts/truetype
# Обновить кэш шрифтов:
fc-cache -f -v
# Убедиться, что шрифт подключен:
fc-list | grep Arund

Для включения режима увеличения текста в тайлах

В файле /usr/local/etc/renderd.conf добавить в нужную секцию параметр:
SCALE=2

Для отключения перегенерации тайлов (следует проверить дополнительно)

# Взято отсюда: https://forum.openstreetmap.org/viewtopic.php?id=52795
# В файле
#    /etc/apache2/sites-enabled/000-default.conf
#    в блоке <VirtualHost *:80> добавить строку:
#        ModTileBulkMode On
# и перезапустить сервис апача

Для добавления swap на Ubuntu 1804 (если памяти все-таки не хватило)

Swap в Ubuntu 1804 может быть добавлен в виде файла, не требуется переразметка разделов диска.
https://askubuntu.com/questions/1075505/how-do-i-increase-swapfile-in-ubuntu-18-04
]]>