Створення тайлового сервера вручну (Ubuntu 22.04)⚓︎

На цій сторінці міститься опис зі встановлення, розгортання та налаштування всього потрібного програмного забезпечення для роботи вашого тайлового сервера. Покрокові інструкції описують встановлення тайлового сервера на Ubuntu Linux 22.04 (Jammy Jellyfish), вони були перевірені у квітні 2022.

Встановлення програмного забезпечення⚓︎

Тайловий сервер OpenStreetMap – це набір програмного забезпечення та бібліотек, які працюють разом генеруючи тайли. Як це трапляється доволі часто в OpenStreetMap, існує кілька різних шляхів для досягнення мети і майже кожен компонент має альтернативу, з власними недоліками та перевагами. Цей посібник описує найбільш стандартну версію, що схожа на те, що використовується головним тайловим сервером OpenStreetMap.

Тайловий сервер складається з пʼяти головних частин: mod_tile, renderd, mapnik, osm2pgsql та база даних postgresql/postgis. Mod_tile – модуль сервера Apache, який обслуговує тайловий кеш та визначає які тайли потрібно перегенерувати, через їх відсутність у кеші або тому, що вони застаріли. Renderd визначає пріоритети в чергах різного штибу запитів для згладжування навантаження. Mapnik – бібліотека, яка відповідає безпосередньо за створення тайлів з черги, якою керує renderd.

Завдяки роботі, виконаній супроводжувачами Debian та Ubuntu, по включенню останніх версії цих пакунків у Ubuntu 22.04, ця інструкція є дещо коротшою, ніж її попередні версії.

Зауважте, що це керівництво було написане та протестоване з використанням нововстановленого сервера з операційною системою Ubuntu 22.04. Якщо у вас встановлені інші версії програмного забезпечення (можливо ви оновились з попередньої версії, або у вас підʼєднані інші репозиторії PPA), можливо вам доведеться внести певні зміни.

Для того, щоб створити всі ці компоненти, вам спочатку треба встановити наступні залежності.

Ці настанови передбачають що всі команди виконуються в оточені звичайного облікового запису (не root) з використаннями sudo. Не намагайтесь та не робіть все в оточені root; система не буде працювати.

sudo apt upgrade && sudo apt install \
    screen locate libapache2-mod-tile renderd \
    git tar unzip wget bzip2 apache2 lua5.1 \
    mapnik-utils python3-mapnik python3-psycopg2 \
    python3-yaml gdal-bin npm fonts-noto-cjk \
    fonts-noto-hinted fonts-noto-unhinted \
    fonts-unifont fonts-hanazono postgresql \
    postgresql-contrib postgresql-14-postgis-3 \
    postgis postgresql-14-postgis-3-scripts \
    osm2pgsql net-tools curl

На цьому етапі було додано кілька нових облікових записів. Ви можете ознайомитись з ними за допомогою tail /etc/passwd. postgres – використовується для керування базами даних, які ми будемо використовувати для збереження даних потрібних нам для рендерінгу. _renderd – використовується фоновою службою renderd, і нам далі доведеться переконатись, що більшість команд запускаються саме цим користувачем.

Тепер вам треба створити базу даних postgis. Типові налаштування різноманітних програм очікують що база даних називатиметься gis, тож ми будемо дотримуватись цієї угоди в цім керівництві, хоча це й не обовʼязково. Зверніть увагу, що _renderd нижче збігається з іменем користувача, який використовується для фонової служби renderd.

sudo -u postgres -i
createuser _renderd
createdb -E UTF8 -O _renderd gis

Поки ви працюєте як користувач postgres, встановіть PostGIS в базу даних PostgreSQL:

psql

(це призведе до появи postgres=# на початку рядка консолі)

\c gis

(у відповідь ви побачите: "You are now connected to database 'gis' as user 'postgres'"
["Тепер ви підʼєднані до бази даних 'gis' як користувач 'postgres'"])

CREATE EXTENSION postgis;

(у відповідь ви побачите: CREATE EXTENSION)

CREATE EXTENSION hstore;

(у відповідь ви побачите: CREATE EXTENSION)

ALTER TABLE geometry_columns OWNER TO _renderd;

(у відповідь ви побачите: ALTER TABLE)

ALTER TABLE spatial_ref_sys OWNER TO _renderd;

(у відповідь ви побачите: ALTER TABLE)

\q

(це призведе до виходу з сесії psql та повернення назад у консоль Linux)

exit

(повернення назад до сесії користувача, в якій ми знаходились до виконання команди sudo -u postgres -i вище)

Mapnik⚓︎

Mapnik ми встановили раніше, перевіримо чи він працює:

python3
>>> import mapnik
>>>

Якщо python у відповідь видає тільки >>> без повідомлення про помилки, значить бібліотека Mapnik є доступною в Python. Вітаємо! Для виходу із сесії Python скористайтесь наступною командою:

>>> quit()

Налаштування стилів⚓︎

Тепер, після того, як все потрібне програмне забезпечення встановлене, вам треба завантажити та налаштувати стилі.

Стиль, який ми будемо використовувати, – це стиль який застосовується для створення "Стандартного" шару на сайті openstreetmap.org. Ми обрали його через гарну документацію і те, що він здатен працювати для будь-якої частини світу, навіть там де не використовується латинка. Але у нього є й певні недоліки – це компромісні рішення для того, щоб працювати в глобальних масштабах, він дуже складний для розуміння та внесення змін, якщо вам доведеться їх вносити.

Код стилю "OpenStreetMap Carto" з веб-сайту openstreetmap.org знаходиться на GitHub – https://github.com/gravitystorm/openstreetmap-carto/ та також має власні інструкції зі встановлення – https://github.com/gravitystorm/openstreetmap-carto/blob/master/INSTALL.md. Про те, що потрібно зробити, ми розповімо тут.

Передбачається що ми розміщуємо стиль в теці ~/src домашньої директорії звичайного користувача (не root); потім ми надамо доступ до нього обліковому запису _renderd.

mkdir ~/src
cd ~/src
git clone https://github.com/gravitystorm/openstreetmap-carto
cd openstreetmap-carto

Далі, встановимо потрібну версію компілятора carto.

sudo npm install -g carto
carto -v

У відповідь ми маємо отримати інформацію про номер версії, яка має бути не менше ніж:

1.2.0

Після цього ми перетворимо проєкт carto у зрозумілий для Mapnik вигляд:

carto project.mml > mapnik.xml

Тепер у нас є стиль Mapnik XML – /home/youruseraccount/src/openstreetmap-carto/mapnik.xml.

Завантаження даних⚓︎

Для початку, завантажимо невеличку частину тестових даних. Серед різномаїття місць для отримання даних, оберемо download.geofabrik.de, що містить великий перелік різних варіантів для завантаження. Візьмемо для прикладу Азербайджан (~32.4 Мб).

Перейдіть за посиланням https://download.geofabrik.de/asia/azerbaijan.html та зверніть увагу на дату "This file was last modified" (щось схоже на "2022-04-22T20:21:40Z"). Вона нам знадобиться потім, коли у нас виникне потреба оновити наші дані даними, які учасники OpenStreetMap додали з моменту нашого імпорту. Завантажимо дані:

mkdir ~/data
cd ~/data
wget https://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf

Далі нам треба переконатись, що обліковий запис _renderd має доступ до стилю. Йому потрібен доступ до всього, що ви завантажили для нього, але, типово, він не повинен мати доступу до вашої домашньої теки. Якщо ми передбачаємо використовувати теку ~/src для цього перейдіть до неї та виконайте команду

chmod o+rx ~

Якщо ви не бажаєте робити цього, ви можете перемістити стиль в інше місце та змінити посилання на розташування файлів у наступних командах.

Наступна команда допоможе вам перенести завантажені дані до вашої бази даних. На цьому етапі зросте навантаження на дискові операції через потребу перенесення значного обсягу інформації; імпорт всієї планети може тривати кілька годин, днів та навіть тижнів, в залежності від потужностей вашого серверного обладнання. Зрозуміло, що для невеликих частин даних імпорт відбувається значно швидше, можливо вам доведеться поекспериментувати зі значенням параметра -C, щоб вкластись у наявну оперативну памʼять вашого сервера. Зверніть увагу, що ми робимо це в оточені користувача _renderd.

sudo -u _renderd osm2pgsql \
    -d gis --create --slim  -G --hstore \
    --tag-transform-script \
        ~/src/openstreetmap-carto/openstreetmap-carto.lua \
    -C 2500 --number-processes 1 \
    -S ~/src/openstreetmap-carto/openstreetmap-carto.style \
    ~/data/azerbaijan-latest.osm.pbf

Розберімося що означають всі ці параметри:

-d gis: База даних, з якою ми працюємо (типово використовується gis; тут треба вказати її явно).
--create: Завантажити дані в пусту базу даних, замість спроб додати їх до наявних.
--slim: osm2pgsql може використовувати різноманітні схеми таблиць; "slim" годиться для генерації тайлів.
-G: Визначає, яким чином будуть оброблятись мультиполігони.
--hstore: Дозволяє використовувати для генерації тайлів теґи, для яких немає окремих стовпців в базі даних.
--tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua: Визначає скрипт lua, який використовується для обробки теґів. Це простий спосіб обробки теґів OSM до того, як вони будуть використані в стилі, що спрощує логіку самого стилю.
-C 2500: Виділяє 2.5 Гб оперативної памʼяті для osm2pgsql на виконання імпорту. Якщо у вас менше оперативної памʼяті, спробуйте менше значення. Якщо процес імпорту буде знищений через нестачу оперативної памʼяті, спробуйте зменшити це число або використовуйте менший обсяг даних.
--number-processes 1: Використовувати одне ядро процесора. Якщо у вас багатоядерний процесор можете використовувати більшу кількість ядер.
-S ~/src/openstreetmap-carto/openstreetmap-carto.style: Створювати стовпці в базі даних використовуючи вказаний файл (в нашому випадку він нічим не відрізняється від стандартного "openstreetmap-carto")
~/data/azerbaijan-latest.osm.pbf: Останній аргумент – це файл з даними для завантаження в базу.

Результатом роботи цієї команди має бути щось схоже на "osm2pgsql took 163s (2m 43s) overall".

Створення індексів⚓︎

Починаючи з версії 5.3.0, деякі додаткові індекси мають бути застосовані вручну:.

cd ~/src/openstreetmap-carto/
sudo -u _renderd psql -d gis -f indexes.sql

Скрипт має повідомити CREATE INDEX 14 разів.

Завантаження Shapefile⚓︎

Попри те, що більшість даних для створення мапи береться з файлу з даними OpenStreetMap, який ви завантажили раніше, деякі файли в форматі shapefile все ж такі потрібні для таких речей, наприклад, як кордони країн на великих масштабах. Завантажте їх та проіндексуйте:

cd ~/src/openstreetmap-carto/
mkdir data
sudo chown _renderd data
sudo -u _renderd scripts/get-external-data.py

Цей процес вимагає завантаження великої порції даних та триватиме деякий час без будь-яких помітних змін на екрані. Частина даних записується безпосередньо у базу даних, а інша у підтеку "data" в "openstreetmap-carto". Якщо у вас тут виникнуть проблеми, то це скоріше через те, що дані Natural Earth можуть бути не в тому місці. Якщо вам потрібно змінити місце куди ви завантажуєте дані Natural Earth – внесіть зміни у власну копію цього файлу.

Шрифти⚓︎

Починаючи з версії v5.6.0 шрифти для Carto потрібно встановити вручну:

cd ~/src/openstreetmap-carto/
scripts/get-fonts.sh

Наші тестові дані (Азербайджан) були обрані через їх невеликий обсяг, а також через те, що армянська писемність використовує власну абетку.

Налаштування вебсервера⚓︎

Конфігурація renderd⚓︎

Налаштування renderd в Ubuntu 22.04 знаходяться у файлі /etc/renderd.conf. Відредагуємо його за допомогою текстового редактора, такого як nano:

sudo nano /etc/renderd.conf

Додайте розділ, подібний наведеному, в кінець файлу налаштувань:

[s2o]
URI=/hot/
XML=/home/accountname/src/openstreetmap-carto/mapnik.xml
HOST=localhost
TILESIZE=256
MAXZOOM=20

Можливо розташування файлу XML /home/accountname/src/openstreetmap-carto/mapnik.xml доведеться змінити на те, що використовується у вашій системі. Ви можете змінити [s2o] та URI=/hot/ на те, що вам треба. Якщо ви бажаєте рендерити більше одного набору тайлів на одному сервері, ви можете додати ще один розділ, подібний до [s2o], з налаштуваннями для іншого стилю. Якщо ви бажаєте, щоб він посилався на іншу базу замість типової gis, ви також можете зробити це, але пояснення того, як це робити виходить за межі цього документа. Якщо у вас десь 2 Гб оперативної памʼяті, можливо вам доведеться зменшити кількість потоків (num_threads) до 2. URI=/hot/ було обрано для того щоби було простіше використовувати ваші тайли замість шару Humanitarian з сайту OpenStreetMap.org. Ви можете вказати щось інше, але /hot/ також годиться.

Під час написання цієї інструкції, версія Mapnik в Ubuntu 22.04 була 3.1, а налаштування plugins_dir – в розділі [mapnik] файлу /usr/lib/mapnik/3.1/input. Номер версії "3.1" може змінитись в майбутньому. У разі виникнення помилки під час спроб рендерінгу тайлів, на кшталт цієї:

An error occurred while loading the map layer 's2o': Could not create datasource for type: 'postgis' (no datasource plugin directories have been successfully registered) encountered during parsing of layer 'landcover-low-zoom'

перевірте /usr/lib/mapnik та подивіться, яка версія в назві теки, а також погляньте на /usr/lib/mapnik/(version)/input, щоб переконатись, що файл postgis.input знаходиться там.

Переконайтеся, що у вас є повідомлення для відлагодження⚓︎

На цьому етапі було б дуже корисно бачити результати процесу рендерінгу тайлів, включаючи будь-які помилки. Типово в останніх версіях mod_tile це вимкнено. Щоб увімкнути:

sudo nano /usr/lib/systemd/system/renderd.service

За відсутності додайте:

Environment=G_MESSAGES_DEBUG=all

після [Service]. Потім:

sudo systemctl daemon-reload
sudo systemctl restart renderd
sudo systemctl restart apache2

Конфігурація Apache⚓︎

Якщо ви глянете у /var/log/syslog, ви маєте побачити повідомлення від служби renderd. Можливо там будуть тільки повідомлення про помилки, не переймайтесь зараз цим. Далі:

sudo /etc/init.d/apache2 restart

В syslog має бути щось подібне до наступного:

Apr 23 11:14:10 servername apachectl[2031]: [Sat Apr 23 11:14:10.190678 2022] [tile:notice] [pid 2031:tid 140608477239168] Loading tile config s2o at /hot/ for zooms 0 - 20 from tile directory /var/cache/renderd/tiles with extension .png and mime type image/png

Далі, відкрийте в оглядачі http://ip.вашого.сервера/index.html (замініть ip.вашого.сервера на відповідну адресу). Ви маєте побачити типову сторінку сервера Apache2 встановленого в Ubuntu.

Порада

якщо ви не знаєте IP адресу призначену серверу, її можна дізнатись за допомогою команди ifconfig – якщо мережеві налаштування не надто складні, то це має бути щось типу inet addr відмінне від 127.0.0.1.

Якщо ви використовуєте сервер постачальника послуг хостингу, то, швидше за все, внутрішня адреса вашого сервера буде відрізнятися від зовнішньої адреси, яка була надана вам, але ця зовнішня IP-адреса вже буде надіслана вам, і, ймовірно, ви її використовуєте зараз для доступу до сервера.

Зауважте, що це лише сайт http (порт 80) – вам потрібно витратити трохи більше часу для налаштування Apache на використання https, але це виходить за межі цих інструкцій. Однак якщо ви використовуєте "Let's Encrypt" для отримання сертифікатів, інструкція зі встановлення може також містити поради щодо налаштування сайту Apache для використання https.

Далі, в оглядачі відкрийте посилання: http://ip.вашого.сервера/hot/0/0/0.png

Якщо ви вище поміняли URI=/hot/ вам доведеться підправити посилання. Ви маєте побачити маленьку мапу світу. Якщо її немає, перевірте повідомлення про помилки в консолі. Скоріш за все ви щось наплутали з дозволами, або ви пропустили якийсь крок з інструкції. Якщо ви не отримали тайл та отримуєте інші посилання, скопіюйте вивід в Pastebin, та зверніться за допомогою, наприклад, в community.openstreetmap.org.

Перегляд тайлів⚓︎

Для того, щоб побачити тайли, ми трохи змахлюємо користуючись файлом sample_leaflet.html з теки “extras” в mod_tile.

cd /var/www/html
sudo wget https://raw.githubusercontent.com/SomeoneElseOSM/mod_tile/switch2osm/extra/sample_leaflet.html
sudo nano sample_leaflet.html

Змініть його так, щоб IP-адреса була ip.вашого.сервера, а не просто 127.0.0.1. Це повинно дозволити вам отримати доступ до цього сервера. Потім перейдіть до http://ip.вашого.сервера/sample_leaflet.html.

Згодом ви побачите мапу. Ви зможете збільшувати та зменшувати її масштаб, але в залежності від потужностей сервера, деякі тайли можуть бути сірими (вони ще не встигли обробитись сервером). Однак, як тільки їх обробка завершиться, вони будуть готові для перегляду. Якщо ви подивитесь у /var/log/syslog, ви маєте побачити запити на показ тайлів.

Отже, щоб побачити їх, коли вони запитуються, підʼєднайтеся через ssh та виконайте команду:

tail -f /var/log/syslog | grep " TILE "

(Зверніть увагу на пробіли навколо " TILE ")

Ви бачитимете новий рядок кожного разу, коли буде надходити запит на показ тайлу та рядок по завершенню рендерінгу тайла.

За бажанням, для того щоб подовжити час очікування оновлення тайлів, які створюються в фоні, допоки замість них показуються сірі квадрати, ви можете збільшити час з 10 секунд до 30, чи навіть 60 секунд, у параметрі ModTileMissingRequestTimeout у файлі /etc/apache2/conf-available/renderd.conf. Переконайтеся, що ви виконали команди sudo service renderd restart та sudo service apache2 restart після редагування налаштувань.

Вітаємо! Тепер ви можете повернутись до розділу Використання тайлів для додавання мапи, що використовує ваш новий тайловий сервер.