Идеология идеологией, но в первую очередь, на мой взгляд, это скорее хобби. И занимаются им, в частности, для того, чтобы взять в свои руки контроль над своей информацией. О том, зачем вообще этот контроль нужен, можно прочитать в предыдущем посте.
Для меня более привычно «селфхост» и «селфхостинг», поэтому я буду использовать эти слова, но суть неизменна.
И ещё дисклеймер: возможно, в какой-то момент читателю может показаться, что селфхостинг помогает пользоваться пиратским контентом. Я не буду это отрицать, но всё же напомню, что у каждого творения есть автор, и вместо пиратства можно покупать чужое творчество и поддерживать автора. Есть классные площадки, позволяющие покупать музыку и книги с прозрачной моделью вознаграждения. А ещё иногда можно (но иногда нельзя!) покупать диски и создавать локальную копию даных с них.
Про границы определения
Как-то раз мне довелось поучаствовать в любопытной дискуссии, в ходе которой выяснилось, что корпорации, владеющие веб-сервисами, тоже селфхостят. Формально критерий не нарушен: серверы ведь собственные.
С другой стороны, есть мнение, что когда условный Вася Пупкин арендует VDS, чтобы разместить на нём свою почту, то это не селфхостинг: сервер-то не его.
Получается, что по строгому критерию, например, IT-компания, размещая какой-нибудь Gitlab на собственном сервере в кладовке, селфхостит. А размещая его где-то у чужого провайдера — уже нет.
Но я не хочу придерживаться таких строгих рамок, и буду исходить из позиии: всё, что размещается самостоятельно и не в качестве коммерческого сервиса — это селфхостинг. Принципиально неважно, на чьих мощностях. Если ВК строит дата-центр, чтобы там разместить свою соцсеть — это где-то за рамками нашей области интересов, и к селфхостингу не относится. Когда Вася Пупкин пользуется Gmail-ом — это не селфхостинг, поскольку сервис не его. А когда это делает Сундар Пичаи или Сергей Брин... не знаю. Наверное, тоже нет. А вот всё остальное — это спектр селфхостинга, который нас и интересует.
Первый: труЪ-селфхостинг на собственных мощностях
Рецепт прост: берём какой-то комп, накатываем на него нужные сервисы и убираем куда-нибудь на полку подальше, чтобы не жужжал под ухом.
Главное — всё своё. Никаких сторонних сервисов. Только энергосбыт, интернет-провайдер и ещё регистратор доменных имён. Ну и квартиру, так уж и быть, можно арендовать.
Можно, конечно, доводить до крайностей: серверы должны быть собраны самостоятельно. В качестве источника энергии сойдёт генератор от водяной мельницы на ручье. Ну и, конечно, надо зарегистрировать собственного провайдера. Процессор, кстати, тоже должен быть своего производства — вдруг там какие-то закладки. В идеале, ещё и на собственноручно выращенном кристалле кремния... Ладно, что-то я уже совсем заигрался. Короче, пусть будет просто своё железо где-то у себя дома.
Вообще, это прикольно. Стоит где-то на полке какой-то собственный компьютер, в котором хранятся гигабайты и терабайты всякой полезной информации, и приветливо мигает лампочкой.
Это не очень стабильно. То электричество отключат (не беда, покупаем бесперебойник да побольше), то провайдер ночью отключится ненадолго.
Здесь есть пространство для развития: можно экспериментировать с оборудованием, можно собрать кластер из офисных неттопов или Mac Mini, можно прикрутить NAS на десятки терабайт, а можно собрать пекарню с мощной видеокартой и крутить на ней тяжелые нейросетки — но об этом попозже.
Но есть и сложность: не каждый провайдер даст фиксированный белый IP-адрес. Кто-то может дать серый адрес, т.е. используя NAT, под одним IP будут несколько абонентов сразу. И даже если нам дадут белый статический IP-адрес за адекватные деньги, сам факт, что мы открываем напрямую доступ к личному оборудованию в своём доме, может несколько напрягать. Поэтому можно попробовать перейти на...
Второй уровень: своё, но не всё
Итак, у нас дома всё ещё стоят наши основные ресурсы. Но некоторые особо критичные мы выносим разными путями: можем арендовать место в стойке в дата-центре, можем арендовать физический сервер, можем арендовать виртуалку, а можем и вовсе воспользоваться готовым SaaS-решением.
В первую очередь, есть смысл выносить куда-то входную точку трафика, дабы она фильтровала запросы. Банальный вариант — Cloudflare. Однако вместо базового подхода, когда от CF к нашему серверу гоняет http-запросы на всё те же открытые 80 и 443 порты, мы можем обернуть трафик в туннель — это избавит нас от потребности в белом IP-адресе. Я так жил где-то год.
Однако, использование полностью чужого решения передаёт в руки владельцев сервиса широкий спектр возможностей по управлению трафиком. Поэтому мне больше нравится вариант с арендой виртуального сервера, на котором будет размещаться аналогичный самостоятельно развёрнутый сервер. Об этом тоже поговорим чуть позже. С этим вариантом, кстати, у нас тоже есть возможность подключать какой-нибудь DDoS-фильтр от самого хостера.
Ещё есть смысл выносить мониторинг. Странно ведь как-то держать нужные сервисы и их мониторинг на одном устройстве или в одной сети. Упадёт хост — а мы даже уведомления не получим.
Этот подход всё ещё не решает наших проблем со стабильностью. Мне удаётся при таком подходе держать аптайм большинства сервисов на уровне 99.5% — 99.8% за месяц, т.е. в сумме сервисы могут быть недоступны до 50 минут. Выше не получается — то с домашним провайдером проблемы, то с энергоснабжением, то я случайно выдёргиваю что-то не то из розетки. А иногда хочется большей надёжности.
Третий уровень: уходим из дома
Собственно, вообще ни одного компа дома не держим — всё где-то в дата-центрах. Ещё раз повторюсь, что по строгому критерию это не столько селфхостинг, сколько... не знаю, self-controlled сервис. Формально, данные не у нас и мы не можем гарантировать, что по чьему-то чужому решению они вдруг не станут недоступными. Да, мы всё ещё управляем ими, но это право управления у нас могут забрать.
Однако, и это лучше, чем пользоваться чужими сервисами: по крайней мере, пользователь становится администратором небольшого окружения, с правом забрать свои данные и уйти к другому хостеру. Причём, возможно, выполнив всего пару команд в консоли и поменяв одну настройку где-нибудь в туннелях.
И есть ещё приличный компромиссный вариант в этой категории — размещать собственные серверы в чужом дата-центре. Если есть возможность, то арендовать лишь место в стойке, но не железо — тоже неплохая идея.
А на чём селфхостить дома
Поскольку мы ступаем на территорию DIY, тут нет универсального решения. Каждый действует как хочет.
На мой взгляд, для начала стоит определиться с потребностями и оценить возможности. Нет смысла собирать мощный и производительный девайс, чтобы держать там что-то, что не потребляет много ресурсов. И наоборот, на одноплатнике типа Raspberry Pi не получится нормально запустить тяжёлую нейросеть.
Для большинства несложных базовых задач определённо хватит старого компа или ноутбука. Из минусов — производительность и надёжность старого железа сложнее прогнозировать, да и с шумом старого ноутбука бывает некомфортно. Но зато это условно бесплатно.
Для совсем лёгких задач может быть достаточно Raspberry Pi 4-5 версии или иного аналогичного одноплатника. Чуть более хитрый, но тоже неплохой вариант — это использовать ресурсы, поставляемые в составе какой-нибудь другой железки. NAS-хранилища, например, частенько их предоставляют с запасом, на уровне пары-другой гигабайт RAM. А некоторые и вовсе умудряются развернуть легковесные сервисы прямо на роутерах.
Можно селфхостить на готовых компактных девайсах: Lenovo Thinkcentre, Apple Mac Mini, различные варианты Intel Nuc — классные компактные девайсы, ресурсов которых должно хватать под многие бытовые задачи. Я теперь ещё и с интересом слежу за Steam Machine — он выглядит как мощный и всё ещё небольшой девайс для разных целей и, возможно, на нём можно будет крутить несложные модельки семейства Stable Diffusion. К тому же, из компактных девайсов можно собирать целые кластеры.
Ну и, конечно, можно собирать компы под селфхостинг с нуля, особенно упарываясь по большим тихим системам охлаждения. Или комбинировать несколько устройств — я в последнее время заглядываюсь на возможность использовать в паре NAS с небольшим компьютером, в котором просто нет места под кучу дисков. Или вообще обустроить в кладовой небольшую стойку с разным оборудованием.
В конце концов, помимо компа ещё понадобятся источник бесперебойного питания и приличный роутер.
Что и где я сейчас (селф)хощу
Сначала про «где». Сейчас я держу в родительской квартире полноразмерный системник собранный специально для этих целей — он для меня ценен своими вычислительными мощностями.
В дополнение к этому, я вожу с собой маленький «кубик» Chuwi LarkBox — у него слабенький процессор, мало оперативки, нет Ethernet-разъёма, но зато очень скромные габариты, что ценно при переездах. Я не могу рекомендовать именнно этот девайс по целому ряду причин, но концепция остаётся интересной. Именно его фото выбрано в качестве заглавной иллюстрации к посту.
А также у меня есть виртуалка, выделенная под некоторые сервисы, которые я не хочу держать дома. И лишь об одном из них я хочу рассказать подробнее.
Pangolin — all-in-one управление доступом к сервисам
Это прикольное комплексное решение, организующее единую точку входа. Сервисы подключаются к нему через легко разворачиваемые туннели, а сам он предоставляет реверс-прокси с возможность ограничения доступа. С одной стороны, это снижает надёжность системы и повышает скорость отклика. Но в моём случае это всё-таки скорее необходимость — не везде есть белый IP. Я перекатился на него с Cloudflare Tunnel, и местами всё ещё ощущаю дискомфорт при настройке, но некоторые фичи типа возможности тунеллировать любой TCP/UDP трафик с лихвой компенсируют все недостатки.
Помимо этого он по умолчанию оборачивает весь веб-трафик в Zero Trust подход, когда для доступа к сервису надо пройти авторизацию от самого панголина. В моём случае это довольно редкий кейс, но для корпоративного доступа может быть весьма полезно.
Бонусом, панголин позволяет легко прикрутить CrowdSec — это файервол для веб-приложений, позволяющий отсекать всякий мусорный трафик типа сканеров уязвимостей, переборщиков паролей и L7 DDoS. Я не могу похвалить его — видел в логах, как он пропускал некоторый нежелательный трафик, в то время как меня, просто выгружавшего пачку файлов, банил. Но при тонкой настройке прямыми руками он должен стать неплохим инструментом. (увы, радиус кривизны моих рук всё ещё не позволяет его нормально использовать)
Ещё инфраструктурные сервисы
Pocket-id — аутентификация
Эта штука решает сразу две моих потребности (но лишь для части сервисов, поддерживающих OIDC). Во-первых, она даёт возможность авторизоваться, используя Passkey — это просто удобно. Ну а во-вторых, с её помощью можно легко давать доступ одному человеку сразу к группе сервисов. Для меня это буквально находка года. Из минусов — у неё реально поддерживаются только Passkey и одноразовые пароли (и те лишь для особых случаев).
Uptime Kuma — мониторинг
Мониторинговых сервисов полно, куму я выбрал наугад. Удобно, довольно гибко, а главное — есть нотификации, что где-то что-то упало или истекает SSL-сертификат. Держу его вместе с панголином, что не очень хорошо — если упадёт весь сервер, то я об этом не узнаю. Местами хочется больше возможностей, но в целом неплохо.
Plausible — аналитика посещаемости сайтов
Не совсем инфраструктурный сервис, но обслуживает разные мои проекты, поэтому тоже будет в этой категории. Как гугл аналитика, только своя, личная. Есть интеграция с гуглопоиском — можно увидеть, по какому запросу пришли на сайт. Ну и всякими баннерорезками хуже детектится. Из неприятного — он мало что может сказать о пользователях (но мне оно и не надо), а также кривовато считает, сколько времени пользователь пробыл на сайте.
Хранение личных данных
Nextcloud — файловое хранилище
По-нашему — файлопомойка. Хотя, на самом деле, это комбайн с кучей инструментов и плагинов. На него перекатился с ownCloud много-много лет назад. Помимо очевидного — отгрузки файлов — пользуюсь также заметками и канбан-карточками: в последних веду учёт всяких крупных бытовых задач и планирую покупки. А файлы часто предоставляются и другим сервисам — в частности, это касается книг и музыки. Единственное, от чего я тут отказался — это хранение фоток. Потому что есть иммич.
Immich — фотоархив
Nextcloud всё-таки для фоток довольно медленный, поэтому рядом развернулся новый сервис. У него удобное приложение, которое позволяет синхронизовать фотки с телефона (у некстклауда тоже можно, впрочем). И можно развернуть несколько локальных моделей, которые будут распознавать лица и контекстные данные на фотках, чтобы было проще искать. Они работают неидеально, но приемлемо. В целом — круто.
Passbolt — пароли
Эта штука позволяет хранить пароли и получать к ним доступ с разных своих устройств. Она удобная и теоретически очень безопасная, но надо не забывать делать копии — иначе, если вдруг что-то упадёт, будет очень грустно. Про пассболт подробнее написано в отдельном посте. И да, я знаю, что модно хостить vaultwarden, но я с пассболтом уже много лет, очень привык.
Всякое видео и аудио
Jellyfin и Plex — медиаплееры
Plex был классным решением, чтобы смотреть фильмы и сериалы, загруженные на домашний сервер. Однако, с самого начала для всех selfhosted-серверов он требовал учётную запись на их сервере. А с этого года внезапно ограничили возможность удалённого доступа к своему контенту без подписки, так что я начал перекатываться на Jellyfin: он делает в принципе всё то же самое и даже чуть больше, но совсем не требует денег, не зависит от других серверов и поддерживает вход по OIDC. Единственный минус — нет приложений для плойки и всяких не-андроидных телевизоров.
Navidrome — музыкальный проигрыватель
В какой-то момент меня начали подбешивать музыкальные стриминги: каких-то альбомов нет, а какие-то сборники стали неполными. Плюс, скандалы со Spotify подталкивают реже им пользоваться. И был заведён Navidrome. Он совместим с Subsonic, который в своё время задал стандарт музыакальных плееров, поэтому приложений для него полно. Единственное, чего не хватает — возможности подписываться на подкасты (хотя бы по RSS). Но как способ хранить музыку, купленную на bandcamp и рипы имеющихся дома дисков — просто супер. К тому же, это очень приятно возвращает меня к славным временам, когда музыку слушали альбомами или сборниками.
Piped и Invidious — альтернативные фронтенды для ютуба
Про них рассказано подробнее в посте про ютуб. Вкратце — это способ смотреть ютуб, не открывая сайт ютуба, и не смотря его рекламу. Piped мне особенно по душе, потому что в него встроен SponsorBlock, так что я могу проматывать даже рекламные интеграции в любом браузере на любом девайсе без аддонов. Но Invidious чуть лучше реагирует на обновления ютуба, ломающие альтернативные фронтенды, так что держу его как резерв.
Чтение всяких текстов
Kavita — электронная библиотека
С фильмами, сериалами и музыкой разобрались. Но иногда хочется ещё и почитать: книги и комиксы. И под это дело заведен отдельный сервис. Он, в частности, реализует OPDS, поэтому, опять же, клиентов достаточно. Впрочем, и в браузере обычно неплохо — по крайней мере, с планшета или компа.
Miniflux — RSS-аггрегатор
Это чтобы читать новости в единой (или разделенной по категориям) ленте. Подписываюсь на разные ленты новостных сайтов, а также на публичные каналы в телеге, и вижу всё упорядоченным. Об этом тоже есть чуть более подробный текст в конце поста про телеграм. Он тоже реализует разные стандарты, поэтому с ним можно использовать мобильные клиенты для других похожих сервисов.
Mealie — хранилище рецептов
Поскольку они хранятся в виде текста, то пусть тоже будут тут. Проблема такая: если хранить рецепты всякой еды в виде ссылок, то можно столкнуться с неприятным ощущением, когда сайт удалил рецепт. Или вообще сайт исчез. А эта штука позволяет скачать содержимое страницы, скормить его ChatGPT, и сохранить в структурированном виде. Но признаюсь честно: она пока у нас очень плохо приживается — ссылки хранить намного проще.
Общение
Поскольку общаться исключительно через собственный сервер — весьма странное занятие (ну с кем я буду там общаться, с котом? Даже жена не регается, лол), то всё, что я селфхощу — либо федеративное, либо вспомогательное для полной децентрализации.
Synapse — Matrix-сервер
До этого использовал Tuwunel и Conduwuit, но перекатился на синапс, чтобы когда-нибудь реализовать звонки через новый протокол. Нравится, что для него есть отдельная графическая админка. Ещё нравится поддержка OIDC. А так — ну матрикс и матрикс, всё с ним нормально. В дополнение к нему развернут ещё и Element — браузерный клиент — но я сам им почти не пользуюсь.
Akkoma — инстанс федиверс-соцсети
А тут я тоже выбирал наугад и при поддержке LLM. Хотел развернуть что-то, что реализует ActivityPub, но при этом не жрёт гигабайты памяти. Был раньше опыт и с Pixelfed (решил, что не хочу ради пяти фоток в год держать сервер), и с Mastodon (хороший, сложный, и я чёт переоценил свои возможности, подписываясь на релеи), поэтому вот выбрал облегчённый форк плеромы. Ну и тут тоже всё как-то обычно: ну он работает, в целом норм. Есть какие-то странности, когда используешь его с клиентом мастодона. Есть фундаментальные проблемы ActivityPub. Но в целом нормально — для собственного феди-инстанса весьма прилично.
SimpleX SMP — релейный сервер децентрализованного мессенджера
Ещё одна забавная вещь, которую я зачем-то держу. Тут надо сперва рассказать о проблеме: децентрализованные мессенджеры очень плохи, когда адресат не в сети. Сообщение в таком случае невозможно доставить напрямую. И сложно передать на хранение кому-то с хоть какой-то гарантией доставки. Для решения проблемы в сети симплекса есть релеи: юзер указывает, откуда он готов забирать сообщения, когда вернётся, и отправитель теперь может их засылать не только напрямую получателю, но и релейному серверу.
И ещё немного
HomeAssistant — управление умным (не очень) домом
Мне кажется, это такая вещь, которую большинство селфхостят в первую очередь. Интересно, сложно, и позволяет сделать хитрые автоматизации. Например, моя любимая — если автоматический лоток сообщает, что им воспользовались — мощность очистителей воздуха повышается на следующие пять минут. И это делают разные девайсы от разных фирм. Короче, прикольный единый интерфейс ко всяким домашним и полезным внешним штукам. И про это всё тоже есть пост.
Ghost — движок блога
Прямо сейчас вы читаете блог на этом движке. Он мне всё ещё нравится: не слишком перегруженный редактор, хотя и достаточно функциональный. Есть возможность из коробки кросс-постить в федиверс. Есть разные темы, которые можно делать даже самостоятельно. А больше мне ничего и не нужно.
GhostGemlog — самописное зеркало этого блога в Gemini
Gemini — это протокол и в целом концепция минималистичного веба. И этот блог работает в рамках этого протокола. Про саму концепцию, конечно, тоже есть пост.
Webhook.site — штука скорее для работы
Прикольный инструмент, который логирует все приходящие к нему запросы. Упрощённую версию они предоставляют и для самостоятельного развёртывания. Мне он местами упрощает некоторые задачи.
Ну и ещё есть куча всякой самописной мелочевки, которую просто неинтересно упоминать — всё равно, её никто кроме меня не захочет хостить.
Ещё немного про OIDC
Я не придумал, как выделить все сервисы, поддерживающие единую точку входа, поэтому перечислю их здесь. Это:
- Pangolin (очень удобно, можно закрыть любой хост предварительной авторизацией со входом по пасскею)
- Nextcloud
- Immich
- Jellyfin
- Kavita (причем, поддержку завезли недавно, пока я писал этот пост)
- Miniflux
- Mealie (у меня почему-то сломался)
- Synapse (что очень круто, учитывая, что поддерживаются разные клиенты даже на мобилах)
Ещё в этом списке могли быть Plausible и Passbolt, но вот беда — они предоставляют такой функционал только для пользователей платных корпоративных лицензий. Досадно.
И не могу не отметить, что Cloudflare Zero Trust, который можно использовать вместо Pangolin, тоже поддерживает возможность авторизации (для доступа к своим сервисам) через собственные OIDC-провайдеры. Да, много кто такое умеет, но в контексте селфхостинга Cloudflare может быть для кого-то вполне приемлемым решением.
Что хочется селфхостить, но ещё не...
Хотелось бы свою почту. Но это проблематично: даже при очень грамотной настройке, письма могут часто попадать в спам или вовсе отбрасываться серверами получателей.
Ещё мечтаю о селфхостинге нейросетей: LLM, text-to-image, speech-to-text. Но для таких моделей мне определённо надо собирать новый комп с парой жирных дорогих видеокарт. Жаба душит.
Также поглядываю на Cryptpad: это прикольный офисный пакет, который можно развернуть и у себя. Но у меня уже есть Nextcloud Office, который, впрочем, меня не везде устраивает... Сложно принимать решение, в общем.
Хочется что-то типа закрывшегося Pocket — штуки, которая позволяет сохранить страницу для чтения «на потом». Например, Readeck или Wallabag. Когда-нибудь займусь этим.
Также хочется держать у себя лог своих перемещений с тех пор, как гугл стал хранить их только локально. Понравился Dawarich, но поддерживаемые клиенты не понравились. Немножко выручает иммич, показывая фотки на карте.
Косо смотрю на HomeBox и Warracker. Они позволяют систематизировать «что где лежит», но примеряя на себя, сомневаюсь, что это мне поможет ориентироваться в своём бардаке..
А минусы будут?
Конечно, куда ж без них?
Во-первых, надо понимать, как это вообще делать. Хоть в каком-то виде. Кто-то юзает Proxmox, кто-то деплоит всё в кластере k8s, многие используют docker compose, а кто-то просто держит всё прямо в хостовой системе. Но без понимания системы, это всё развернуть вряд ли получится. Порог вхождения, на самом деле, не такой уж и высокий, но точно не нулевой.
Во-вторых, надо ещё и об актуальности и безопасности думать. Настраивать бэкапы. Периодически обновлять сервисы и иногда ругаться, что обновление всё сломало — привет, иммич! И стараться не оставлять критичные данные доступными для всего мира.
Ну и в-третьих — это нифига не бесплатно. Домены стоят денег. Домашние сервера, кроме старых компов, стоят денег. Белый IP у провайдера стоит дополнительных денег (но можно и без него). Арендовать что-то — тоже стоит денег. Плюс расходы на электричество.
И напоследок — это всё-таки съедает какое-то количество времени. Да, было бы круто сделать так, чтобы раз и навсегда: один раз настроил и оно работает. Но пока не получается. Как минимум, надо выполнять обновления.
После этих слов может показаться, что всегда проще воспользоваться готовым сторонним сервисом. Но своё — оно как-то приятнее, роднее.
Часть сервисов, кстати, у меня в публичном доступе — если хотите попробовать — смело обращайтесь. А если хотите обсудить — заглядывайте в комменты в телеге. Или в матрикс. Или пишите ответы в федиверсе.