В предыдущих постах я неоднократно упоминал о zfs. Причем получалось, что и памяти и процессора она требует не по детски. Остался вопрос - и зачем? Сразу скажу, что не претендую на полноту и пр. Что такое zfs можно взглянуть в Википедии. Заинтересовавшимся серьёзнее советую нагуглить zfs administration guide (вроде бы был и по русски). Моё намерение - объяснить зачем вдруг дома файловая система корпоративного уровня. Прим. У читателя, особенно второй части поcта, предполагается уверенное понимание того, что такое дисковые массивы, напр. RAID5. Если понимания нет - вряд ли такие массивы стоит дома самому строить и этот текст читать.
1. Целостность файловой системы
. Каждый сталкивался с ситуацией, когда файловую систему приходилось чинить. Успешно или не очень. zfs построена так, что в ней даже нет утилиты вроде виндовой chkdsk или линуксовой fsck. Ситуация, когда файловая система оказалась в противоречивом состоянии, просто невозможна. Реализовано через Copy-on-write (данные пишем не поверх старых, а выделяем новый блок, пишем туда, если все ОК - заменяем указатель со старых данных на новые. Подробнее - см гугл). В результате логическая структура диска не испортится из-за того, что-то не вовремя отключили или свет отрубился. Ну разве записанное в последние 10 сек пропадет. (впрочем, диск может и физически сгореть при играх с электричеством).
2. Уверенность, что не прочитаешь мусор, думая, что читаешь данные . Железо несовершенно. Например, если дребезжат контакты на SATA кабелях, на диск будет записано совсем не то, что было в памяти. И никто, замечу, долгое время об этом не узнает. Мой профессиональный опыт связан с полиграфией. Не раз приходилось на выводе видеть картинку до середины нормальную - а дальше шум. zfs хранит с каждым блоком данных его контрольную сумму. При считывании данных сумма автоматически сличается. Казалось бы, так просто...
3. Уверенность, что хранимые данные не протухли . Да, данные при хранении имеют тенденцию портиться. Что хорошо известно тем, кто поверил маркетингу производителей DVD болванок про 100 лет и записал на них свои архивы. Особенно это важно для "холодных" данных, долгое время лежащих без движения. Архивах, старых фото и т.п. Проверить данные вроде как просто - надо их считать и сличить контрольные суммы. Для zfs, понятно - достаточно файлы прочитать. Для регулярной проверки есть команда, в фоновом режиме все проверяющая.
4. Снимки файловой системы. Легкость запоминания состояния файловой системы на данный момент времени, хранение таких снимков и откат к ним при необходимости. Защищает от дурацких действий человека. Модель Copy-on-write просто располагает к такой функциональности - блоки удаленных или перезаписанных данных просто не освобождаем, а ссылки на них храним в снимке. В результате снимок занимает места столько, сколько содержит измененных по сравнению текущим моментом данных, а не весь объем данных.
Это все было для данных без избыточности, типа одиночного диска. Но zfs позволяет формировать массивы с избыточностью , подобные (и превосходящие) RAID1 (зеркало), RAID5 (избыточность в размере одного диска), RAID6 (двух) и даже "RAID7" (сохраняющий данные при выходе их строя любых трех дисков массива). Массивы можно объединять, получая что-то вроде RAID10 или RAID50. И чем же zfs массивы лучше?
5. Аппаратная независимость . Чтобы сделать аппаратный RAID5, тем более RAID6, нужен дорогой RAID контроллер. zfs raidz - вариант программного RAID, требуются только доступ к дискам, например SATA порты. zfs raidz вполне может быть построен на портах разных контроллеров и из дисков разных моделей (в использовании разных моделей дисков есть и плюсы и минусы). И перенесен чуть не на любое железо, куда можно подключить диски. Я, например, неоднократно переставлял диски между SATA портами, прозрачно импортировал массив, созданный в режиме IDE на контроллере, в ACHI режиме и на SAS контроллере. Хотя операционная система нумерует диски по портам и определяет IDE, ACHI и SAS диски по-разному, zfs все это способен молча отработать (до определенных пределов, конечно. Сдуру что хочешь можно сломать.)
6. Отсутствие Дыры по Записи . (Wiki) То есть разрушения данных, если диск массива не может принять данные. Дорогие RAID контроллеры оборудуют батарейками, которые позволяют много дней хранить данные, не успевшие попасть на диск, и записывать их в массив при появлении возможности.
7. Устойчивость при сбое диска . Пусть у нас одинаковые RAID5 и zfs raidz1. В каждом из них сбоит один из дисков, меняем его на новый. И в процессе замены (а она занимает многие часы для больших массивов) не читается блок на одном из оставшихся дисков массива.
Для RAID5 в большинстве случаев это катастрофа. Массив объявляется сбойным не читаемым, несем его профессионалам, которые за круглую сумму инфу будут восстанавливать.
Для zfs raidz1 сообщается на какие файлы пришлись сбойные блоки, остальное синхронизируется. А если с заменяемого диска хоть что-то читается и от компа его не отключали - информация с него тоже будет использована для синхронизации. И с высокой степенью вероятности данные вообще не потеряем.
8. Работа с полезными данными, а не всем массивом . Например, если я заменяю диск в RAID5 массиве, время восстановления зависит от объема массива. Если в zfs raid1 - от объема записанной в массив информации, тк не используемое для данных место не будет синхронизироваться.
Преимуществ еще много, но мне для дома интереснее именно эти. В корпоративном применении - есть и другие (сжатие данных, дедупликация...). Упомяну важные для меня недостатки .
1. Нарастить raidz массив на один диск нельзя . Можно заменить все терабайтные диски на тритеры - и увеличить объем. Можно собрать из 3 (и более) дисков еще один raidz и добавить его к существующему. Но превратить raidz1 из 5 дисков в raidz1 из 6 можно только слив куда-то информацию, разрушив массив и создав новый.
2. Массив нельзя уменьшить
. Можно только увеличивать. Например, заменить в массиве терабайтные винты на двухтерабайтные - можно. А на полутерабайтные - нельзя, даже если в массиве хранится 1 килобайт инфы.
Можно подсоединить к массиву еще один - а отсоединить нельзя. Все такие процедуры - только через сохранение инфы куда-то вовне, разрушение массива и создание нового.
3. Ресурсоемкость . zfs постоянно считает контрольные суммы, что создает нагрузку на процессор и жрет под кеши память. В корпоративном применении есть мнение - гигабайт памяти на терабайт массива. Дома мне хватает 330 атома и 4 Гб памяти (а раньше и на 2 Гб работало - особой разницы не увидел). Хотя атома для полной утилизации гигабитной сети мне не хватает, но 40-50мб/с мои потребности закрывает.. А вот если железо старое и еще значительно слабее - zfs не для Вас.
Да, напомню, если понравилось - в NAS4free , которому и посвящен весь цикл постов, управление NAS, включая операции с zfs, идет через понятный новичку веб интерфейс.
Этот небольшой мануал поможет вам собрать полноценный NAS сервер из старого компьютера. Если вы готовы купить новые комплектующие и сделать свое файловое хранилище компактным и придать ему более современный вид и функциональность, то для вас больше подойдет статья , ну а любителям готовых решений я подготовил этот материал: . Теперь вернемся к старому ПК и оценим его возможности.
Требования к старому ПК
- SATA разъемы на материнской плате, так как HDD c этим интерфейсом обладают наилучшим соотношением цена/производите-льность и имеют гораздо больший объем, в отличии от IDE винчес-теров.
- Количество разъемов для подклю-чения жестких дисков на мате-ринской плате и свободных слотов в корпусе (возможность установить HDD в 5,25-дюймовые отсеки (специальные боксы)) Для сборки HTPC я использую такие боксы с 2-мя слотами под 2.5″ HDD.
- При недостаточном количестве SATA-штекеров на блоке питания можно воспользоваться специальными переходниками IDE-SATA.
Процедура установки HDD в корпус
Чтобы установить 3,5-дюймовые жесткие диски в 5,25-дюймовые отсеки для оптических приводов поместите их в специальный бокс (см. рис).
Такие корпуса также могут быть выполнены в виде направляющих, которые крепятся с обеих сторон к HDD.
Еще можно воспользоваться пятидюймовым отсеком, в который инсталлирован оптический привод, так как его необходимость отпадает в серверном решении.
Установка программного обеспечения
Для реализации серверного решения будем использовать ПО FreeNAS . Скачайте ISO-образ по ссылке для 32-битной или 64-битной системы и запишите на минимальной скорости на диск CD-R\RW. Если нет болванки можно установить на флешку, как сделать загрузочную флешку написано в . Временно подключите к ПК дисковод (который сняли ранее или воспользуйтесь USB приводом). Зайдите в BIOS и установите в разделе Boot загрузку с дисковода. После установки программного обеспечения и перезапуска ПК запомните его IP-адрес, который будет указан на экране.
Настройка NAS сервера
Подключите NAS-сервер к своей сети. Откройте браузер вашего рабочего компьютера в этой сети и введите в адресной строке: http://»IP-адрес вашего NAS». В появившемся окне введите имя пользователя — admin и пароль — freenas. Перейдите в меню «Storage | Volumes | Create Volume» и выберите жесткие диски, которые будут образовывать RAID-массив. Далее активируйте файловую систему ZFS.
Можно использовать:
- RAID 0 — дисковый массив повышенной производительности, без отказоустойчивости.
- RAID 1 — зеркальный дисковый массив, имеет высокую надежность
Будем использовать RAID 1, как более надежный. Теперь нажмите «Add Volume» для форматирования ваших дисков в массив.
Доступ к NAS серверу в локальной сети
Чтобы открыть доступ к серверу перейдите в меню «Services | Control Services», задействуйте службы CIFS и настроить доступ в разделе «Sharing | Windows Shares» . Как и к любому сетевому носителю локальной сети доступ осуществляется с помощью Проводника Windows (например, \\NAS для доступа к корню или \\NAS\Photos для доступа к определенной расшаренной папке). Также можно сделать ярлыки, нажав на кнопку «Подключить сетевой диск» в окне Компьютер (Windows 7) под строкой проводника.
P.S. Вы всегда сможете сделать дополнительный массив, добавив жесткие диски, а также можно настроить доступ для удаленного использования вашего NAS сервера.
Немного информации об опасности использования RAID
RAID — это избыточный массив независимых жестких дисков. RAID — это не система хранения резервных копий, он лишь помогает повысить комфорт доступа к данным. RАID-система представляет собой набор HDD, объединенных в один массив. Если ваш жесткий диск вышел из строя его можно заменить, а после восстановить RAID и ваши данные будут с вами, исключая массив RAID 0.
Недостатки RAID 0
Данный режим дает лишь скорость доступа к данным. В Striping Mode (режим чередования) данные разбиваются на блоки и записываются одновременно на несколько жестких дисков. При поломке одного жесткого диска все данные будут потеряны.
Недостатки RAID 1
В режиме RAID 1 применяется метод зеркалирования данных, то есть на втором диске располагается идентичная копия данных. Есть одно уязвимое место — возможная неисправность контроллера, которая приведет к повреждению обоих носителей.
Недостатки RAID 1 и RAID 5
В процессе восстановления RAID скорость записи высока и после выхода из строя какого-нибудь жесткого диска, она может стать причиной отказа другого HDD, а, следовательно, и потери данных.
Также неисправный RАID-контроллер может привести к выходу из строя HDD. В RAID-массивах изменения применяются к файлам и при случайном удалении или изменении данных, действия необратимы.
Публикация рассчитана на людей, далеких от системного администрирования. В этом посте демонстрируются базовые возможности замечательной операционной системы NAS4Free, позволяющей развернуть домашний NAS даже на маломощном железе, при полном отсутствии знаний FreeBSD и командной строки. Первая часть публикации расположена .
Итак, у нас имеется коробка со следующими характеристиками:
- Корпус: Thermaltake Core V1;
- Блок питания: Chieftec HPS-350NS;
- Материнская плата: GIGABYTE GA-J1800N-D2H;
- Оперативная память: Transcend SO-DIMM 2Gb DDR-III 1333Mhz x 2;
- HDD: WD Re 2004FBYZ x 2 (прежде, чем делать круглые глаза, читаем );
- Охлаждение: TITAN DC FAN (80 мм, 2000 об/мин) x 2.
- Создание датасетов, благодаря чему появляется возможность избирательного управления сжатием файлов и дедупликацией, установки дисковых квот, и все это – без участия менеджеров, подобных LVM;
- Проверка целостности данных с помощью 256-битных контрольных сумм;
- Автоматизированое создание резервных копий на основе снэпшотов;
- Возможность объединения дисков в RAID-подобные массивы на программном уровне.
Думаю, перечисленных аргументов вполне достаточно, чтобы сделать однозначный выбор. Теперь же разберемся с установкой и начальной настройкой системы.
Установка NAS4Free
Поскольку дисков в системе всего два, в качестве загрузочного накопителя будем использовать флешку. Какую именно – абсолютно не имеет значения, любой древности от 2 Гб будет вполне достаточно. Если есть сомнения в исправности девайса, можно воспользоваться тем же Rufus , прогнав несколько тестов. Далее все просто – и приступаем к установке. Сперва вы увидите следующий экран:
Cпустя некоторое время на дисплее появится текстовое меню:
Нас интересует 9-й пункт – его и выбираем. Запускается процесс установки:
Экспертный режим не трогаем, а вот выбор между GPT и MBR зависит от возраста материнской платы вашей машины. Если вы приверженец “классики” в лице BIOS, выбирайте второй пункт. Стоит UEFI – выбираете первый. После подтверждения NAS4Free любезно сообщит, какие операции собирается проделать – соглашаемся на все:
Затем следует указать флешку, на которую будет произведена установка. Ее легко отличить от системного накопителя по размеру и названию:
На следующем этапе задаем размер файла подкачки. Правило простое: если используете накопитель в 2 ГБ – ставьте 512 Мб, 4 Гб – ставьте 1024 Мб, если 8 – 2.
Начнется процесс установки, по завершении которого вы увидите следующий экран:
Можете отключать флешку и перезагружаться – установка прошла успешно.
Теперь поработаем с самим NAS. Поскольку в качестве материнской платы мы выбрали бюджетный вариант для тонкого клиента, начать придется с настройки параметров загрузки, подключив к аппарату не только флешку, но и монитор с клавиатурой. В качестве видеовыходов присутствует D-Sub и HDMI, так что проблем возникнуть не должно. После включения машины зажимаем “Delete”, и задаем в меню “Boot” главным загрузочным девайсом нашу флешку (по умолчанию будет грузиться UEFI Shell, а он нам не нужен). Сохраняем изменения, перезагружаем NAS, и если все сделано правильно, видим уже знакомое меню:
Подключать NAS в рабочее окружение можно любыми способами: через роутер, свитч, нуль-хаб – все зависит от ваших личных потребностей. Поскольку вы наверняка захотите вывести машину в домашнюю сеть, лучший вариант – роутер, поэтому давайте настроим статический IP-адрес в пункте 2. Последовательно отвечайте на задаваемые системой вопросы:
- Do you want to use DHCP for this interface? – No (мы хотим задать статический IP)
- Enter new LAN IPv4 address – 192.168.1.250 (установлен по умолчанию, если в вашей сети он уже используется – введите любой свободный)
- Enter new LAN subnet mask – 24 (маска подсети 255.255.255.0)
- Enter IPv4 default gateway – 192.168.1.1 (указываем адрес роутера)
- Enter DNS IPv4 address – 192.168.1.1 (также указываем адрес роутера)
- Do you want to configure IPv6 for this interface? – No (в домашней сети IPv6 нам попросту не нужен)
На этом подготовка NAS завершена – теперь можно подключать хранилище к сети и приступать к настройке.
Настраиваем диски
Все операции осуществляются через удобный WebGUI – просто наберите в барузере установленный ранее IP (в нашем случае – 192.168.1.250) и сразу попадете на форму авторизации:
Логин по умолчанию – admin, пароль (кто бы мог подумать) – nas4free. Залогиниваемся и видим системный монитор:
Давайте-ка сразу перейдем на великий и могучий: отправляемся в “System” –> “General”, и меняем язык на русский:
Здесь же можно задать новые имя пользователя и пароль к вебинтерфейсу.
Теперь приступим к настройке дисков. Идем в раздел “Диски” –> “Управление”, и… ничего не обнаруживаем:
Только без паники – в NAS4Free все нужно делать руками. Самый простой вариант – нажать на “Очистить конфигурацию и импортировать диски”, но я рекомендую нажать на синий плюсик справа и добавлять накопители по одному. Меню выглядит следующим образом:
Пройдемся по опциям:
- Описание можно не заполнять вообще, я вбил сокращенное название диска;
- Режим передачи оставляем Auto;
- Период перевода накопителей в режим ожидания указываете в зависимости от ваших личных потребностей. Однако следует учесть: частая перестартовка не идет на пользу даже надежным WD Re, поэтому выставлять 5-10 минут не имеет смысла – это лишь ускорит износ HDD;
- Управление питанием – я выставил Level 127 – компромисс между производительностью и энергопотреблением;
- Уровень шума – не считаю нужным использовать, благо WD и так работают очень тихо;
- Если хотите включить мониторинг S.M.A.R.T. – ставьте галочку;
- Поскольку диски новые, оставляем Unformated (неотформатированы) в последней строке.
После всех манипуляций видим в меню настройки дисков следующее:
Читаем предупреждение на скриншоте. Да, такова особенность NAS4Free: сперва вносим настройки, потом подтверждаем выбор, нажав “Применить изменения” – придется привыкать. После этого наблюдаем результат своих действий:
Если хотите получать данные S.M.A.R.T., отслеживая состояние дисков, пройдите на одноименную вкладку.
Проставьте галочку в чекбокс “Включить”, выберите режим электропитания Standby (чтобы не беспокоить винчестеры в режиме ожидания) и сохраните изменения. Также имеется возможность настройки оповещений. Теперь просмотреть подробные данные по каждому накопителю можно в разделе “Диагностика” -> “Информация” -> “S.M.A.R.T.”
Итак, оба диска Online, все системы работают нормально. Но это только начало пути. Давайте перейдем на вкладку “Форматирование HDD”. Как мы и договаривались в начале статьи, будем использовать ZFS. Выбираем оба накопителя и нажимаем “Далее”:
На следующем шаге задаем метку тома – я выбрал WDREZFS%1. Конструкция “%1” означает, что диски, которые мы форматируем, получат порядковые номера, начиная с единицы. То есть, первый будет назван WDREZFS1, второй – WDREZFS2, и т.д. Если не указать отправную точку, поставив знак “%” без цифры, то система сама пронумерует HDD. Также можно давать названия по серийным номерам. Например, “}
