Tech Recipe Book
My Services
  • Book
    • About the author
    • Architect
      • Algorithms
        • DB index algorithms
          • How does database indexing work
        • Neural network optimization
          • Neural Network Optimization
        • Route search
          • Road network in a database to build a route
          • Traveling Salesman Problem (TSP)
      • Architecture Frameworks
        • DODAF
        • TOGAF
        • Enterprise Architecture (EA) Tools Reviews 2023 | Gartner
      • Zero Trust
      • Billing
        • SHM billing system
      • Bots
        • Discord
        • Telegram
          • Chat GPT Telegram bot
          • Получаем статистику Telegram-канала при помощи api и python или свой tgstat с регистрацией и смс
          • Как хостить телеграм-бота (и другие скрипты на Python) на Repl.it бесплатно 24/7
          • Создание Telegram бота на PHP #1: основные понятия для работы с API
          • Создание Telegram бота на PHP #2: создание первого бота для Telegram
          • Создание Telegram бота на PHP #3: примеры отправки сообщений с кнопками в Telegram
          • Создание Telegram бота на PHP #4: отправка файлов и изображений в Telegram
          • Создание Telegram бота на PHP #5: работа с хуками
      • Business intelligence
      • Cloud Storage
        • Ceph
        • Virtual Distributed File System
      • Cryptography
        • Open Source PKI Software
        • OpenPGP
          • Email Encryption
          • Kleopatra
          • Miscellaneous Tools
          • Server side applications
      • Message broker
        • Kafka
          • Kafka UI-tools
          • Kafka streams ksqlDb
        • RabbitMQ
      • DB
        • MySQL
          • Auto sharding
          • MariaDB Zabbix monitoring
          • MySQL and MariaDB replication with Zabbix monitoring
        • Postgres
          • HA PostgreSQL with Patroni, Haproxy, Keepalived
          • Mass parallel requests - Greenplum
          • PostgreSQL cluster for development and testing
        • Vitess - Scalable. Reliable. MySQL-compatible. Cloud-native. Database.
      • Identity and Access Management (IDM)
        • FreeIPA - Identity, Policy, Audit
        • FreeIPA as an Enterprise solution
        • Keycloak
          • Keycloak HA cluster
        • Open Identity Platform
        • SSO
          • Keycloak for Java app
          • OpenAM
          • OpenIG
      • Firewall
        • nftables
      • Infrastructure As a Code
        • Ansible
        • IaC Packer Ansible Teraform
        • Installing Jenkins using terraform in Kubernetes in Yandex Cloud with letsencypt
        • Teraform Crosplan Pulumi
        • Yandex IaC solutions
      • Kubernetes
        • Installation
          • Install Kubernetes cluster
          • Deploying a Kubespray cluster to OpenStack using Terraform
          • Kube deploy in Yandex cloud
        • Frameworks
          • Deckhouse
            • LDAP authentification
            • On premise Install
            • Yandex Cloud Install
          • K3S
          • OpenShift OKD
          • RKE2
          • Rancher
            • Rancher Install
        • Auth
          • Keycloak in k8s
          • LDAP
        • GUI management Lens
        • Monitoring
          • Monitoring with Falco
          • Network monitoring
          • Nginx ingress
          • Prometheus Graphana for sample Nodejs app
          • Rsource monitoring Avito
        • Exposing services
          • Exposing Kubernetes Services
          • Cilium BGP
        • CNCF
        • Helm
          • Repositories
            • Artifact Hub | official
            • Bitnami | vmware
          • Awesome helm charts and resources
          • Essential Services for Modern Organizations
          • Security and Compliance
          • Additional charts
        • Isolation
          • vcluster - Virtual Kubernetes Clusters
          • Kiosk
          • KubeArmor
          • Control Plane Hardening
          • Hierarchical namespaces
        • Security Center
          • Minesweeper
          • NeuVector by SUSE
          • SOAR in Kubernetes
          • Security Сenter for Kubernetes
        • Terraform CI security
          • Terraform plan analysis with Checkov and Bridgecrew
          • Yandex Terraform scan
        • Vulnerability management
          • Aqua
          • Sysdig
          • Kyverno
          • GitLab
          • NeuVector by SUSE
        • Image scanning
          • Snyk
          • Sysdig
          • Harbor
          • Trivy
        • Signature verification
          • Sigstore
        • Control plane security
          • Gatekeeper
            • Applying OPA Gatekeeper
          • Kyverno
            • Policy as a code. Kyverno
        • Runtime Security
          • Osquery
          • Falco
          • ClamAV
        • Network security
          • Cilium
          • Control Plane Hardening (API restriction)
          • Network policy recipes
          • Service mesh
            • Istio HA, LoadBalance, Rate limit
          • mTLS Autocert
        • Honeypot
          • Building honeypot using vcluster and Falco
        • Backup
          • Kasten K10
        • Secrets
          • Vault CSI Driver
      • Load Balance
        • Nginx
        • HAProxy
          • Proxy methods
          • HAProxy for RDP
          • Payment gateway A/B test with HAProxy
          • HAPRoxy for Percona or Galera
      • Monitoring
        • Zabbix
          • Apache Zabbix
          • Disc Quota
          • Nginx Zabbix
          • SSL certificates Zabix
          • Zabbix notifications
        • Nagios
          • Datacenter monitoring
        • Prometheus and Grafana
      • Windows
        • Sysmon enhanced Windows audit
        • Sysmon to Block Unwanted File
      • Linux
        • Rsync
        • Debian based
          • Apt-Cacher NG
          • Unattended Upgrades in Debian / Ubuntu
        • RedHat basede
          • RPM Server
        • Logs analysis
        • Build armhf qemu
      • NGFW
      • CI/CD
        • DevSecOps
          • DAST
            • Burp
              • Dastardly
            • StackHawk
            • ZAP and GitHub Actions
          • SAST
            • Checkmarx
            • OSV by Google
            • Snyk
            • SonarQube
        • GitLab Runner in Yandex Cloud
        • Dynamic Gitlab Runners in Yandex Cloud
        • GitLab runner in Kubernetes with Werf
        • Kubernetes deploy strategies
        • Kubernetes highload deploy. part 1
        • Kubernetes highload deploy. part 2
        • Kubernetes Argo Rollouts
        • Jenkins in Kubernetes
        • Ansible Semaphore
        • Image storage, scaning and signing
        • Install WireGuard with Gitlab and Terraform
        • CI/CD example fror small web app
        • Threat matrix for CI CD Pipeline
      • SIEM / SOC
        • Datadog
        • Splunk
          • Splunk — general description
        • MaxPatrol
          • MaxPatrol 8 and RedCheck Enterprise
        • QRadar IBM
        • Cloud Native Security Platform (CNAPP) - Aqua
        • OSSIM | AT&T
          • AlienVault (OSSIM) install
        • Wazuh
        • EDR
          • Cortex XDR | Palo Alto Networks
          • Cynet
          • FortiEDR | Fortinet
          • Elastic
        • Elastic
          • Install Elasticsearch, Logstash, and Kibana (Elastic Stack) on Ubuntu 22.04
          • Setting Up Elastic 8 with Kibana, Fleet, Endpoint Security, and Windows Log Collection
        • Threat Intelligence
          • MISP
          • msticpy Microsoft
          • X-Force | IBM
          • Elastic
      • VPN
        • Full-Mesh VPN fastd, tinc, VpnCloud
        • Wireguard
          • WireGuard for Internet access
          • WireGuard on MikroTik and Keenetic
          • WireGuard site to site
        • SoftEther VPN Project
        • Cisco AnyConnect client
        • OpenConnect
        • SSTP python server
      • OS hardening
        • CIS Benchmarks
      • Cloud Providers
      • OpenNebula
        • OpenNebula Edge Cloud - Open Source Cloud & Edge Computing
        • Discover OpenNebula – Open Source Cloud & Edge Computing Platform
        • OpenNebula Multi-Cloud
        • Kubernetes on OpenNebula
        • The Open Source Alternative to Nutanix
        • The Simple Alternative to OpenStack
        • OpenNebula Partner Ecosystem
      • OpenStack
        • Install manual
        • Install with DevStack
      • VM
        • Create a VHD file from a Linux disk
        • Backup / Migration
          • Coriolis
          • Proxmox Backup Server
        • oVirt
        • VMware vCenter
        • Proxmox
      • Docker
        • Container optimization
        • Ubuntu RDP container
      • LXC
        • LXD on Ubuntu 18.04
        • Install, Create and Manage LXC in Ubuntu/Debian
    • Big Data
      • OLAP data qubes
      • Storage and autoscale in Lerua
    • Machine Learning
      • Yandex YaLM 100B. GPT model
      • Kaggle Community Datasts Models
      • AI in video production
      • Image search
      • Chat bots
        • You.com
        • Chat GPT
          • Implementing GPT in NumPy
        • Jailbreak Chat
      • Coding plugins CodeWhisperer
    • Malware
      • Isiaon/Pitraix: Modern Cross-Platform Peer-to-Peer Botnet over TOR
      • theZoo A repository of LIVE malwares
    • Pentest
      • Red Team
        • MITRE ATT&CK matrix
        • C2 Frameworks
          • Brute Ratel C4
          • Cobalt Strike
          • Covenant
          • Havoc Framework
          • Merlin
          • Metasploit
          • Sillenttrinity
          • Sliver
        • Manage and report
          • Dradis Framework
          • Hexway
        • Underground
      • Social engineering
        • Social Engineer Toolkit setoolkit
      • OSINT
        • OSINT for comapny
        • Instagram fishing
      • Forensics
        • Forensics tools
      • Pentesting Methodology
      • Web
      • CI/CD Methodology
      • Cloud Methodology
        • Hacking The Cloud
      • Kubernetes Pentesting
      • Android
        • SSL Unpinning for Android applications
      • iOS
        • SSL unpinning iOS and macOS applications
      • HackBar tool
      • CyberChef Tools
      • Python virtualenv
      • IppSec - YouTube
      • Hacktricks.xyz
    • Compliance
      • 152 ФЗ. Personal data
      • PCI DSS and ГОСТ Р 57580.1-2017
      • Cloud compliance
      • ГОСТ Р 57580.1-2017 для Kubernetes
      • Kubernets as DevSecOps and NIST compliance
      • NIST SP 800-61 cyberincidece control
      • CIS Kubernetes Benchmark v1.6 - RKE2 v1.20
      • CIS Kubernetes Benchmark v1.23 - RKE2
      • Requirements for Russian Banks
      • Tools
        • Chef InSpec
        • Elastic SIEM
    • Asset management
      • CMDBuild
    • Project management
    • Incident management SRE
    • Risk management
      • IT risk management
      • BSI-Standard 200-3
    • Web Dev
      • Cookie security
      • OWASP Top 10 2021
      • Docker nginx php mysql
      • Docker tor hiddenservice nginx
      • Docker Compose wp nginx php mariadb
      • Dependency Checking
        • Nexus Analyzer
        • OWASP dependency-check
      • Yii skeeks cms
      • YiiStudio
    • Art
      • GTK Themes
      • Themes for Xfce Desktop
      • XFCE / Xubuntu Windows 95
      • Moscow events
      • Photo goods
      • Russian style gifts
    • Cryptocurrency
      • News
      • Arbitrage
      • Stocks
      • Exchange aggregators
      • Where to use
      • Prepaid cards
        • BitFree
        • Pyypl Your Money at Your Fingertips
    • IT magazines
      • WIKI and Writeups tools
        • BookStack
        • GitBook
        • MkDocs
        • Wiki.js
        • DokuWiki
    • Languages
    • Learning
      • (ISC)2
        • CISSP
      • Offensive Security
        • OSCP
        • OSEP
        • OSED
      • DevSecOps
        • Certified DevSecOps Professional (CDP)
        • Certified DevSecOps Expert (CDE)
      • Web Security Academy: PortSwigger
    • Relocation
      • London experience
      • IT visas in 2022
      • Remote work
      • Running business in UAE
    • Freenet
      • Independent online services: the philosophy of a free Internet
      • Tor Project Anonymity Online
      • I2P Anonymous Network
    • Services
      • SMS Registration
        • Registering ChatGPT in Russia
      • Local and regional eSIMs for travellers - Airalo
      • Digital busines cards
      • No KYC services and exchanges
Powered by GitBook
On this page
  • Введение
  • Статьи
  • Функциональные особенности
  • Архитектура
  • О ценах на RHV
  • Пример расчета на 1-й год владения
  • Краткие характеристики и максимумы
  • Системные требования
  • Virtual Machine Maximums:
  • Host Maximums:
  • Manager Logical Entity Maximums:
  • Варианты внедрения

Was this helpful?

  1. Book
  2. Architect
  3. VM

oVirt

Last updated 1 year ago

Was this helpful?

Введение

Open source проект — свободная платформа виртуализации корпоративного уровня. Пролистав habr, обнаружил, что освещен здесь не так широко, как того заслуживает.

oVirt фактически является апстримом для коммерческой системы Red Hat Virtualization (RHV, ранее RHEV), растет под крылом Red Hat. Чтобы не возникло путаницы, это не то же, что CentOS vs RHEL, модель ближе к Fedora vs RHEL.

Под капотом — , для управления используется веб-интерфейс. Базируется на ОС RHEL/CentOS 7.

oVirt может использоваться как для «традиционной» серверной, так и десктопной виртуализации (VDI), в отличие от решения VMware обе системы могут уживаться в одном комплексе.

Проект хорошо , давно достиг зрелости для продуктивного применения и готов к высоким нагрузкам.

Эта статья — первая в цикле о том, как построить работающий отказоустойчивый кластер. Пройдя по ним, мы за короткое (порядка 2-х часов) время получим полностью работающую систему, хотя ряд вопросов, конечно, раскрыть не удастся, постараюсь осветить их в следующих статьях.

У себя используем его несколько лет, начинали с версии 4.1. Наша промышленная система сейчас живет на вычислителях HPE Synergy 480 и ProLiant BL460c 10-го поколения c Xeon Gold CPU.

На момент написания действующая версия 4.3.

Статьи

  1. Введение — Мы здесь

Функциональные особенности

В oVirt есть 2 основные сущности: ovirt-engine и ovirt-host(s). Для тех, кто хорошо знаком с продукцией VMware, oVirt в целом как платформа это vSphere, ovirt-engine — управляющий слой — выполняет те же функции, что vCenter, а ovirt-host — гипервизор, как ESX(i). Т.к. vSphere очень популярное решение, иногда буду приводить сравнение с ней.

Рис. 1 — панель управления oVirt.

В качестве гостевых машин поддерживается большинство дистрибутивов Linux и версий Windows. Для гостевых машин есть агенты и оптимизированные виртуальные устройства и драйверы virtio, в первую очередь дисковый контроллер и сетевой интерфейс.

Для реализации отказоустойчивого решения и всех интересных функций потребуется разделяемое хранилище. Поддерживаются как блочные FC, FCoE, iSCSI, так и файловые NFS хранилища и др. Для реализации отказоустойчивого решения система хранения также должна быть отказоустойчивой (минимум 2 контроллера, мультипасинг).

Использование локальных хранилищ возможно, но по умолчанию для настоящего кластера годятся только разделяемые хранилища (shared storages). Локальные хранилища делают систему разрозненным набором гипервизоров и даже при наличии разделяемого хранилища кластер собрать не получится. Наиболее правильный путь — бездисковые машины с boot from SAN, либо диски минимального объема. Вероятно, через vdsm hook возможен вариант сборки из локальных дисков Software Defined Storage (напр., Ceph) и презентации его ВМ, но серьезно его не рассматривал.

Архитектура

Рис. 2 — архитектура oVirt.

Рис. 3 — объекты oVirt.

Верхний элемент в иерархии — Data Center. Он определяет, используются разделяемые (shared) или локальные хранилища, а также используемый набор функций (совместимость, от 4.1 до 4.3). Может быть один или несколько. Для многих вариантов годится использование Data Center по умолчанию — Default.

Data Center состоит из одного или нескольких Clusters. Кластер определяет тип процессора, политики миграции и др. Для небольших инсталляций можно также ограничиться кластером Default.

Кластер, в свою очередь, состоит из Host'ов, выполняющих основную работу — они несут виртуальные машины, к ним подключены хранилища. В кластере предполагается 2 или более хостов. Хотя технически возможно сделать кластер с 1-м хостом, но это не имеет практической пользы.

О ценах на RHV

Стоимость не высока в сравнении с VMware, покупается только поддержка — без требования покупки самой лицензии. Поддержка приобретается только на гипервизоры, ovirt-engine, в отличие от vCenter Server трат не требует.

Пример расчета на 1-й год владения

Рассмотрим кластер из 4-х 2-х сокетных машин и розничные цены (без проектных скидок).

  • VMware vCenter Server Standard $10,837.13 за экземпляр, плюс подписка Basic $2,625.41 (Production — $3,125.39);

  • VMware vSphere Standard $1,164.15 + Basic Subscription $552.61 (Production $653.82);

  • VMware vSphere Enterprise Plus $6,309.23 + Basic Subscription $1,261.09 (Production $1,499.94).

Итого: 10 837,13 + 2 625,41 + 4 * 2 * (1 164,15 + 552,61) = $27 196,62 за самый младший вариант. Разница около 3,5 раз!

В oVirt'е же все функции доступны без ограничений.

Краткие характеристики и максимумы

Системные требования

Для гипервизора требуется ЦПУ со включенной аппаратной виртуализацией, минимальный объем ОЗУ для старта — 2 ГиБ, рекомендованный объем хранилища для ОС — 55 ГиБ (по большей части для журналов и т.п., сама ОС занимает мало).

Virtual Machine Maximums:

  • Maximum concurrently running virtual machines: Unlimited;

  • Maximum virtual CPUs per virtual machine: 384;

  • Maximum memory per virtual machine: 4 TiB;

  • Maximum single disk size per virtual machine: 8 TiB.

Host Maximums:

  • Logical CPU cores or threads: 768;

  • RAM: 12 TiB;

  • Number of hosted virtual machines: 250;

  • Simultaneous live migrations: 2 incoming, 2 outgoing;

  • Live migration bandwidth: Default to 52 MiB (~436 Mb) per migration when using the legacy migration policy. Other policies use adaptive throughput values based on the speed of the physical device. QoS policies can limit migration bandwidth.

Manager Logical Entity Maximums:

  • Data center

    • Maximum data center count: 400;

    • Maximum host count: 400 supported, 500 tested;

    • Maximum VM count: 4000 supported, 5000 tested;

  • Cluster

    • Maximum cluster count: 400;

    • Maximum host count: 400 supported, 500 tested;

    • Maximum VM count: 4000 supported, 5000 tested;

  • Network

    • Logical networks/cluster: 300;

    • SDN/external networks: 2600 tested, no enforced limit;

  • Storage

    • Maximum domains: 50 supported, 70 tested;

    • Hosts per domain: No limit;

    • Logical volumes per block domain (more): 1500;

    • Maximum number of LUNs (more): 300;

    • Maximum disk size: 500 TiB (limited to 8 TiB by default).

Варианты внедрения

Как уже говорилось, oVirt строится из 2-х базовых элементов — ovirt-engine (управление) и ovirt-host (гипервизор).

Engine может размещаться как вне самой платформы (standalone Manager — это может быть ВМ, запущенная в другой платформе или отдельном гипервизоре и даже физическая машина), так и на самой платформе (self-hosted engine, аналогично подходу VCSA от VMware).

Аппаратные требования для всех вариантов примерно одинаковы.

Рис. 4 — стандартная архитектура.

Рис. 5 — Self-hosted Engine архитектура.

Для себя выбрал вариант standalone Manager и EL Hosts:

  • EL Host предоставляет всю мощь ОС, что полезно для внешнего мониторинга, отладки, поиска неисправностей и т.д.

    • Однако за все время эксплуатации это не потребовалось, даже после серьезной аварии с питанием.*

Но уже ближе к делу!

Для эксперимента есть возможность освободить пару лезвий ProLiant BL460c G7 с Xeon® CPU. На них и будем воспроизводить процесс установки.

Узлам дадим имена ovirt.lab.example.com, kvm01.lab.example.com и kvm02.lab.example.com.

Подробнее с архитектурой можно ознакомиться в разработчика.

В oVirt поддерживается множество функций, в т.ч. живая миграция виртуальных машин между гипервизорами (live migration) и хранилищами (storage migration), десктопная виртуализация (virtual desktop infrastructure) с пулами ВМ, statefull и stateless ВМ, поддержка NVidia Grid vGPU, импорт из vSphere, KVM, есть мощное и многое другое. Все эти функции доступны без лицензионных отчислений, а при необходимости поддержки ее можно приобрести у Red Hat через региональных партнеров.

Стандартная подписка RHV за сокет/год (премиум 365/24/7 — $1499), итого 4_2_$999=$7992.

:

Подробнее — .

Для минимальные требования 2 ядра/4 ГиБ ОЗУ/25 ГиБ хранилища. Рекомендованные — от 4 ядра/16 ГиБ ОЗУ/50 ГиБ хранения.

Как и в любой системе, есть ограничения на объемы и количества, большинство из которых превышает возможности доступных массовых коммерческих серверов. Так, пара может адресовать 2 ТиБ ОЗУ и дает 40 ядер (80 потоков), что меньше даже лимитов одной ВМ.

В 4.3 существуют .

Гипервизор может быть установлен как на (EL Host), так и на (oVirt-Node, основана на el7).

Переходим непосредственно к .

https://habr.com/ru/articles/501166/
oVirt
oVirt
KVM
документирован
Установка менеджера (ovirt-engine) и гипервизоров (hosts)
Дополнительные настройки
Базовые операции
документации
API
стоит $999
Цена vSphere
здесь
Engine
Intel Xeon Gold 6230
следующие лимиты
обычную ОС RHEL/CentOS 7
специализированную минимальную ОС
установке