HAProxy for RDP

https://habr.com/ru/articles/335872/

Совершенно случайно, в пассивном поиске альтернативы устаревшему 2X-LoadBalancer и тяжелому, непонятному Remote Connection Broker от MS наткнулся на HAProxy и его умению проксировать RDP трафик. В выдачах поисковиков практически не выдается haproxy в качестве прокси для RDP. Сейчас вдруг пачками стал выдавать. Вместе с тем, коммерческие продукты с таким же функционалом, такие как упоминались выше, стоят приличных денег.

В общем, мне показалось, что это может быть кому-то интересным. Поэтому я решил осветить это решение. Плюс, в конце продемонстрирую гибкость использования HAProxy, которой нет у именитых конкурентов.

Как это работает, вкратце

HAProxy умеет идентифицировать RDP, проксировать его и парсить rdp_cookie для выуживания из них нужной информации и последующего использования ее в механизме маршрутизации.

Клиент подключается к прокси, тот вытаскивает логин из rdp_cookie, выбирает для него сервер, записывает значения «логин — сервер» в stick-table и подключает пользователя к серверу.

Соотвественно, при следующем подключении этого же клиента(с этим логином) прокси находит запись в таблице и подключает его к тому серверу на котором у пользователя открытая сессия. Гениально и просто!

stick-table — это таблица, хранящаяся в памяти процесса, где для каждой записи можно определить время жизни. Выставить 8 часов, и весь день клиент будет попадать на один и тот же сервер.

Ниже стандартный конфиг:

#/usr/local/etc/haproxy.conf
global
daemon
stats socket /var/run/haproxy.sock mode 600 level admin
stats timeout 2m

defaults
log     global
mode tcp
option tcplog
option  dontlognull

frontend fr_rdp
  mode tcp
  bind *:3389 name rdp
  log global
  option tcplog
  tcp-request inspect-delay 2s
  tcp-request content accept if RDP_COOKIE
  default_backend BK_RDP

backend BK_RDP
  mode tcp
  balance leastconn
  timeout server 5s
  timeout connect 4s
  log global
  option tcplog
  stick-table type string len 32 size 10k expire 8h
  stick on rdp_cookie(mstshash),bytes(0,6)

  stick on rdp_cookie(mstshash)
  option tcp-check
  tcp-check connect port 3389
  default-server inter 3s rise 2 fall 3
  server TS01 172.16.50.11:3389 weight 10 check
  server TS02 172.16.50.12:3389 weight 20 check
  server TS03 172.16.50.13:3389 weight 10 check
  server TS04 172.16.50.14:3389 weight 20 check
  server TS05 172.16.50.15:3389 weight 10 check
  server TS06 172.16.50.16:3389 weight 10 check
  server TS07 172.16.50.17:3389 weight 20 check
  server TS08 172.16.50.18:3389 weight 20 check

listen stats
 bind *:9000
 mode http
 stats enable
 #stats hide-version
 stats show-node
 stats realm Haproxy\ Statistics
 stats uri /

Трудности

Так как stick-table располагается в памяти, при перезагрузки процесса теряется вся информация о парах «клиент-сервер», а это критическая информация в нашем случае. Для выхода из ситуации я написал скриптик, который использую для перезагрузки процесса. Скрипт перед остановкой процесса скидывает stick-table в файл, затем после старта процесса записывает данные обратно(текущие сессии при этом не обрываются):

#!/usr/bin/env python
import sys
import socket
import re
import subprocess

haproxyConf = '/usr/local/etc/haproxy.conf'

def restart():
	backends = []
	with open(haproxyConf) as f:
		for line in f:
			lines = line.split(' ')
			if lines[0] == 'backend':
				backends.append(lines[1].strip('\n'))
	for backend in backends:
		getDataTables(backend)
	rebootHa()
	for backend in backends:
		insertDataTables(backend)

# Writes data from stik-tables to external files
def getDataTables(table):
	print table
	tmp_f = open('/tmp/tmp.' + table,'w')
	tableVal = {}
	c = socket.socket( socket.AF_UNIX )
	c.connect("/var/run/haproxy.sock")
	c.send("prompt\r\n")
	c.send("show table " + table + "\r\n")
	d = c.recv(10240)
	for line in d.split('\n'):
		if re.search('^[a-zA-Z_0-9]',line):
			line =  line.split(' ')
			del line[0]
			for item in line:
				key = item.split('=')[0]
				val = item.split('=')[1]
				tableVal[key] = val
			print tableVal['key']
			print tableVal['server_id']
			tmp_f.write(tableVal['key'] + ',' + tableVal['server_id'] + '\n')
	tmp_f.close()

def rebootHa():
	subprocess.call("/usr/local/etc/rc.d/haproxy reload", shell=True)

# Writes data from files to stik-tables
def insertDataTables(table):
	tmp_f = open('/tmp/tmp.' + table,'r')
	c = socket.socket( socket.AF_UNIX )
	c.connect("/var/run/haproxy.sock")
	c.send("prompt\r\n")
	for line in tmp_f:
		line = line.split(',')
		print "set table " + table + " key " + line[0] + " data.server_id " + line[1]
		c.send("set table " + table + " key " + line[0] + " data.server_id " + line[1]  +"\r\n")
		c.recv(10240)
	c.close()

restart()

Что еще?

Еще можно гибко управлять тем, на какие сервера проксировать тех или иных клиентов. Делать это можно на основании логина, ip адреса, сети, времени суток и т.п.

Я же приведу пример как на основе групп из AD можно разбить сервера фермы по отделам, например:

два сервера для Бухгалтерии

два сервера для Маркетинга

два сервера для Продажников

два для всех остальных.

Понятно, что в каждой группе серверов могут быть различные мощности: установленное ПО и какие-то специфические настройки, поэтому мы их разделим.

HAProxy позволяет на основании определенных политик гибко определять к какому серверу подключать пользователя, имея одну точку входа для всех RDP подключений (что несомненно удобно).

Для это необходимо немного модифицировать конфиг HAProxy и скрипт перезагрузки:

#/usr/local/etc/haproxy.conf
global
daemon
stats socket /var/run/haproxy.sock mode 600 level admin
stats timeout 2m

defaults
log     global
mode tcp
option tcplog
option  dontlognull

frontend fr_rdp
  mode tcp
  bind *:3389 name rdp
 #timeout client 1h
  log global
  option tcplog
  tcp-request inspect-delay 2s
  tcp-request content accept if RDP_COOKIE
  acl Accounting_ACL rdp_cookie(mstshash),bytes(0,6) -m str -i -f /usr/local/etc/haproxy/Accounting
  acl Marketing_ACL rdp_cookie(mstshash),bytes(0,6) -m str -i -f /usr/local/etc/haproxy/Marketing
  acl Sales_ACL rdp_cookie(mstshash),bytes(0,6) -m str -i -f /usr/local/etc/haproxy/Sales

  use_backend  Accounting_BK if Accounting_ACL
  use_backend  Marketing_BK if Marketing_ACL
  use_backend  Sales_BK if Sales_ACL
 default_backend DF_RDP

backend DF_RDP
  mode tcp
  balance leastconn
  log global
  option tcplog
  stick-table type string len 32 size 10k expire 8h
  stick on rdp_cookie(mstshash),bytes(0,6)
  option tcp-check
  tcp-check connect port 3389
  default-server inter 3s rise 2 fall 3
  server TS01 172.16.50.11:3389 weight 10 check
  server TS02 172.16.50.12:3389 weight 10 check

backend Accounting_BK
  mode tcp
  balance leastconn
  log global
  stick-table type string len 32 size 10k expire 8h
  stick on rdp_cookie(mstshash),bytes(0,6)
  option tcplog
  tcp-check connect port 3389
  default-server inter 3s rise 2 fall 3
  server TS03 172.16.50.13:3389 weight 10 check
  server TS04 172.16.50.14:3389 weight 10 check

backend Marketing_BK
  mode tcp
  balance leastconn
  log global
  stick-table type string len 32 size 10k expire 8h
  stick on rdp_cookie(mstshash),bytes(0,6)
  option tcplog
  tcp-check connect port 3389
  default-server inter 3s rise 2 fall 3
  server TS05 172.16.50.15:3389 weight 10 check
  server TS06 172.16.50.16:3389 weight 10 check

backend Sales_BK
  mode tcp
  balance leastconn
  log global
  stick-table type string len 32 size 10k expire 8h
  stick on rdp_cookie(mstshash),bytes(0,6)
  option tcplog
  tcp-check connect port 3389
  default-server inter 3s rise 2 fall 3
  server TS07 172.16.50.17:3389 weight 10 check
  server TS08 172.16.50.18:3389 weight 10 check

listen stats
 bind *:9000
 mode http
 stats enable
 #stats hide-version
 stats show-node
 stats realm Haproxy\ Statistics
 stats uri /

модифицированный скрипт перезагрузки:

#!/usr/bin/env python
import sys
import ldap
import socket
import re
import subprocess

ldapDomain = ''
ldapUser = ''
ldapPass = ''
ldapDN = '' # OU=GROUPS,DC=domain,DC=tld'
haproxyConf = '/usr/local/etc/haproxy.conf'
action = sys.argv[1]

# Get users from Active Directory Groups and store it to files
def getADGroups():
	l = ldap.open(ldapDomain)
	l.simple_bind_s(ldapUser,ldapPass)
	f = open('/usr/local/etc/haproxy/' + groupName,'w')

	results = l.search_s("cn=%s, %s" % (groupName, ldapDN), ldap.SCOPE_BASE)
	for result in results:
		result_dn = result[0]
		result_attrs = result[1]
	 	if "member" in result_attrs:
			for member in result_attrs["member"]:
				f.write(member.split(',')[0].split('=')[1] + '\n')
	f.close()
	restart()

# Searching stik-tables to save it and to restore after reload
def restart():
	backends = []
	with open(haproxyConf) as f:
		for line in f:
			lines = line.split(' ')
			if lines[0] == 'backend':
				backends.append(lines[1].strip('\n'))
	for backend in backends:
		getDataTables(backend)
	rebootHa()
	for backend in backends:
		insertDataTables(backend)

# Writes data from stik-tables to external files
def getDataTables(table):
	print table
	tmp_f = open('/tmp/tmp.' + table,'w')
	tableVal = {}
	c = socket.socket( socket.AF_UNIX )
	c.connect("/var/run/haproxy.sock")
	c.send("prompt\r\n")
	c.send("show table " + table + "\r\n")
	d = c.recv(10240)
	for line in d.split('\n'):
		if re.search('^[a-zA-Z_0-9]',line):
			line =  line.split(' ')
			del line[0]
			for item in line:
				key = item.split('=')[0]
				val = item.split('=')[1]
				tableVal[key] = val
			print tableVal['key']
			print tableVal['server_id']
			tmp_f.write(tableVal['key'] + ',' + tableVal['server_id'] + '\n')
	tmp_f.close()

def rebootHa():
	#pass
	subprocess.call("/usr/local/etc/rc.d/haproxy reload", shell=True)

# Writes data from files to stik-tables
def insertDataTables(table):
	#pass
	tmp_f = open('/tmp/tmp.' + table,'r')
	#tableVal = {}
	c = socket.socket( socket.AF_UNIX )
	c.connect("/var/run/haproxy.sock")
	c.send("prompt\r\n")
	for line in tmp_f:
		line = line.split(',')
		print "set table " + table + " key " + line[0] + " data.server_id " + line[1]
		c.send("set table " + table + " key " + line[0] + " data.server_id " + line[1]  +"\r\n")
		c.recv(10240)
	c.close()

if action == 'restart':
	restart()
if action == 'group':
	groupName = sys.argv[2]
	getADGroups()

Как это работает:

В AD создаются группы (и наверняка такие группы уже есть) Accounts, Marketing и Sales, в эти группы помещаются сотрудники. Скрипт подключается к AD и получает список сотрудников по выбранным группам. Список сотрудников сохраняется в файл с именем группы.

В конфиге HAProxy настроены ACL источником которых являются эти файлы групп. Если в группу добавляется новый сотрудник, необходимо выполнить скрипт для обновления файла группы.

Прокси проверяет, есть-ли логин в указанном файле. Если есть, отправляет на определенный для этой группы бакенд. Все очень просто!

Параметры запуска скрипта:

haproxy.py group group_name — перезагрузка группы, текущие сессии при этом не обрываются.

haproxy.py restart — перезагрузка процесса (перечитать конфиг), при этом текущие сессии не обрываются.

Отказоустойчивость

Ее нет!

В данном примере решение не обладает никакой отказоустойчивостью.

Во первых, не зарезервирован haproxy.

Во вторых, решение с записью значений «клиент-сервер» в stick-table не позволяет haproxy подключать пользователей к живым серверам, чьи записи уже есть в таблице, и сервер к которому они были подключены в данным момент недоступен. Он тупо будет пытаться отправить их на сервер из таблицы, несмотря на то, что он не в сети.

Первое, резервирование haproxy можно сделать различными способами.

Один из них — модифицированый скрипт перезагрузки. В него можно добавить копирование и загрузку сохраненных таблиц на другом haproxy, с запуском этого скрипта переодически по крону.

Спасибо vasilevkirill, есть встроенное решение, которым он поделился в комментарии

habrahabr.ru/post/335872/#comment_10369854

Второе сложнее. Нужен механизм, который бы точно определял, что с сервером. Сервер может по каким то легальным и не очень причинам быть не доступен по сети некоторое время, скажем 1 минуту, к примеру. Но при этом иметь открытыми все RDP сессии. И если мы решим, что сервер больше не доступен, и нужно всех пользователей переключать на другие сервера, то можем получить несохраненные данные, клиенты могут потерять большой обьем работ и тп.

Технически же, реализовать очистку stick-table не вызывает трудности. Для отслеживания состояния серверов можно использовать различные мониторинговые системы. В том же Zabbix, по событиям можно вызывать локальные скрипты.В нашем случае можно вызывать скрипт очистки stick-table.

В заключении, с учетом тех недостатков, которые я указал выше, HAProxy работает очень стабильно и надежно.