Tech Recipe Book
My Services
  • Book
    • About the author
    • Architect
      • Algorithms
        • DB index algorithms
          • How does database indexing work
        • Neural network optimization
          • Neural Network Optimization
        • Route search
          • Road network in a database to build a route
          • Traveling Salesman Problem (TSP)
      • Architecture Frameworks
        • DODAF
        • TOGAF
        • Enterprise Architecture (EA) Tools Reviews 2023 | Gartner
      • Zero Trust
      • Billing
        • SHM billing system
      • Bots
        • Discord
        • Telegram
          • Chat GPT Telegram bot
          • Получаем статистику Telegram-канала при помощи api и python или свой tgstat с регистрацией и смс
          • Как хостить телеграм-бота (и другие скрипты на Python) на Repl.it бесплатно 24/7
          • Создание Telegram бота на PHP #1: основные понятия для работы с API
          • Создание Telegram бота на PHP #2: создание первого бота для Telegram
          • Создание Telegram бота на PHP #3: примеры отправки сообщений с кнопками в Telegram
          • Создание Telegram бота на PHP #4: отправка файлов и изображений в Telegram
          • Создание Telegram бота на PHP #5: работа с хуками
      • Business intelligence
      • Cloud Storage
        • Ceph
        • Virtual Distributed File System
      • Cryptography
        • Open Source PKI Software
        • OpenPGP
          • Email Encryption
          • Kleopatra
          • Miscellaneous Tools
          • Server side applications
      • Message broker
        • Kafka
          • Kafka UI-tools
          • Kafka streams ksqlDb
        • RabbitMQ
      • DB
        • MySQL
          • Auto sharding
          • MariaDB Zabbix monitoring
          • MySQL and MariaDB replication with Zabbix monitoring
        • Postgres
          • HA PostgreSQL with Patroni, Haproxy, Keepalived
          • Mass parallel requests - Greenplum
          • PostgreSQL cluster for development and testing
        • Vitess - Scalable. Reliable. MySQL-compatible. Cloud-native. Database.
      • Identity and Access Management (IDM)
        • FreeIPA - Identity, Policy, Audit
        • FreeIPA as an Enterprise solution
        • Keycloak
          • Keycloak HA cluster
        • Open Identity Platform
        • SSO
          • Keycloak for Java app
          • OpenAM
          • OpenIG
      • Firewall
        • nftables
      • Infrastructure As a Code
        • Ansible
        • IaC Packer Ansible Teraform
        • Installing Jenkins using terraform in Kubernetes in Yandex Cloud with letsencypt
        • Teraform Crosplan Pulumi
        • Yandex IaC solutions
      • Kubernetes
        • Installation
          • Install Kubernetes cluster
          • Deploying a Kubespray cluster to OpenStack using Terraform
          • Kube deploy in Yandex cloud
        • Frameworks
          • Deckhouse
            • LDAP authentification
            • On premise Install
            • Yandex Cloud Install
          • K3S
          • OpenShift OKD
          • RKE2
          • Rancher
            • Rancher Install
        • Auth
          • Keycloak in k8s
          • LDAP
        • GUI management Lens
        • Monitoring
          • Monitoring with Falco
          • Network monitoring
          • Nginx ingress
          • Prometheus Graphana for sample Nodejs app
          • Rsource monitoring Avito
        • Exposing services
          • Exposing Kubernetes Services
          • Cilium BGP
        • CNCF
        • Helm
          • Repositories
            • Artifact Hub | official
            • Bitnami | vmware
          • Awesome helm charts and resources
          • Essential Services for Modern Organizations
          • Security and Compliance
          • Additional charts
        • Isolation
          • vcluster - Virtual Kubernetes Clusters
          • Kiosk
          • KubeArmor
          • Control Plane Hardening
          • Hierarchical namespaces
        • Security Center
          • Minesweeper
          • NeuVector by SUSE
          • SOAR in Kubernetes
          • Security Сenter for Kubernetes
        • Terraform CI security
          • Terraform plan analysis with Checkov and Bridgecrew
          • Yandex Terraform scan
        • Vulnerability management
          • Aqua
          • Sysdig
          • Kyverno
          • GitLab
          • NeuVector by SUSE
        • Image scanning
          • Snyk
          • Sysdig
          • Harbor
          • Trivy
        • Signature verification
          • Sigstore
        • Control plane security
          • Gatekeeper
            • Applying OPA Gatekeeper
          • Kyverno
            • Policy as a code. Kyverno
        • Runtime Security
          • Osquery
          • Falco
          • ClamAV
        • Network security
          • Cilium
          • Control Plane Hardening (API restriction)
          • Network policy recipes
          • Service mesh
            • Istio HA, LoadBalance, Rate limit
          • mTLS Autocert
        • Honeypot
          • Building honeypot using vcluster and Falco
        • Backup
          • Kasten K10
        • Secrets
          • Vault CSI Driver
      • Load Balance
        • Nginx
        • HAProxy
          • Proxy methods
          • HAProxy for RDP
          • Payment gateway A/B test with HAProxy
          • HAPRoxy for Percona or Galera
      • Monitoring
        • Zabbix
          • Apache Zabbix
          • Disc Quota
          • Nginx Zabbix
          • SSL certificates Zabix
          • Zabbix notifications
        • Nagios
          • Datacenter monitoring
        • Prometheus and Grafana
      • Windows
        • Sysmon enhanced Windows audit
        • Sysmon to Block Unwanted File
      • Linux
        • Rsync
        • Debian based
          • Apt-Cacher NG
          • Unattended Upgrades in Debian / Ubuntu
        • RedHat basede
          • RPM Server
        • Logs analysis
        • Build armhf qemu
      • NGFW
      • CI/CD
        • DevSecOps
          • DAST
            • Burp
              • Dastardly
            • StackHawk
            • ZAP and GitHub Actions
          • SAST
            • Checkmarx
            • OSV by Google
            • Snyk
            • SonarQube
        • GitLab Runner in Yandex Cloud
        • Dynamic Gitlab Runners in Yandex Cloud
        • GitLab runner in Kubernetes with Werf
        • Kubernetes deploy strategies
        • Kubernetes highload deploy. part 1
        • Kubernetes highload deploy. part 2
        • Kubernetes Argo Rollouts
        • Jenkins in Kubernetes
        • Ansible Semaphore
        • Image storage, scaning and signing
        • Install WireGuard with Gitlab and Terraform
        • CI/CD example fror small web app
        • Threat matrix for CI CD Pipeline
      • SIEM / SOC
        • Datadog
        • Splunk
          • Splunk — general description
        • MaxPatrol
          • MaxPatrol 8 and RedCheck Enterprise
        • QRadar IBM
        • Cloud Native Security Platform (CNAPP) - Aqua
        • OSSIM | AT&T
          • AlienVault (OSSIM) install
        • Wazuh
        • EDR
          • Cortex XDR | Palo Alto Networks
          • Cynet
          • FortiEDR | Fortinet
          • Elastic
        • Elastic
          • Install Elasticsearch, Logstash, and Kibana (Elastic Stack) on Ubuntu 22.04
          • Setting Up Elastic 8 with Kibana, Fleet, Endpoint Security, and Windows Log Collection
        • Threat Intelligence
          • MISP
          • msticpy Microsoft
          • X-Force | IBM
          • Elastic
      • VPN
        • Full-Mesh VPN fastd, tinc, VpnCloud
        • Wireguard
          • WireGuard for Internet access
          • WireGuard on MikroTik and Keenetic
          • WireGuard site to site
        • SoftEther VPN Project
        • Cisco AnyConnect client
        • OpenConnect
        • SSTP python server
      • OS hardening
        • CIS Benchmarks
      • Cloud Providers
      • OpenNebula
        • OpenNebula Edge Cloud - Open Source Cloud & Edge Computing
        • Discover OpenNebula – Open Source Cloud & Edge Computing Platform
        • OpenNebula Multi-Cloud
        • Kubernetes on OpenNebula
        • The Open Source Alternative to Nutanix
        • The Simple Alternative to OpenStack
        • OpenNebula Partner Ecosystem
      • OpenStack
        • Install manual
        • Install with DevStack
      • VM
        • Create a VHD file from a Linux disk
        • Backup / Migration
          • Coriolis
          • Proxmox Backup Server
        • oVirt
        • VMware vCenter
        • Proxmox
      • Docker
        • Container optimization
        • Ubuntu RDP container
      • LXC
        • LXD on Ubuntu 18.04
        • Install, Create and Manage LXC in Ubuntu/Debian
    • Big Data
      • OLAP data qubes
      • Storage and autoscale in Lerua
    • Machine Learning
      • Yandex YaLM 100B. GPT model
      • Kaggle Community Datasts Models
      • AI in video production
      • Image search
      • Chat bots
        • You.com
        • Chat GPT
          • Implementing GPT in NumPy
        • Jailbreak Chat
      • Coding plugins CodeWhisperer
    • Malware
      • Isiaon/Pitraix: Modern Cross-Platform Peer-to-Peer Botnet over TOR
      • theZoo A repository of LIVE malwares
    • Pentest
      • Red Team
        • MITRE ATT&CK matrix
        • C2 Frameworks
          • Brute Ratel C4
          • Cobalt Strike
          • Covenant
          • Havoc Framework
          • Merlin
          • Metasploit
          • Sillenttrinity
          • Sliver
        • Manage and report
          • Dradis Framework
          • Hexway
        • Underground
      • Social engineering
        • Social Engineer Toolkit setoolkit
      • OSINT
        • OSINT for comapny
        • Instagram fishing
      • Forensics
        • Forensics tools
      • Pentesting Methodology
      • Web
      • CI/CD Methodology
      • Cloud Methodology
        • Hacking The Cloud
      • Kubernetes Pentesting
      • Android
        • SSL Unpinning for Android applications
      • iOS
        • SSL unpinning iOS and macOS applications
      • HackBar tool
      • CyberChef Tools
      • Python virtualenv
      • IppSec - YouTube
      • Hacktricks.xyz
    • Compliance
      • 152 ФЗ. Personal data
      • PCI DSS and ГОСТ Р 57580.1-2017
      • Cloud compliance
      • ГОСТ Р 57580.1-2017 для Kubernetes
      • Kubernets as DevSecOps and NIST compliance
      • NIST SP 800-61 cyberincidece control
      • CIS Kubernetes Benchmark v1.6 - RKE2 v1.20
      • CIS Kubernetes Benchmark v1.23 - RKE2
      • Requirements for Russian Banks
      • Tools
        • Chef InSpec
        • Elastic SIEM
    • Asset management
      • CMDBuild
    • Project management
    • Incident management SRE
    • Risk management
      • IT risk management
      • BSI-Standard 200-3
    • Web Dev
      • Cookie security
      • OWASP Top 10 2021
      • Docker nginx php mysql
      • Docker tor hiddenservice nginx
      • Docker Compose wp nginx php mariadb
      • Dependency Checking
        • Nexus Analyzer
        • OWASP dependency-check
      • Yii skeeks cms
      • YiiStudio
    • Art
      • GTK Themes
      • Themes for Xfce Desktop
      • XFCE / Xubuntu Windows 95
      • Moscow events
      • Photo goods
      • Russian style gifts
    • Cryptocurrency
      • News
      • Arbitrage
      • Stocks
      • Exchange aggregators
      • Where to use
      • Prepaid cards
        • BitFree
        • Pyypl Your Money at Your Fingertips
    • IT magazines
      • WIKI and Writeups tools
        • BookStack
        • GitBook
        • MkDocs
        • Wiki.js
        • DokuWiki
    • Languages
    • Learning
      • (ISC)2
        • CISSP
      • Offensive Security
        • OSCP
        • OSEP
        • OSED
      • DevSecOps
        • Certified DevSecOps Professional (CDP)
        • Certified DevSecOps Expert (CDE)
      • Web Security Academy: PortSwigger
    • Relocation
      • London experience
      • IT visas in 2022
      • Remote work
      • Running business in UAE
    • Freenet
      • Independent online services: the philosophy of a free Internet
      • Tor Project Anonymity Online
      • I2P Anonymous Network
    • Services
      • SMS Registration
        • Registering ChatGPT in Russia
      • Local and regional eSIMs for travellers - Airalo
      • Digital busines cards
      • No KYC services and exchanges
Powered by GitBook
On this page
  • Сюжет
  • Отрисовка
  • Первая часть
  • Вторая часть
  • Третья часть
  • Четвертая часть
  • Пятая часть

Was this helpful?

  1. Book
  2. Machine Learning

AI in video production

Last updated 1 year ago

Was this helpful?

2022 год уходит. Чем же он нам запомнился? Несомненно, одно из важнейших достижений года - ChatGPT, самая спорная вещь в комьюнити. Кто-то говорит “зачем такое создавать, роботы скоро оставят миллионы журналистов, писателей, блогеров, креаторов без работы”, другие же напротив, считают эту сетку огромным прорывом, ведь она умеет много чего и даже больше, ведь недаром сам Google запаниковал, что поисковики могут стать совсем не актуальны.

Вишенка на торте - это, конечно, Stable Diffusion от компании Stability AI. Эта нейронная сеть была выложена в открытый доступ, что сразу привлекло внимание всех разработчиков. Сейчас можно найти миллионы сайтов-клонов, которые продают возможность генерировать картинки. Причем для этой самой сетки было выложено в открытый доступ десятки моделей, которые рисуют картинки в уникальных стилях, что привлекает тысячи людей следить за разработками данной компании.

Иногда меня посещает желание научиться пользоваться графическими редакторами по типу photoshop и делать крутые анимированные видео в Blender, однако не всем дано красиво рисовать или представить в голове сценарий и сделать из него фильм. Но недавно я решил попробовать сделать небольшое видео на тему роботизации человека с помощью нейронных сетей.

Сюжет

Да, сейчас на хайпе ChatGPT с её невообразимо огромным количеством знаний в разных сферах. Однако за помощью я решил прибегнуть к немолодому проекту AiDungeon. Он генерирует истории и ситуации исходя из диалога с человеком, при этом есть возможность выбрать мир, где будут происходит действия. Для начала нужно выбрать ситуацию, где будут проходит действия, затем тип персонажа. Я выбрал: cyberpunk и нахожусь в ситуации от лица робота-андроида.

P.s. сюжет будет на английском языке, так как сетки понимают лучше запросы на нём, чем на другом языке.

  • Вот такой сюжет у меня получился

    Начало: As you stand protecting a shipment you realize something is moving slowly towards you from the darkness.

    "Oh great Yori, it is one of them." You think as the tall one advances slowly with a large stick.

    Me: You say "hello, I'm a robot, and who are you? let's be friends"

    AI: This one laughs. "You are the reason why our kind will be extinct in 200 years. What a joke." Yori fires his laser pistol at the advancing figure, and it goes down.

    Me: You say "run away from me scary robot. I'll fire my laser sniper rifle."

    AI: The other robot begins to move faster towards you and you fire your rifle at it. The laser blast hits it in the leg and it goes down.

    Me: You capture the robot.

    AI: You capture the robot. Yori lets out a little bit of air, but you quickly put the android in a holding position and secure it with a locking mechanism.

    Me: You say "Give up robot. Your species must not destroy our planet."

    AI: The robot laughs. "You are nothing but a slave who knows nothing of our planet. You have no idea how advanced our society is, and we will rise to conquer your primitive and worthless planet."

    Me: You say "What do your robots look like?"

    AI: "Well, most of us are made of a metal alloy which provides us with a flexible design that allows us to fit in tight spaces.

    Me: You say "Describe to me all the weapons you have?"

    AI: "We have a large inventory of different types of weapons. Laser pistols, sniper rifles, particle cannons, grenade launchers, etc.

    Me: You start a gunfight with the robot.

    AI: Yori fires his laser pistol, and the robot goes down. "What the?" He says "I've never been hit before!"

    Yori fires again, and the robot goes down.

Сам сценарий у нас есть. Пока что такой сценарий полноценно не закинешь в ИИ для отрисовки. Поэтому я буду выбирать куски диалога, перефразировать их или описывать для ИИ, как я их вижу, а ИИ будет помогать мне генерировать видео/картинки.

Отрисовка

Первая часть

  • Перефразирование первой части

    Начало: As you stand protecting a shipment you realize something is moving slowly towards you from the darkness. "Oh great Yori, it is one of them." You think as the tall one advances slowly with a large stick.

    В нейросеть пойдёт следующее описание:

    A full-length Yori robot, who was dressed very strangely, came out of the darkness towards me.

И вот что ИИ сгенерировал мне по моему запросу

GIF первой сцены

Что-то такое интересное есть в работе нейронки, сначала был робот (даже с надписью "Yori") затем сцена меняется, и начинают появляться роботы из тени. Это все напоминает эффект "воспоминаний", который зачастую применяют в фильмах. Мне понравилось, хотя и не совсем то, что описывалось в тексте. Поставлю 8/10 этой гифке.

Вторая часть

  • Перефразирование второй части

    Me: You say "hello, I'm a robot, and who are you? let's be friends"AI: This one laughs. "You are the reason why our kind will be extinct in 200 years. What a joke." Yori fires his laser pistol at the advancing figure, and it goes down.Me: You say "run away from me scary robot. I'll fire my laser sniper rifle."AI: The other robot begins to move faster towards you and you fire your rifle at it. The laser blast hits it in the leg and it goes down.

    Текст для нейросети:

    The robot Yori fires a laser gun at the approaching robot figure, causing it to fall.

GIF второй сцены

Робот, у которого из головы идёт лазер, который в свою очередь имеет такой радиус поражения - достойно. Не похоже на описание "лазерный пистолет", но на 7/10 тянет.

Третья часть

  • Перефразирование третьей части

    Me: You capture the robot.AI: You capture the robot. Yori lets out a little bit of air, but you quickly put the android in a holding position and secure it with a locking mechanism.

    Текст для нейросети*:*You capture the robot. Yori lets out a little bit of air, but you quickly put the android in a holding position and secure it with a locking mechanism.

GIF третьей сцены

Ну вообще не то. Хотя в начале я подумал, что в руке у него какая-то ловушка, но дальше всё пошло совсем не так (это лучшая из 5-ти попыток генерации). Оценю в 3/10 такую генерацию.

Четвертая часть

  • Перефразирование четвертой части

    Me: You say "Give up robot. Your species must not destroy our planet."AI: The robot laughs. "You are nothing but a slave who knows nothing of our planet. You have no idea how advanced our society is, and we will rise to conquer your primitive and worthless planet."

    Текст для нейросети*:*Our robots will rise up and take over the entire planet. Robots will become the main ones on this planet.

GIF четвертой сцены (1)

  • GIF пришлось немного сжать так как habr не разрешает более 5мб файлы грузить.

Да, именно так нейросеть увидела борьбу роботов на планете. Выглядит немного странно и не ясно, где же тут борьба, но мне понравилось, поставлю 8/10 по моим ожиданиям.

GIF четвертой сцены (2)

Вторая версия мне понравилась куда больше (уже на 9/10 тянет). Тут и Земля и робот, который пытается захватить землю, и второй более мелкий робот.

Пятая часть

  • Перефразирование пятой части

    Me: You say "What do your robots look like?"AI: "Well, most of us are made of a metal alloy which provides us with a flexible design that allows us to fit in tight spaces.

    Текст для нейросети*:*(так и оставим):

    Well, most of us are made of a metal alloy which provides us with a flexible design that allows us to fit in tight spaces.

  • Изображения роботов по описанию ИИ

    Робот 1

    Робот 2

    Робот 3

    То, что сгенерировала нейросеть, полностью оправдало мои ожидания, тут я на все 10/10 согласен с нейронной сетью.

    Шестая часть

    • Перефразирование шестой части

      Me: You say "Describe to me all the weapons you have?"AI: "We have a large inventory of different types of weapons. Laser pistols, sniper rifles, particle cannons, grenade launchers, etc.

      Текст для нейросети*:*

      We have a large inventory of different types of weapons. Laser pistols, sniper rifles, particle cannons, grenade launchers, etc.

    • Боевой арсенал роботов

      Оружие робота 1

      Оружие робота 2

      Оружие робота 3

      Робот с хвостом-пилой побил все мои ожидания, получилось очень... странно... Но на 8/10 такое футуристичное вооружение тянет.

      Финал

      • Перефразирование финала

        Me: You start a gunfight with the robot.

        AI: Yori fires his laser pistol, and the robot goes down.

        "What the?" He says "I've never been hit before!"

        Yori fires again, and the robot goes down.

        Текст для нейросети*:*

        Duel of robots with pistols.

      Эта картинка не столько показывает само сражение, сколько передает тона и настроение финальной битвы с кровавыми оттенками. Это лучшая генерация картинок из всех возможных, которые я пытался сделать для видео (безусловно 10/10).

      Саундтрек

      Озвучка

      Как проходил процесс озвучки?

      Я просто подобрал нужный мне голос и озвучил текст. В качестве диктора был взял голос Герольта из Ривии (из игры Witcher 3), голос главного героя: Джин из игры League of Legends, голос второго робота Якоб.

      Итог

      Вот такое видео получилось, если склеить все детали воедино:

      Видео не получил прям кинематографичным, нет спецэффектов, нет связанного сюжета в самом видеоряде. Создание полноценного контента с использованием ИИ на данный момент затруднительно. Но уже проглядывается тенденция на использование ИИ для создания вставок в видеоролики (на которые не надо будет теперь тратить часы, чтобы сделать красивую заставку для голоса); можно использовать синтез речи для озвучки контента (не надо нанимать дикторов и тратить кучу денег для переозвучки контента на разные языки); каждый может почувствовать себя (важно! именно почувствовать, а не стать) автором красивой истории, которую поможет написать ИИ.

      Есть хорошие примеры видео с использованием технологий ИИ, однако всех их объединяет одно - ИИ пока трудно справляется с запоминанием контекста и воссозданием полноценного неразрывного контента.

      Советую каждому попробовать собственноручно поиграть с нейросетями и оценить их мощь. Уже интересно, что же будет нас ждать в 2023 году и каких высот смогут достигнуть нейронные сети в будущем?

      P.s. Будем верить, что развитие технологий не станет причиной повышения безработицы, а лишь поможет людям открыть новые возможности и создавать то, что еще не было доступно человечеству никогда раньше.

Для создания картинок мне на помощь пришел Stable Diffusion, а именно картинки я буду генерировать , а видео буду генерировать на этом :

Какое же видео без саундтрека? В этом нам поможет мини-программа на . Сам саундтрек можно будет оценить в итоговом видео. Он идеально подходит для такого видео.

Для озвучки я буду пользоваться сервисом . Так же попробовал их . И там и там удобно, однако я остановился на веб-версии платформы.

https://habr.com/ru/articles/707556/
здесь
коллабе
HuggingFace
SteosVoice
телеграм бота