Сплиттер элементов видеоряда с предсказанием

Тема в разделе "WASM.GRAPHICS", создана пользователем Paguo_86PK, 16 мар 2017.

  1. Paguo_86PK

    Paguo_86PK Руслан

    Публикаций:
    0
    Регистрация:
    8 окт 2007
    Сообщения:
    686
    Адрес:
    Ташкент
    Давнo интересует (с момента прочтения плюшек mpeg-4 / mpeg-7) проблема одна.
    Вот в DivX/XviD кодеках можно настроить компрессор на два прохода. Однако, на практике, существенного преимущества мною замечено не было.
    Чтобы быть проще, объясню на пальцах, какой результат я ожидаю.

    Шаг №1: Формирование заднего плана.
    Допустим, на заднем плане идёт некая панорама, которая незначительно во времени изменяется в деталях. Но общий её вид и план - качественно стабилен.
    Тем самым, на первом проходе компрессор исследует весь поток в целом, составляя коллекция панорам заднего плана. Даже если ключевые кадры часто сменяются друг другом, кодек определяет это и группирует их в одну отдельную целую панораму.
    Всё это в итоге запишется в отдельный сегмент файла.
    Шаг №2: Определение действующих персонажей.
    Теперь весь поток пересматривается вновь и на уже составленной карте фона выделяются действующие активные ключевые фигуры. Тем самым, если некто на протяжении всего видео ходит в красной майке и синих трусах, кодек помечает его "Падишах" :blum2:
    И так составляется весь словарь и сценарий участия персонажей в отведённых промежутках.
    Шаг №3: Распознание мелких деталей.
    На конечном этапе всё пересматривается в комплексе и выявляются незначительные детали: Надписи на футболках или рекламных щитах, номера автомобилей, названия брендов, текст книг или писем, мигание сигнализации или тиканье часов в конце концов…
    Что поможет в последующем как скрыть нежелательную текстовую информацию, так и продублировать её, например. Или замазать торговые марки брендов. Или, напротив, уточнить их и выделить чёткостью.

    P.S.: Есть ли нечто подобное уже?
    Например, если мне на важен вид сцен и текста, а важна суть действий персонажей, то в самом начале подгружаемого фильма все могут активно двигаться в пустых или смазанных пространствах и помещениях, которые 100% подгрузятся позднее (если комната фигурирует 3 раза, то на втором показе она будет загружена на 90%; если 10 раз, то к пятому - на 75%, и т.д…)
     
    Последнее редактирование: 16 мар 2017
  2. UbIvItS

    UbIvItS Active Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    2.995
    Paguo_86PK, точно не скажу, но задача очень сильно тянет под использование НС (нейросетей).
     
  3. UbIvItS

    UbIvItS Active Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    2.995
    впрочем, сейчас есть плагины для видеочатов (типа маскарадной }{thb) -- копай там.
     
  4. _edge

    _edge Active Member

    Публикаций:
    1
    Регистрация:
    29 окт 2004
    Сообщения:
    414
    Адрес:
    Russia
    Paguo_86PK, многие вещи уже написаны, вопрос их найти забесплатно. Я встречал персональную страницу одного человека, на которой он предлагал среди прочих for-fun и бесплатных своих поделок, платную программу для удаления логотипа с картинок, с примерами использования - выглядело классно. Но сейчас, боюсь, не найду ее. Это по п.3. По п.2, в софте современных мобильных телефонах используются алго опознавания очертания лица и улыбок. Вообще, софт в майфунах поражает - на неподвижной оптике делать размытие и наведение резкости на определенную часть изображения, в реальном времени, без артефактов присущих резкостным алго - мощно. Но описываемые алго, ясное дело, без открытых исходников. Мощный софт используется в системах контроля скорости на дорогах - там требуется в реальном времени опознать заляпанный номер машины, в движении.

    UbIvItS прав, тут что-то наподобие систем с обучением используется, то есть их "тренируют" на куче примеров, предварительно.

    Есть немного фильтров здесь http://compression.ru/video/public_filters_ru.htm

    А для реализации (хотя бы приближения) к выполнению поставленных вами задач, это придется целый фреймворк делать. Чтобы "ваять", а не программировать, в непосредственном понимании. Как в среде vvvv, там "рисуют" алго, соединяя входы-выходы нод (nodes), и в тут же имеют возможность созерцать изменения в поведении "программы". Кстати, имеет смысл поиграться с vvvv, может к каким соображениям придете ) https://ru.wikipedia.org/wiki/Vvvv
     
    Последнее редактирование: 17 мар 2017
  5. UbIvItS

    UbIvItS Active Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    2.995
    ну, это едва ль особо большая проблема ==>> тема копалок данных / интеллектуальных кодеков сейчас очень актуальна и при наличие интересных идей подключиться к целевым проектам вполне можно. Главной тут проблемой является, что для таких кодеков обычного компа очень маловато будет, ибо сия керь крайне прожорлива по ресурсам.
     
  6. Paguo_86PK

    Paguo_86PK Руслан

    Публикаций:
    0
    Регистрация:
    8 окт 2007
    Сообщения:
    686
    Адрес:
    Ташкент
    Читaл про них :boast:
    Как и остальные пользователи VirtualDub, пробовал множество из тех фильтров, когда учился писать свои :dirol:
    Спасибо! Скачал - поставил (под виртуалкой). Сильно тормозит и пока ничего не понятно (как при знакомстве с 3D-Max) :blush2:
    А я и не говорил про сносную пропускную способность :derisive:

    Пусть висит сутками, только не тупо с единственным прогресс-баром, как стандартный кодек. А плодит кучу промежуточных avi-файлов с отдельными актами и пр… :to_clue:
    (Это - из разряда не частного случая, как вы понимаете, а из области облачных вычислений с хорошим ИИ. Мне интересно, существуют ли подобные проекты?
    Музыкальные отпечатки уже заносятся в базы. Надо и с кинематографом, рано или поздно, начать разбираться. Но не в рамках "домашней лаборатории" конечно, наверное)

    P.S.: Как-то пробовал гугл-карты захватывать по PrintScreen своей программой, чтобы отдельные фрагменты мозайки сложить в один большой bmp своего района, например…
    Споткнулся на первом же шаге: Определения стыков нового фрагмента "паззла" к уже имеющимся в буфере.
    (Надо бы заняться снова, с нуля. Так как имеется уже некоторый опыт. А независимое "велосипедо-строение" - тоже ведь кайф :acute: )
     
    Последнее редактирование: 18 мар 2017
  7. UbIvItS

    UbIvItS Active Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    2.995
    хухль, ой-би-эм, дарпа (не к ночи сию скверну поминать XD) ==>> копалки данных сейчас всех интересуют.
    Ты слишком оптимистичен: такие Задачи на-ура кладут супер компы в fckin' endless loop :))) думаешь зря сейчас так размечтались про квантовые компы? :) Однако, простая математика нам какбе показывает, что от км толку будет практически Зеро. дажь ежель взять кубит с устойчивостью 99%, км тупо переходит в разряд лото-машины :D