Low level programming

Тема в разделе "WASM.BEGINNERS", создана пользователем Nafanya, 17 дек 2019.

  1. Pavia

    Pavia Well-Known Member

    Публикаций:
    0
    Регистрация:
    17 июн 2003
    Сообщения:
    2.409
    Адрес:
    Fryazino
    UbIvItS, Вообще-то Идне абсолютно прав все современный так называемые ИИ это решение оптимизационной задачи. Те поиск максимума функции.

    Что касается просадки по качеству у Гугля, то это сделано специально. Так как раньше на платных каналах качество было огого. А сейчас на бесплатных бэээ. Мэнеджеры придержали проект, и технологию утратили. И это было до изобретения TPU. Что касается 8 бит то за счёт глубинного обучения вытянут.

    Абсолютно не поэтому. А потому что полный набор данных неизвестен либо превышает мыслимые размеры. Поэтому и ставится задача уметь предсказывать на неизвестных данных. Проблема в том что делать это мы не умеем. А вот сместить акцент в сторону увеличения качества расспознования в выбранном датасете легко.
    Да сетка получается перобученной, но это как раз в большинтсве случаев и нужно.
    Как следствие на неизвестных данных имеем рэндом. Причем это принципиально не решается. Но найти баланс в виде 1 ошибка на 1000 запросов для конкретного датасета просто.
     
  2. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.087
    тут я с Вами малёхо не соглашусь == чтобы говорить об оптимизации функции, нужны чёткие критерии оценки получаемого результата. если задачу описывать в виде системы лог уравнений, то (конечно) можно говорить об оптимизации функции по ключевым показателям, но такие функи даже при самой глубокой оптимизации роняют любой суперкомп :)
    полный набор данных по-любому не нужен и пример с попугаем показателен == алго хотя бы должен обозначить наличие речи в записи. мыслимые размеры, кстати, превышает не датасет, а метаданные. именно поэтому в большинстве случаев используются не системы лог уравнений, где потолок метаданных не имеет обозримых краёв, а схемы «угадай мелодию на кофейной гуще».
    в том-то и дело, что при гаданиях на кофейной гуще, как раз-таки и берут максимально фаворный датасет с жёстким отсевом всего прочего. к примеру, лишь сравнительно недавно хухль стал делать потуги для распознавания речи в музыке. вот, кстати, неплохой пример..
    https://youtu .be/MreIXQQhHmg?t=1101
    в эмоциональной речи идёт растяжение/обрыв звуков, тч угадайка отлично падает :) впрочем, и от языка зависит..

    на аглицком успехи действительно неплохие..

    1. используются более дорогие модели.
    2. сам аглицкий более удобен для такой автоматики == слова довольно короткие и состоят из достаточно ярко выраженных звуков.
    ====
    любопытны также примеры с речью/песнями на заднем фоне == идёт распознавание голоса на переднем плане..


    ЗЫ.. правда, не стоит забывать и другой момент == много аглицких песен и поп передач были отлично транскрибированны до всяких тамо ии и НИКТО не мешает использовать такой датасет для самопроверок нс-ок. ЧТО В ОПРЕДЕЛЁННОЙ МЕРЕ МОЖЕТ НЕЗАМЕТНО ПЕРЕХОДИТЬ В РАЗРЯД ЧИТЪЪЪ :grin: :blush2:
     
  3. Indy_

    Indy_ Well-Known Member

    Публикаций:
    4
    Регистрация:
    29 апр 2011
    Сообщения:
    4.775
    UbIvItS,

    Задача распознавания звуков довольно проста, так звук одномерен. Тоесть это лишь сигнал развёрнутый во времени, в отличие от изображений. Можно всякие применить фильтры и уже по базе найти ближайшее подобие, наверно оно так и распознаётся. А есчо нужно учитывать что произношение сильно изменяется и тут как раз поможет какой то фонетический разбор и прочее такое, что связывает отдельные слова. А вот с изображением такое не прокатит.
     
  4. Pavia

    Pavia Well-Known Member

    Публикаций:
    0
    Регистрация:
    17 июн 2003
    Сообщения:
    2.409
    Адрес:
    Fryazino
    UbIvItS, гугл распознаёт английский язык лучше только потому что у них датасет в 10 раз больше, чем для других языков. Единственное что удобно в английском это отсутствие склонений по подежам. Если в русском вам нужно распознавать буквенные n-граммы, то в аглийском можно распознавать слова целиком. По сути у них язык содержит избыточное кодирование из которого можно восстановить недостающие буквы.

    Никаких чётких звуков в английском нету. И вообще это от языка не зависит. В этом как раз основная проблема старые учёные насчитали кто 47 кто 54 а кто 57 звуков в русском языке против 33 букв. Но на деле их там больше гораздо больше. (14*13)*7*7=8918 чётких звуков, а вот нечётких и не счесть, но не более чем 2^84.
    Но даже база в 350 тб звуков хватает для распознавания всего на свете.

    Для английского достаточно найти паузы и ударные звуки применить между ними временное сжатие и поиск в этой большой базе известного решения. По словарю часто встречающихся слов разделить слитную речь на слова. Для русского из-за изменчивости его слов такое не прокатит. Любим мы склонять слова, так что так просто с хорошем качеством не получится. Вот для определенной отрасли частной задачи можно процент поднять где набор слов типовой.

    Прокатит. Есть база 1000 предметов и 1 миллион фотографий этих предметов. После появления глубинного обучения то бишь когда базу научились засовывать в нейронную сеть качество распознавание составило 85%, а после за 10 лет вышли на 97%.
    85% это 1 ошибка на 6 изображений, 97% это 1 на 32 изображения. Рост производительности компьютеров 1٫25 в год. Или что должно соответствовать 6*9=56
    Или что должно соответствовать 98% качеству распознавания. Этого хватает для начала практического применения.

    За это время датасеты подросли до 3000 предметов. Сейчас наверно и 10 000. Основных предметов порядка 40-100 тысяч. Плюс то что раньше на супер компьютерах запускалась сейчас перешло на персональные компьютеры и микрокомпьютеры.

    И чем больше датасет тем больше там шумов которые мешают правильному обучению.

    И вообще распознавать изображения уже не модно. Сейчас модно распознавать движения сел человек встали или навел на вас пушку.
     
  5. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.087
    да-вот, ладно == куча слов с очень чёткими звуками..
    bar, tar, car, tree, back, stack, mark, star..
    Вы тут абсолютно правы. :)
    и тут абсолютно правы. :)
    распознавание контекста/действий требует уЖО решения систем лог уравнений. тут-ки цЫфФрька крашится в свой физ предел. :)
     
  6. Indy_

    Indy_ Well-Known Member

    Публикаций:
    4
    Регистрация:
    29 апр 2011
    Сообщения:
    4.775
    UbIvItS,

    > распознавание контекста/действий требует уЖО решения систем лог уравнений.

    Зачем ?
    Благодаря памяти движение отображается статически в виде трека. В чём же проблема наложить обьект на картинку с выборкой по времени, а затем прогнать через нс как обычное изображение. Задача упрощается так как есть направления при движении.
     
    q2e74 нравится это.
  7. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.087
    тогда любое движение по заданному направлению будет расценивать за угрозу.
     
  8. M0rg0t

    M0rg0t Well-Known Member

    Публикаций:
    0
    Регистрация:
    18 окт 2010
    Сообщения:
    1.574
    Nafanya, а вы тот самый человек, что на старом васме рассказывали про С++ ? Типа что все неправильно пишут на нем, надо в институте учится и все такое.
    Так а уже оно так и есть. Считайте, вин7 больше не поддерживается, вин8 давно уже в прошлом. Осталась 8.1 (которая скоро тоже уйдет в небытие, т.к. фиг знает где стоит), и десятка (и соответствующий ей сервер 2019). А на десятке у нас что - на десятке у нас стоит виндеф, который в облаке не может обойти 99% малваре кодеров. А аверы пусть делают что хотят, Майкрософт их уберет вместе с малварой, да и все. Конечно, щас Каспер и прочие кукарекают за "монополию", но кто бы их слушал..
     
  9. Matan

    Matan Member

    Публикаций:
    0
    Регистрация:
    23 июн 2009
    Сообщения:
    203
    Некоторые люди до сих пор полуосью пользуются. Текущая версия ArcaOS (основанная на OS/2 Warp 4.52) за июль 2019. Один чел с неё музычку гоняет в Hi-End колоночки.

    ArcaOS (OS/2) - путь к аудионирване

     
  10. f13nd

    f13nd Well-Known Member

    Публикаций:
    0
    Регистрация:
    22 июн 2009
    Сообщения:
    1.955
    Matan, бук судя по всему какая-то вариация ThinkPad'а (ну очень дикое старье судя по отсутствию тачпада). Аудиошланг вставлен в то место, где у финкпадов аналоговый аудиовыход (встроенная звуковуха, очень понтово). Этот бук недостаточно ретро, чтобы быть ламповой ЭВМ (ну знаешь все эти ламповоусилительные фетиши), почему владелец решил, что воспроизводить с него звук круто? И главное при чем тут ОС, звук воспроизводит звуковая карта, нету никакой разницы даже в том, что за оборудование ей по цифровой шине данные доставит.
    --- Сообщение объединено, 20 янв 2020 ---
    ЗЫ: присмотрелся к усилку на заднем фоне. Эти покрытые нитридом титана ручки, эти огромные овальные лампы, вынесенные аж наружу. Мещанство, граничащее с цыганством.
     
  11. _edge

    _edge Well-Known Member

    Публикаций:
    1
    Регистрация:
    29 окт 2004
    Сообщения:
    631
    Адрес:
    Russia
    Какой слог!


    Очень спорный вопрос, граничащий с вендекапцом. Вин7 пользователи останутся с Вин7, также как армия пользователей ХР, которым end of support до лампочки (из ламповой ЭВМ). Остальным пользователям, чтобы как-то продолжать использовать это поделие с цифрой 10, не обновляя компы, остается либо искоренять вин-апдейт и вин-дефендер (чем они и занимаются, т.к. не каждый захочет по прихоти МС менять hdd на ssd, и добавлять ядер/гигов, чтобы хоть немного меньше оно лагало "изкоробки"), либо да, обновлять компы. По АВ, остается решить, Бесятка это такой троян, или у нее настолько мощное АВ, что не пускает ничего другого из АВ/троянов к себе? Я к тому, что на работе убиваюсь, пытаясь как-то это г на палочке с цифрой 10 клиентам настроить, чтобы лагало* меньше, и объяснять, что лагает, потому что там неискореняемый АВ/троян (нужное подчеркнуть).

    *чтобы меньше лагало, и чтобы функционал не пострадал, а то тут Скайп отвалится, там еще че вылезет в результате "оптимизации".

    Кстати, пишут, что добавление правил в сетевой экран 10-ки, с целью блочить телеметрию, не работает, т.к. в самом сетевом стеке захардкожено так, что эти адреса не заблочишь (привет Убивиц с его фильтрующим прокси на линукс).

    Имхо путь выживания МС - в новом каждые три года издании МСофисе, корпоративных доменных сетях и интеграции Линуховых ядер в Бесятку, но не в самой Бесятке (ее ISO вообще бесплатно дается чтобы скачать).
    Уберут (не уберут!) аверов, будет на каждый чих по новому Хромиум-based браузеру. Впаривать г и шпионить способы найдут. Сегодня созерцал Ccleaner Browser...

    Я пусть ненавижу импортозамещение, но вдруг АстраЛинукс допилят до вменяемости через пару-тройку лет? :)
    ( Вообще, вся эта тема с МС напоминает политику в России. Именно с ее набором критической массы своей недееспособности. Но политота не для Васм )



    Но это все оффтоп. По теме - уже пару лет люди веселятся, ставя голосовых помощников болтать друг с другом, например 2 умные колонки с Алисами. Из серии

    "сначала тебя не замечают"
    "затем смеются над тобой" <- вы находитесь здесь
    "затем боятся тебя"..

    Так что видео "New Robot Makes Soldiers Obsolete" якобы от Бостон Дайнамикс, лет через 10 может стать не таким и фейковым.
     
    Последнее редактирование: 20 янв 2020
  12. TermoSINteZ

    TermoSINteZ Синоби даоса Команда форума

    Публикаций:
    2
    Регистрация:
    11 июн 2004
    Сообщения:
    3.548
    Адрес:
    Russia
    Да все верно , уже как два года назад это стало приоритетным направлением. Даже придумали некую сущность - не 2д а 3д свертка. то есть свертка по времени (в данном случае кол-во кадров)

    Делал эксперименты с такими вещами. Удавалось довольно легко обучить сеть на какое-то одно действие с высокой вероятностью детекции. То есть примерно 97-98 % . Обучал на действие "пью кофе". Из интересного - за счет формы кружки можно делить действия - пью кофе или пиво.
     
  13. Indy_

    Indy_ Well-Known Member

    Публикаций:
    4
    Регистрация:
    29 апр 2011
    Сообщения:
    4.775
    Matan,

    > Текущая версия ArcaOS (основанная на OS/2 Warp 4.52) за июль 2019.

    Если атака на есчо одну ось(сколько же их уже..) будет стоить и будет нужна, то это всё быстро разберут на компоненты, что бы найти ошибки.
     
  14. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.087
    только отрезав бесятку от инета, можно её сделать приличной :)
     
  15. Rel

    Rel Well-Known Member

    Публикаций:
    2
    Регистрация:
    11 дек 2008
    Сообщения:
    5.250
    Ну тут мы столкнемся с проблемой вонакрая, выйдет какой-нить новый удаленный сплойт (по самбе там или любому другому сетевому протоколу) и все отрезанные от интернета тачки в локальной сети сразу станут уязвимы из-за одной, которая каким-то образом будет выставлена в интернет. Как бы с обновлениями остается некая надежда, что мелкомягкие успеют выпустить патч. Обновления через всус при этом не решают проблему утечки данных.
     
  16. Pavia

    Pavia Well-Known Member

    Публикаций:
    0
    Регистрация:
    17 июн 2003
    Сообщения:
    2.409
    Адрес:
    Fryazino
    Rel,
    Это называется взлом через чёрный ход. На вонно-край отрабатывали методику. А сейчас так ломают роутеры. С наружи его не вскрыть. А вот через комп хозяина запросто. У 50% стоит VPN который уязвим. Так что патч от майкрософта не поможет, так как вирусы будут у вас на роутере.
     
    UbIvItS нравится это.
  17. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.087
    1. бэкап.
    2. песочницы.
    3. не обижать лишний раз одмина == он хоть и незлопамятный, зато Злой и Память хорошая :)
    =======
    линь же тоже весьма далёк от непробиваемости + вонакрай под вынь мб удивительно дружелюбен к вайну :grin:

    ЗЫ..
    не удивлюсь, если скоро исчезнет даже сам намёк на такую надёгу :laugh1::laugh2::laugh3::crazy::crazy::crazy:
     
  18. M0rg0t

    M0rg0t Well-Known Member

    Публикаций:
    0
    Регистрация:
    18 окт 2010
    Сообщения:
    1.574
    Как же я жду, чтобы кто нибудь наконец-то закодил масс малварь под ту же убунту.. какой-нибудь воннакрай или краб под линукс. Причем с лпе-рце, чтобы вот так раз - и сразу во всех новостях писали, а линуксоиды с их "авер не нужен "," вендопроблемы" чистили бы свои сервера месяцами, параллельно думая, что бы продать, чтобы расплатиться по штрафам..
    И кто же сейчас сидит на ХР? Даже я с нее ушел на десятку, хотя, по факту, просидел 15 лет на этой ОС. Но если ни 1 прога не обновляется, + половина сайтов отвалилось из-за обновления ссл, то толку с такой ОС? Хочешь не хочешь, а сделаешь апгрейд. Так и с семеркой будет. Радует только то, что на торрентах выкладывают сборки вин10, где вырезают и юак, и защитник.. Т.е. оно почти как ХР работает.
     
  19. Indy_

    Indy_ Well-Known Member

    Публикаций:
    4
    Регистрация:
    29 апр 2011
    Сообщения:
    4.775
    M0rg0t,

    На XP есть сурки. Вот вам пример https://wasm.in/posts/415562/ задача лес тёмный, но по большей части хоть какую то обработку можно посмотреть. Все кто утверждает что то про XP это глупые троли которые ничего не понимают и не видели сурки ядра.
    --- Сообщение объединено, 25 янв 2020 ---
    M0rg0t,

    > Даже я с нее ушел на десятку

    Архитектура осталась не изменной, некоторые изменения - ядро стало более сложным, но не зная основ нет смысла что то смотреть более сложное. Под 10 не сурков, в ядре слишком много наворотов; незачем усложнять задачи, что работает на младших версиях, будет работать и на старших, а на оборот нет. Не адекватное обычно поведение тролей, которые поливают говном первую годную сборку нт, она отлично работает.
     
    M0rg0t нравится это.
  20. Rel

    Rel Well-Known Member

    Публикаций:
    2
    Регистрация:
    11 дек 2008
    Сообщения:
    5.250
    Ну это вряд ли с практической точки зрения возможно. У Линуксов зоопарк в плане софта и ядра, а для того, чтобы сделать действительно что-то существенное, нужно сплойтом подняться до рута. Чтобы сравниться с вонакраем, нужен сплойт для удаленного исполнения кодеса. Как бы обычно такие сплойты работают под строго определенные версии ядра и системных библиотек. Если учесть, что обновление всего софта, включая обновления ядра, проходит достаточно быстро и без перезагрузки, то мы сталкиваемся с проблемой, решать которую нецелесообразно ввиду того, что на десктопах Линуксы недостаточно распространены и сидят на Линуксах обычно люди, хоть как то разбирающиеся с системой. То есть разрабатывать вонакрай под Линукс слишком дорого в сравнении с потенциальным заработком от этого предприятия.
    --- Сообщение объединено, 25 янв 2020 ---
    Я правильно понял, Инде назвал деятку "первой годной сборкой венды"?