Бессерверные распределённые БД. Что курить?

Тема в разделе "WASM.HEAP", создана пользователем blacktelecom, 19 дек 2011.

  1. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    Здравствуй, Wasm.
    Есть вот какой проблема:
    Слышал, немцы из IIP трудятся над распределённым хранилищем данных без серверов. Это как?
    Читал википедию, но я скорее поверю в шайтана, чем написанное в там текст.

    Вот скажи, как это можно реализовать?

    Пусть есть данные, да обозначу их D, a, b, c, f,g,h, причем D можно считать целостным, если оно состоит из a,b,c, но "c" является частью g, которая состоит из F+H.

    Пусть Имеем 4 участника.
    Четвертый хочет D вот прям щас и опрашивает у кого че есть.

    Он внезапно находит g за время T1.
    Тот, кто знает где g, отдаёт ссылку на алгоритм сборки c, о котором знает участник2
    Участник4 собирает C за время T2 и ищет A и B
    Участник3 говорит, что A он сам отдаст, а B лежит у участника1
    Получена A, участник4 лезет к участнику1 за последней B, но участник1 умирает по непонятной причине.
    Участник4 НЕ СОБРАЛ D.

    А что если время сборки T1+T2+..Tn тоже критично?

    Как решать такие проблемы? Делать больше участников?
    Что читать?
     
  2. paralvic

    paralvic Пархоменко Александр Викторович

    Публикаций:
    0
    Регистрация:
    20 ноя 2010
    Сообщения:
    294
    Адрес:
    Нижний Новгород
    Тогда четвертый берет В из кэша;)
    А вообще зачем ему эта В, которая никому больше не нужна;)
    Очень торрент сети напоминает.
     
  3. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
    распределенные базы связаны с распределенными системами.
    каждый участник имеет некую часть общей базы. пересекающуюся или нет - не важно.
    он проверяет ее и проецирует в общую плоскость. туда же монтирует аналогичные плоскости машин с которыми соединен. одну из плоскостей назначает под запись если надо.
    потом, этот стек предоставляется другим машинам.
    машина что ищет видит единую плоскость в точке монтирования
    если вам не охота ждать пока немцы изобретут, можете попробовать на своем компе(-ах) уже.
    ru-blog
    старая вика (новая счас висит по неуплате)
    хабр + еще
    хороший ебук. не варез

    если сильно много не понятно, то для начала это

    paralvic
    торрент - одна, отдельно взятая особенность распределенных сетей. но не полностью. есть узловые серверы. ищутся доп узлы. связь только прямая.
     
  4. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    >B не нужна

    Без значения B не соберется значение D. Про B знал единственный участник, который умер.

    Строго говоря, есть ли возможность противостоять смерти участников?
    То есть, я не знаю конкретно, будет ли завтра жить тот или иной узел в сети, а данные нужны всем и всегда.

    UPD.: у немцев денег нету, решившему проблему - 300 евро премия. Печаль.
     
  5. valterg

    valterg Active Member

    Публикаций:
    0
    Регистрация:
    19 авг 2004
    Сообщения:
    2.105
    Раз это критично - надо отслеживать уникальные данные и дублировать. По пословице "запас Ж... не тянет" :)
    Но опыт того же торрента показывает: если данные не пользуются спросом - они "умирают".
    Выход один - архивировать их на надежный СЕРВЕР. УВЫ.
     
  6. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
    blacktelecom
    лнк
    ну и + рид-соломон + сохранение сразу на нескольких узлах + рейт присутствия/заполненность

    страшна тут не проблема. страшна тут лень
     
  7. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    valterg
    >300 евро

    Нету у нас денег на сервер. Я к этим немцам ушёл. Вот так, да. А задачу решать надо.

    Я вот думаю в другую сторону: представлять данные так, чтобы по некоторым общим чертам их можно было восстановить.
    Пусть существует некоторый алгоритм, который сможет представить B как f(x)=B+k; То есть куча участников знает где взять x, другая куча знает как вычислить k ( избыточные мусорные данные, которые могут нести некоторую смысловую нагрузку ).

    Не знаю, тут думать надо, вот и написал сюда.
     
  8. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    zxcv
    А ведь и правда. Годно. Спасибо.
     
  9. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
  10. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
    blacktelecom
    только не забывайте, что копирайт технологии беллабов. а сейчас у гугля.
     
  11. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    zxcv

    Я сейчас курю доки по Inferno. Это чудо техники. Похоже, это ответ на многие вопросы

    >хотя, может вы изобретете чтото лучше за е300?

    Да мне не нужно вознаграждение, я за репутацию работаю. Мне надо теперь помогать им часто, участвовать в проектах.
     
  12. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
    последнее творение волшебной фирмы беллабс. вышло в '96, сразу перед банкротством. с тех пор допиливается фриками и еще живыми сотрудниками белов. формально принадлежит витанове (университет ёрка. англия)
    угу. "как ломануть сайт сидя в парке на лавочке с сотового телефона". "как связаться по п2п для какихто целей в 2 команды" итд

    некрасивый интерфейс не дает использовать для обычных гуи-прог. может, хоть вы рисовать любите-умеете?
     
  13. blacktelecom

    blacktelecom New Member

    Публикаций:
    0
    Регистрация:
    8 ноя 2010
    Сообщения:
    235
    zxcv
    GUI-то тут причем? Вы вообще о чем в этом посте? Хотите сказать я из той категории быдла что ищет готовые решения в виде "О, вот эта либа мне подходит, и пох как она работает"?
     
  14. zxcv

    zxcv New Member

    Публикаций:
    0
    Регистрация:
    30 дек 2011
    Сообщения:
    257
    blacktelecom
    инферно имеет и гуи тоже (wm/wm ). но оно проектировалось "до кучи" в начале 90х. все работает, но некрасиво выглядит. а охота использовать и для юзермода (и для гамалок. какая платформа для мморгов быть может!)
    не не. таким инферну нельзя казать. бестолку. с ней и нормальным крышу сносит в попытке заглотнуть сразу все.