Samara24.Форум /Компьютеры Интернет Связь / Программное обеспечение /

Распределенные вычисления в домашних условиях. Как

Печать RSS Деревом

shaa
activist
Сообщений: 366
07.10.06 12:53
Собственно вопрос. Появилась проблема, из-за отсутствия денег - хочу заниматся монтажем видео, но мои попытки это делать на моем домашнем цел450, показали что это не совсем правильно.

При этом есть локалка с некоторым количеством Больших компьютеров. большую часть времени занимающихся всякой фигней

Как вариант мне человек в свое время сделал ремоте доступ к своей машинке - так я даже что-то делал, но все равно были ограничения в плане экспериментов с кодеками...

А теперь вопрос: Существует общедоступная система под win32 позволящая скажем вести расчет видео распределенно или вообще есть какие нить способы распределения каких либо вычислений на несколько машин без глубокого изучения курса параллельных вычислений на ЭВМ?
КопироватьСсылка
Рассказать друзьям
alextnt
guru
Сообщений: 8649
08.10.06 06:59Ответ на сообщение Распределенные вычисления в домашних условиях. Как пользователя shaa
как минимум на сел450 можно только видео смотреть, но не монтажить.
Нужно для начало подумать об апгрейде....
КопироватьСсылка
Рассказать друзьям
Ельцин
experienced
Сообщений: 931
09.10.06 07:03Ответ на сообщение Re: Распределенные вычисления в домашних условиях. Как пользователя alextnt
дык человек о том и говорит, что свою тачку он хочет использовать как хост машину, а кодированием/монтажем чтоб занимались более мощные, предоставленные ему в пользование.
вот такая загагулина получается...
КопироватьСсылка
Рассказать друзьям
aglow
wii-й
Сообщений: 39161
09.10.06 07:23Ответ на сообщение Re: Распределенные вычисления в домашних условиях. Как пользователя Ельцин
Для видео такого не встречал...
В Сети часто распределенные вычисления используются, когда надо перелопатить кучу информации. В таком случае эта куча делится между участниками и каждый обрабатывает свой участок. Т.е. тысяча машин за день обработают столько сколько одна за тысячу дней...

ЗЫ. Когда-то видео обрабатывали и на более слабых машинах. Может стоит поискать ПО трубующее меньших ресурсов. Кодирование конечно займет больше времени, но помница примерно на таком аппарате за ночь вполне кодил в МПЕГ2 3-х часовой исходник...
Основной принцип моего существования — служение гуманистическим идеалам человечества!
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
09.10.06 08:01Ответ на сообщение Re: Распределенные вычисления в домашних условиях. Как пользователя aglow
Я начинал кодировать с дивх4.0, а сейчас балуюсь 5-9 версией - скорость в разы отличается....
Просто как я думал, кодирование видео хорошо распареливается по процессорам( если верить тестам), а также просчет например в 3дмаксе, тоже неплохо в мультиядерности работает. Вот и подумал что такие задачи можно можно раскидать и по нескольким машинам...Типа прога автоматически делит дипазоны расчетов между машинами...
КопироватьСсылка
Рассказать друзьям
tpi
guru
Сообщений: 8043
09.10.06 10:13Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
В ответ на: просчет например в 3дмаксе, тоже неплохо в мультиядерности работает. Вот и подумал что такие задачи можно можно раскидать и по нескольким машинам
Что-то в этом ни какой логики нет...
"Самый мудрый внешне во всём подобен самому глупому", народная китайская мудрость.
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
09.10.06 10:27Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя tpi
логика есть. В обоих случаях паралельное вычисление. А делается это на ядре который на одном сокете с соседним, или на соседнем процессоре или на соседнем компьютере: разница будет только в способе взимодействия между ними (ну и следовательно в производительности)...
КопироватьСсылка
Рассказать друзьям
ganymed
просто пользователь
Сообщений: 18852
10.10.06 08:37Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
В данном случае есть один вариант - сменить свою систему на многоядерную.
Тогда должно сработать.
А для того, чтобы задействовать распределенные системы надо чтобы приложение это "умело".
Т.е. об этом должны позаботиться разработчики.
Ну или написать свое что-то.

"Nell'era Delle Сamminatore"
КопироватьСсылка
Рассказать друзьям
tpi
guru
Сообщений: 8043
10.10.06 09:07Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
В ответ на: на соседнем процессоре или на соседнем компьютере: разница будет только в способе взимодействия между ними
Ну да, как 2 пальца, переключил тумлер: на соседнем процессоре, еще раз - на соседнем компьютере...
Ты для примера хоть сравни скорость шины и скорость сети!
"Самый мудрый внешне во всём подобен самому глупому", народная китайская мудрость.
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
10.10.06 10:53Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя tpi
В ответ на: Ты для примера хоть сравни скорость шины и скорость сети!
А что тут такого: обработка пакета данных думаю будет занимать на порядки больше времени чем их пересылка.

Запускаем максимальное качество кодирования, уменьшаем требуемую полосу....

А вообще поискал по интернету.... студенты дергались по этому поводу - но там все застопорилось, хотя узнал что есть уже специальные SDK(или библиотики, интерфейс называется PVM) для распределённых вычислений(посты о этом 2 годичной давности). Плюс Адобе готовит подобную штуку для своих Эффектов в премьере :))) и IBM чтото творит

Но ни одного действующего экземпляра пока не нашел
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
10.10.06 13:40Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
прикольно:
про Adobe
и
примерно тоже самое
КопироватьСсылка
Рассказать друзьям
tpi
guru
Сообщений: 8043
10.10.06 13:41Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
Распределеные вычисления и параллельное обработка видио - это две большие разницы!
Если кто и делает что-то подобное, то скорее всего это для видеостудий и цена программного обеспечения будет с шестью нулями в баксовом исчислении.
"Самый мудрый внешне во всём подобен самому глупому", народная китайская мудрость.
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
10.10.06 15:43Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя tpi
что значит параллельное обработка видео?

если я создаю проект и разбиваю его на части, и каждую часть обрабатывает свой вычислительный блок - это что будет?

Насколько я знаю в Здмаксе под параллельностью понимается что один процессор вычисляет четные кадры, второй нечетные.

Чем отличается кластер из компьютеров от обычного соединения компьютеров локальности сети - только оптимизацией вычислительной мощности(специальные протоколы сети, комплектующие, програмное обеспечение)...ИМХО
КопироватьСсылка
Рассказать друзьям
shaa
activist
Сообщений: 366
10.10.06 16:47Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
PS. Прикинул маленько масштабы в свете выхода последних моделей процессоров. Предположим 1 коре дьо может кодировать видео в дивх примерно 50 кадров в сек на макс качестве. Это означает что если идет чистое кодирование в дивх то поток исходного видео в DV составит около 7-8мб сек, а это потолок для 100Мбит. Т.е. последние 3-4 года такую технологию кодирования видео врядли кто отрабатывал. Остается вариант существования супер кодеков, требующих на порядки больше вычислительных ресурсов чем дивх, но это уже мне кажется извращение - качества дивх довольно приличное.
Т.е. для видео остается только распределенный просчет эффектов на видео, что и сделала Adobe.

Остается еще 3D графика....Там точно такое должно быть....

PS. Прихожу к выводу что рядовому человеку такие технологии нафиг не нужны
КопироватьСсылка
Рассказать друзьям
ganymed
просто пользователь
Сообщений: 18852
12.10.06 08:32Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
Для однородной распределенной кластерной системы есть варианты библиотеки MPICH.
Библиотека существует для языков C++, Фортран и для Паскаля.

Мы как-то пробовали распараллелить одну математическую задачу с помощью этой библиотеки в классе из 16 ПК на базе Целеронов, объединенных в одну 100Мбит локальную сеть.
Скорость обработки увеличивается примерно в 1.5 раза.
Но это конкретная задача. Она была не сложной в плане распараллеливания.
А ведь это основная задача.
"Nell'era Delle Сamminatore"
КопироватьСсылка
Рассказать друзьям
Mihansk
Анонимный пользователь
16.10.06 09:52Ответ на сообщение Распределенные вычисления в домашних условиях. Как пользователя shaa
Делалось такое еще лет 8 или 10 назад. Запирали студию с 6-ю компами на выходные или на ночь, в 3D Max-е. На выходе - готовый рекламный ролик, если ничего не перепутали.
КопироватьСсылка
Рассказать друзьям
aleks_p
v.i.p.
Сообщений: 3921
17.10.06 17:27Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя shaa
ИМХО, требуется весьма недорогой апгрейд. Цифрую на целе 2,4 гнутом до 2,8 или 3 (в зависимости от сезона). Один диск - одна ночь..... Цена (с мозгами) в пределах 5-6 тысяч деревянных.
С уважением
КопироватьСсылка
Рассказать друзьям
ktak
activist
Сообщений: 179
30.10.06 13:16Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя ganymed
В ответ на: Мы как-то пробовали распараллелить одну математическую задачу с помощью этой библиотеки в классе из 16 ПК на базе Целеронов, объединенных в одну 100Мбит локальную сеть.
Скорость обработки увеличивается примерно в 1.5 раза.
На 16 ПК скорость возрасла всего в 1.5 раза? Так это, мягко говоря, неэффективное распараллеливание. А на двух ПК во сколько раз скорость возрастала?
My JID is ktak@jabber.sibnet.ru
Мой городок
КопироватьСсылка
Рассказать друзьям
ganymed
просто пользователь
Сообщений: 18852
30.10.06 14:54Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя ktak
Ну я про эффективность и не говорил.
К тому же была простая задача - проверить всю схему на простом примере.
"Nell'era Delle Сamminatore"
КопироватьСсылка
Рассказать друзьям
ganymed
просто пользователь
Сообщений: 18852
30.10.06 14:59Ответ на сообщение Re: Распределенные вычисления в домашних условиях. пользователя ktak
Да. Еще.
При увеличении кол-ва узлов в кластере (в нашем случае) эффективность, скажем так, не увеличивалась.
Т.е. наиболее эффективно вычисление шло при кол-во узлов от 2 до 4.
Но это, опять же, в нашем случае и при той схеме, которая у нас была.
"Nell'era Delle Сamminatore"
КопироватьСсылка
Рассказать друзьям