Четверг, 21.11.2024, 22:57Приветствую Вас Гость | RSS
Либрусек и все-все-все

 
[ Новые сообщения · Участники · Правила форума · Поиск · Список прокси · RSS ]
Флибуста | Книжное братство
HagenДата: Суббота, 05.12.2009, 19:06 | Сообщение # 1
Hagen von Tronje
Группа: Администраторы
Сообщений: 811
Статус: Offline
Итак, то, чего так долго все ждали, свершилось.

Флибуста отправилась в свободное плавание.

А этот раздел предназначен для всех вопросов, связанных с библиотекой, на случай если она будет недоступна.

По настоятельной просьбе добавляю расшифровку некоторых кодов состояния сервера (в частности, сообщений об ошибках).
Прочитайте и да не спрашивайте.



Прежде чем спрашивать
Цитата
Это только у меня Флибуста упала?! о_О
зайдите и проверьтесь сюда или сюда.

Sfinx сделал и любезно предоставил для публикации простейший индикатор статуса Флибусты, Coollib и Либрусека (если библиотека работает - зеленая птичка):

Для Флибусты 

Для Coollib

Для Либрусека


ВНИМАНИЕ, ЕСЛИ У ВАС РОССИЙСКИЙ ПРОВАЙДЕР

Способы обхода блокировок:



И читайте шапку, ей-богу!
Тему буду чистить. Эпичные посты оставлять в назидание.


«Sine ira et studio, impavide progrediamur»
 
SeNSДата: Среда, 01.06.2011, 19:13 | Сообщение # 601
Рядовой
Группа: Пользователи
Сообщений: 10
Статус: Offline
Quote (computers)
2 SeNS: я не страшный модератор, а страшный админ .

Админ - это стиль жизни, модер - хобби админа biggrin
 
FiLДата: Среда, 01.06.2011, 19:46 | Сообщение # 602
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
что-то у меня сомнения в том, что тут кто-то реально наоптимизирует производительность. Друпал пилит огромное количество народу в мире, а толку - нихрена. Жутко тормозной неповоротливый монстр. Но менять его на что-то другое (а что?) - это слишком много работы.
Но вот если кто библиотечный код портанет дле семерки, то это может быть интересно. Все-таки будет шаг в нужном направлении.

П.С. Порты - это фигня. Обычно база является узким местом. Запросы надо оптимизировать.
 
SeNSДата: Среда, 01.06.2011, 20:32 | Сообщение # 603
Рядовой
Группа: Пользователи
Сообщений: 10
Статус: Offline
Quote (FiL)
П.С. Порты - это фигня. Обычно база является узким местом. Запросы надо оптимизировать.

Может, ты и прав. Но все равно мне кажется, что оптимизировать нужно не книжную базу, а базу блогов/форумов. Чисто эмпирически - когда Ларин убрал блоги с главной страницы, либрусек сразу "зашевелился" (прекрасно это помню). Ну, и когда завсегдатаи, днюющие и ночующие в форумах и блогах посваливали на флибусту. Оговорюсь сразу - код флибусты/либрусека я не сморел, eddie скажет точнее.
 
FiLДата: Среда, 01.06.2011, 20:38 | Сообщение # 604
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
за книжную часть я ничего сказать не могу. А блогофорумы на друпале - это явно корявый код. С этим спорить сложно. Но и править его сложно, ибо это совсем сторонний код, который к тому-же обновляется отдельно. Так что если сам начинаешь править, то потом уже "официальные" патчи и апдейты не пришьешь.
Разнести блоги и книги - это задача интересная, но не знаю насколько реальная. В том числе и финансово.
 
SeNSДата: Среда, 01.06.2011, 20:42 | Сообщение # 605
Рядовой
Группа: Пользователи
Сообщений: 10
Статус: Offline
Филя, а вот скажи (ты-то больше в теме): дорого-ли будет стоить у нас готовый и быстрый хост под блогофорумы (ну, там, где продукт предлагается, а не просто хост с довесками)? Или такого вообще нет? Ларин что-то сказал, типа "не бывает". Но я не в теме, сам знаешь...
 
WebdiverДата: Четверг, 02.06.2011, 10:32 | Сообщение # 606
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
А если использовать для блогов распределенную систему? Например, Osiris (http://www.osiris-sps.org) ? Никто не рассматривал такой вариант? Народу, в принципе, много, в разных часовых поясах, так что система чисто теоретичестки должна работать стабильно 24/7. Я лично испытал данную штуку вчера вечером... Мне понравилось. Сыровато пока, конечно... Но наше пиратское будущее, имхо, именно за такими системами.

Сообщение отредактировал Webdiver - Четверг, 02.06.2011, 10:32
 
LordKiRonДата: Четверг, 02.06.2011, 11:50 | Сообщение # 607
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
Блоги -зло.
Форум это да, возможно.
Стивер говорил что блоги/форумы жрут манюсенький процент ресурсов. Ларин говорил что больше всего ресурсов уходит на упаковку. Это так , дайджест.
Лично я думаю что открывая книгу в read тоже ресурсов тратится не мало, там и распаковка и парсинг FB2 и конверт в HTML, но это так мое мнение. А вообще без статистики хрен поймешь где корень проблемы. Возможно просто достаточно базу оптимизировать понапихав индексов по наиболее часто ищущимся полям.


Я дурак - меня посадят.
 
IllarionДата: Четверг, 02.06.2011, 12:22 | Сообщение # 608
Сержант
Группа: Проверенные
Сообщений: 31
Статус: Offline
Quote (Webdiver)
А если использовать для блогов распределенную систему? Например, Osiris (http://www.osiris-sps.org) ? Никто не рассматривал такой вариант?

Штука, конечно, интересная, но чтобы она работала каждый пользователь должен загрузить на свою машину какую-то двоичную мерзость. Это, разумеется, сильно уменьшит нагрузку на сервер, поскольку многие пользователи не захотят ставить себе неизвестно что и предпочтут обойтись без блогов вообще и без Ф. в частности.
 
eddieДата: Четверг, 02.06.2011, 12:38 | Сообщение # 609
Сержант
Группа: Пользователи
Сообщений: 21
Статус: Offline
Quote (Illarion)
Штука, конечно, интересная, но чтобы она работала каждый пользователь должен загрузить на свою машину какую-то двоичную мерзость. Это, разумеется, сильно уменьшит нагрузку на сервер, поскольку многие пользователи не захотят ставить себе неизвестно что и предпочтут обойтись без блогов вообще и без Ф. в частности.

В таком варианте - да.
Но это может быть интересно для организации энтузиастами двусторонне синхронизированных зеркал в локалках, например. То есть основной сайт все равно публичный, а на нем есть список зеркал которыми можно пользоваться. Плюс кто-то может свободно организовать приватное зеркало.
 
WebdiverДата: Четверг, 02.06.2011, 14:37 | Сообщение # 610
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
Quote (Illarion)
Штука, конечно, интересная, но чтобы она работала каждый пользователь должен загрузить на свою машину какую-то двоичную мерзость.

Э-э-э-э.... А Вы весь софт на своем ПК собираете исключительно из исходников? притом собственноручно проверенных до последней строки на предмет "мерзостей"? Если да -- снимаю шляпу перед Вашим терпением и мастерством. Если нет... sapienti sat.

Чтобы попасть на флибусту в том виде, как она есть (ну, или как была, если быть точным sad ), большинство (я гарантирую это ! biggrin ) пользователей загружает на свою машину какую-нибудь двоичную мерзость (ака венду, браузер и т.д.), чтобы качать торренты тоже мало кто собирает клиент из собственноручно проверенных исходников, а в основном скачивают готовую инсталляху... И это НИКОГО, за исключением пары-тройки параноиков не повергает в панический ужас. Так что согласится с озвученной Вами причиной как основной, из-за которой люди предпочтут вообще отказаться от флибусты.... ну никак не могу.

Кстати, о торрентах... Если не только блоги, но и раздачу книг перевести на основу P2P (бессерверную-безтрекерную, разумеется, с помощью всяких DHT и прочих magnet`ов), то система станет ПОЛНОСТЬЮ распределенной и, следовательно, неубиваемой.


Сообщение отредактировал Webdiver - Четверг, 02.06.2011, 14:39
 
computersДата: Четверг, 02.06.2011, 14:57 | Сообщение # 611
Янус
Группа: Администраторы
Сообщений: 29908
Статус: Offline
Quote (Webdiver)
Если не только блоги, но и раздачу книг перевести на основу P2P

Не спорю, возможно, когда-то это и станет необходимо, но пока я предпочел бы надеяться на реинкарнацию Флибусты. И чтобы не на день, а на века biggrin . Насчет же распределенных сетей есть ОЧЕНЬ большая проблема - добавления новых книг. Как букмэйкеры будут согласовывать свои усилия? Потребуется, наверное, что-то еще. Уже наличие двух основных библиотек - Л и Ф породило значительные трудности в этой области, касающиеся пока в основном всего лишь синхронизации. А в Р2Р что будет?
Quote (Webdiver)
система станет ПОЛНОСТЬЮ распределенной и, следовательно, неубиваемой

Где-то я это слышал... а-а-а, Казаа рогатая... biggrin Неубиваемых систем, увы, не бывает. И соединенными усилиями всех нас нужно, как только можно, бороться против засилия авторского права в его нынешней, уродливой форме. Для того и создаются во многих странах "пиратские партии". А уходить в андеграунд - это только лишь временная, вынужденная мера. Я просто хочу напомнить, что проблема лежит не в плоскости программирования.

Админы, плз, обратите внимание на последнее сообщение Стивера:
http://librusec.ucoz.de/forum/26-237-50522-16-1307010409


IMHO — In My Humble Opinion
 
LordKiRonДата: Четверг, 02.06.2011, 15:23 | Сообщение # 612
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
Ну чисто теоретически возможно иметь один центральный сервер на котором ничего нет (в смысле книг), который переправляет в зависимости от нагрузки на вспомагательные. + К нему еще один аварийный куда переключается DNS если центральный дохнет. При загрузке книги грузятся на один вспомогательный и помечается что она там в базе центрального , затем книга с вспомогательного в бэкграунде копируется на другие вспомогательные и по окончанию операции копирования помечается на центральном что она и там есть. Примерно два раза в сутки база с центрального копируется на аварийный, хотя можно конечно и чаще и по эвентам.
На самом деле в таком подходе ничего сложного, только серверов надо много, да и делать никто все равно не будет.


Я дурак - меня посадят.
 
WebdiverДата: Четверг, 02.06.2011, 16:21 | Сообщение # 613
Рядовой
Группа: Пользователи
Сообщений: 4
Статус: Offline
Quote (computers)
Я просто хочу напомнить, что проблема лежит не в плоскости программирования.


Разумеется, я с Вами полностью согласен по этому ПОЛИТИЧЕСКОМУ вопросу. В плоскости программирования, к слову тоже проблем хватает, но они мне кажутся более решаемыми, чем проблема копирастии как таковой. Я, тоже с нетерпением жду возвращения старой, доброй флибусты, но, как говорится, на Аллаха надейся, а верблюда привязывай... И если наступит такой момент, что таки надо будет оказываться от централизации, то хотелось бы в такой ситуации быть ЗАРАНЕЕ готовым к переходу и иметь под рукой все необходимое, а не судорожно метаться в поисках хоть какого-нибудь выхода. Я не призываю немедленно переходить на Р2Р, я просто предлагаю продумать этот вариант ДО ТОГО, КАК...

ЗЫ: ИМХО, сформировавшееся вокруг Ф. сообщество само по себе представляет немалую ценность. Сохранится сообщество -- библиотека будет жить в любой форме, в какую бы ее ни загнали обстоятельства. Вот только, как показывает практика, при централизованной структуре с уничтожением сервера восстановить прежнее сообщество в полном объеме практически невозможно... люди банально не смогут друг друга найти. Данный форум в этом плане -- это очень и очень хорошо... но его тоже легко прикрыть. Распределенная система в этом смысле, имхо, имеет гораздо больше шансов на выживание.


Сообщение отредактировал Webdiver - Четверг, 02.06.2011, 16:35
 
eddieДата: Четверг, 02.06.2011, 17:03 | Сообщение # 614
Сержант
Группа: Пользователи
Сообщений: 21
Статус: Offline
Quote (Illarion)
Я бы попробовал оценить масштаб разрушений

Стоит ли тратить на это время?
"Поздно пить боржоми", как говорится. Гораздо проще с торрентов скачать недостающие книги.
 
LordKiRonДата: Четверг, 02.06.2011, 17:05 | Сообщение # 615
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
Не понимаю зачем в наше время при нынешних ценах на диски "жить" без зеркала.

Я дурак - меня посадят.

Сообщение отредактировал LordKiRon - Четверг, 02.06.2011, 17:05
 
Jolly_RogerДата: Четверг, 02.06.2011, 17:31 | Сообщение # 616
Грозный пират
Группа: Абордажная Команда
Сообщений: 244
Статус: Offline
Quote (LordKiRon)
Не понимаю зачем в наше время при нынешних ценах на диски "жить" без зеркала.


Кстати да, а можно поставить диск для бэкапа в raid1 в наш сервер?... Я так понимаю, что это - разовые затраты. Можно будет собрать без проблем, думаю.
 
IllarionДата: Четверг, 02.06.2011, 17:52 | Сообщение # 617
Сержант
Группа: Проверенные
Сообщений: 31
Статус: Offline
Quote (LordKiRon)
Не понимаю зачем в наше время при нынешних ценах на диски "жить" без зеркала.

Это когда Ваш сервер стоит у Вас под столом. В реальной жизни встречаются варианты когда провайдер за каждый дополнительный диск желает получать лишние $10-20/м-ц, а установка диска в сервер называется remote hands и стоит $150-200/ч.
 
LordKiRonДата: Четверг, 02.06.2011, 18:27 | Сообщение # 618
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
Quote (Illarion)
В реальной жизни встречаются варианты когда провайдер за каждый дополнительный диск желает получать лишние $10-20/м-ц, а установка диска в сервер называется remote hands и стоит $150-200/ч.

За диск там точно одноразовые платежи, я когда-то выяснял, а вот сколько берут за установку - не знаю.


Я дурак - меня посадят.
 
SfinxДата: Четверг, 02.06.2011, 18:57 | Сообщение # 619
Лейтенант
Группа: Проверенные
Сообщений: 72
Статус: Offline
Я так понимаю главная проблема варианта с центральными серверами на недорогих хостах - абузы. По чему бы в не обратить свой взор на такое чудо как i2p?
Для тех кто не в теме вот ссылки:
http://ru.wikipedia.org/wiki/I2P
http://lurkmore.ru/I2P
http://www.i2p2.de/index_ru.html
На мой взгляд можно поднять сервер, (что-то типо какосов), который доступен исключительно из i2p.
Явные плюсы лежат на поверхности:
1. Можно создать любое количество доступных зеркал и капирасты просто тупо не будут знать какому хостингу собственно слать абузы.
2. В сеть есть доступ из обычного интернета (так написано в википедии).
Минусы, увы тоже есть:
1. Пользователю все же желательно установить на свой комп "двоичную дрянь".
2. Нагрузки на сервер. I2p написан на яве и она, как мне кажется, будет жутко тормозить сервак.


С начало документация, потом настройка. НЕ НАОБОРОТ!!!
 
FiLДата: Четверг, 02.06.2011, 19:50 | Сообщение # 620
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
Quote (Stiver)
Мда. e2fsck с ключом -n (то есть якобы в режиме read-only) диск разрушил окончательно. Теперь его не видит даже fdisk.

fsck явно ничего не делает с диском такого, чтоб его fdisk перестал видеть. Так что явно диск просто физически того. Дохнет.

Quote (Illarion)
Работает точно также, за исключением: (1) большинство приложений работают немного медленнее, но "на глаз" это не заметно (зато нас осчастливили очередным "прорывом") и (2) большинство динамических библиотек ставится в двух вариантах: в /lib и /lib64 (но диски нынче дешевые).

Вынужден не согласиться. Во-первых, 32-битные библиотеки ставятся только если оно так нужно по каким-то причинам. У меня на большинстве серверов ставятся только 64-битные.
Во-вторых, медленнее работают ОЧЕНЬ НЕМНОГИЕ приложения. И многие таки работают быстрее. Самое плохое в том, что большинство кушает больше памяти. И вот это на сервере может сказаться гораздо хуже, чем остальное. НО! Никто не заставляет ставить 64-битные приложения. Можно поставить 32-битные php, apache, мускул и прочее. И проблем не будет. Так что от 64-битной системы никаких проблем не предвижу. Пускай будет smile

Что касается доступа к памяти за пределами 4 (в реальности 3 с копейками) гигабайт, то это имеет смысл только если в сервере есть эти гигабайты. Но что-то мне сомнительно.
 
eddieДата: Пятница, 03.06.2011, 06:01 | Сообщение # 621
Сержант
Группа: Пользователи
Сообщений: 21
Статус: Offline
По текущему состоянию флибусты: система настроена, софт для библиотеки, по большей части, установлен. Сейчас идет заливка книг из бэкапа.
 
ObabkovДата: Пятница, 03.06.2011, 07:47 | Сообщение # 622
Рядовой
Группа: Пользователи
Сообщений: 3
Статус: Offline
имя, брат, имя ...т.е. тьфу адрес брат адрес
или он не изменился???? а то мало ли
 
IllarionДата: Пятница, 03.06.2011, 11:18 | Сообщение # 623
Сержант
Группа: Проверенные
Сообщений: 31
Статус: Offline
Quote (Obabkov)
или он не изменился???? а то мало ли

Имена и адреса остаются без изменений. Когда сервер "оживет" сайт будет доступен по тому же имени, но в базе книг, блогах, форумах и пр., скорее всего, будут лакуны, пользователям зарегестрировавшимся в течении последних нескольких недель, возможно, придется перерегистрироваться.
 
AnnaVinДата: Пятница, 03.06.2011, 12:59 | Сообщение # 624
Солнечный Ёжик
Группа: Проверенные
Сообщений: 1624
Статус: Offline
Quote (eddie)
По текущему состоянию флибусты: система настроена, софт для библиотеки, по большей части, установлен. Сейчас идет заливка книг из бэкапа.

спасибо! smile


Проснулся на голой равнине
Был весь в синяках и ушибах
Нет, больше во сне не летаю...
 
Jolly_RogerДата: Пятница, 03.06.2011, 13:12 | Сообщение # 625
Грозный пират
Группа: Абордажная Команда
Сообщений: 244
Статус: Offline
Quote (Illarion)
Когда сервер "оживет" сайт будет доступен по тому же имени, но в базе книг, блогах, форумах и пр., скорее всего, будут лакуны, пользователям зарегестрировавшимся в течении последних нескольких недель, возможно, придется перерегистрироваться.


"Пострадавший отделался лёгким испугом!" (с)

Слава богу, всё более менее хорошо и будет ещё лучше... biggrin
 
Поиск: