А этот раздел предназначен для всех вопросов, связанных с библиотекой, на случай если она будет недоступна.
По настоятельной просьбе добавляю расшифровку некоторых кодов состояния сервера (в частности, сообщений об ошибках). Прочитайте и да не спрашивайте.
4xx: Client Error (Ошибка клиента)
Класс кодов 4xx предназначен для указания ошибок со стороны клиента. При использовании всех методов, кроме HEAD, сервер должен вернуть в теле сообщения гипертекстовое пояснение для пользователя.
400 Bad Request (Плохой запрос)
Запрос не понят сервером из-за наличия синтаксической ошибки. Клиенту следует повторно обратиться к ресурсу с изменённым запросом.
401 Unauthorized (Не авторизован)
Запрос требует идентификации пользователя. Сервер должен запросить имя и пароль у пользователя, а тот передаст их в заголовке WWW-Authenticate в следующем запросе. Если были указаны неверные данные, то сервер снова вернёт этот же статус.
403 Forbidden (Запрещено)
Сервер вернул ошибку 403 при попытке просмотра директории «cgi-bin», доступ к которой был запрещён. Сервер понял запрос, но он отказывается его выполнять из-за ограничений в доступе со стороны клиента к указанному ресурсу. Наиболее вероятными причинами ограничения могут послужить: Попытка доступа к системным ресурсам веб-сервера (например, файлам .htaccess или .htpasswd) или к файлам, доступ к которым был закрыт с помощью конфигурационных файлов.
Сервер не удовлетворён IP-адресом клиента (например, временная блокировка из-за частых обращений или же на этапе разработки приложения доступ разрешён только некоторым IP).
404 Not Found (Не найдено)
Сервер понял запрос, но не нашёл соответствующего ресурса по указанному URI. Если серверу известно, что по этому адресу был документ, то ему желательно использовать код 410. Ответ 404 может использоваться вместо 403, если требуется тщательно скрыть от посторонних глаз определённые ресурсы.
405 Method Not Allowed (Метод не применим)
Указанный клиентом метод нельзя применить к текущему ресурсу.
408 Request Timeout (Время ожидания истекло)
Время ожидания сервером передачи от клиента истекло. Клиент может повторить аналогичный предыдущему запрос в любое время.
410 Gone (Удалён)
Такой ответ сервер посылает, когда ресурс раньше был по указанному URL, но был удалён и теперь недоступен. Серверу в этом случае не известно и местоположение альтернативного документа (например, копии).
415 Unsupported Media Type (Неподдерживаемый тип данных)
По каким-то причинам сервер отказывается работать с указанным типом данных при данном методе.
Сервер успешно принял запрос, может работать с указанным видом данных, в теле запроса XML-документ имеет верный синтаксис, но имеется какая-то логическая ошибка из-за которой невозможно произвести операцию над ресурсом.
423 Locked (Заблокировано)
Целевой ресурс из запроса заблокирован от применения к нему указанного метода.
5xx: Server Error (Ошибка сервера)
Коды 5xx выделены под случаи неудачного выполнения операции по вине сервера. Для всех ситуаций, кроме использования метода HEAD, сервер должен включать в тело сообщения объяснение, которое клиент отобразит пользователю.
500 Internal Server Error (Внутренняя ошибка сервера)
Любая внутренняя ошибка сервера, которая не входит в рамки остальных ошибок класса 5xx.
501 Not Implemented (Не реализовано)
Сервер не поддерживает возможностей, необходимых для обработки запроса. Типичный ответ для случаев, когда сервер не понимает указанный в запросе метод. Если же метод серверу известен, но он не применим только к данному ресурсу, то нужно вернуть ответ 405 (Method Not Allowed).
502 Bad Gateway (Плохой шлюз)
Сервер в роли шлюза или прокси получил сообщение о неудачном выполнении промежуточной операции.
503 Service Unavailable (Сервис недоступен)
Сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее).
504 Gateway Timeout (Шлюз не отвечает)
Сервер в роли шлюза или прокси не дождался ответа от вышестоящего сервера для завершения текущего запроса.
505 HTTP Version Not Supported (Версия HTTP не поддерживается)
Сервер не поддерживает или отказывается поддерживать указанную в запросе версию протокола HTTP.
507 Insufficient Storage (Переполнение хранилища)
Не хватает места для выполнения текущего запроса. Проблема может быть временной.
509 Bandwidth Limit Exceeded (Исчерпана пропускная ширина канала)
Используется при превышении веб-площадкой отведённого ей ограничения на потребление трафика. В данном случае владельцу площадки следует обратиться к своему хостинг-провайдеру. В настоящий момент данный код не описан ни в одном RFC и используется только модулем bw/limited, входящем в панель управления хостингом cPanel.
Sfinx сделал и любезно предоставил для публикации простейший индикатор статуса Флибусты, Coollib и Либрусека (если библиотека работает - зеленая птичка):
Для Флибусты
Для Coollib
Для Либрусека
ВНИМАНИЕ, ЕСЛИ У ВАС РОССИЙСКИЙ ПРОВАЙДЕР
Способы обхода блокировок:
Веб-сервисы
По степени удобства веб-сервисы, предлагающие открытие заблокированных сайтов через прокси-серверы, не сильно отличаются друг от друга. Чаще всего они требуют всего лишь скопировать ссылку в строку на своей главной странице и сделать один клик. При этом они отображают нужную страницу с собственной шапкой и работают весьма медленно. Одним из самых лучших среди них является ProxFree. Он отличается простотой в использовании не добавляет собственную рекламу. Среди аналогов — Proxyweb и Hide My Ass.
Плагины для браузеров
Самым удобным и эффективным средством в этой области оказался плагин для Mozilla и Chrome под названием friGate. Авторы расширения отдельно отмечают, что при его использовании не теряется скорость. Он действительно работает «из коробки» и открывает страницы, заблокированные любым известным способом, оповещая пользователя о входе на «запретную территорию» одним лишь изменением иконки на панели управления. Скорость работы friGate обеспечена тем, что он открывает заблокированные сайты из собственного заранее составленного списка. Однако вряд ли это для кого-то станет проблемой: пополняется он максимально оперативно.
Кроме того, популярностью пользуются плагины Hide My Ass! для Chrome и Mozilla.
Настоятельно не рекомендую пользоваться плагинами hola!, так как услуга использует ваш собственный трафик для других пользователей, ее программные элементы обладают рядом уязвимостей, и время от времени ваш трафик продают для DDoS`a (см. хабрахабр).
Программы для Windows и Mac
TOR
Tor (The Onion Router) — свободное и открытое программное обеспечение для реализации второго поколения так называемой луковой маршрутизации. Это система прокси-серверов, позволяющая устанавливать анонимное сетевое соединение, защищённое от прослушивания. Рассматривается как анонимная сеть виртуальных туннелей, предоставляющая передачу данных в зашифрованном виде. С помощью Tor пользователи могут сохранять анонимность в интернете при посещении сайтов, ведении блогов, отправке мгновенных и почтовых сообщений.
Лично я категорически не рекомендую, из-за использования Java Runtime - программной платформы, исключительно уязвимой для вирусов и вредоносного кода. Однако желающие могут почитать и установить.
VPN это обобщенное название сети или соединения, которое создано внутри или поверх другой сети, например сети Интернет. Как правило, так называют созданную защищенную сеть или туннель внутри незащищенной сети Интернета. В самом простом виде VPN представляет собой туннель из VPN клиента, установленного на компьютере пользователя и VPN сервера. Внутри этого туннеля, средствами VPN, осуществляется защита, шифрование и изменение данных, которыми обменивается компьютер пользователя и веб-сайты или веб-сервисы в сети Интернет. Для чего нужна подобная защита и в чем ее плюсы? В некоторых случаях VPN нужен для того, чтобы скрыть свой реальный IP адрес и стать "анонимным". В других случаях он нужен для того, чтобы скачать нужный файл из другой сети, которая не разрешает доступ с IP адресов страны, в которой находится пользователь. Третий вариант - это необходимость шифрования трафика передаваемого с компьютера пользователя до точки назначения и так далее.
Существует множество VPN сервисов, как платных, так и бесплатных. В случае бесплатных - рекомендую OpenVPN. Из платных, вот свежая подборка лучших сервисов от TorrentFreak и The Pirate Bay рекомендует FrootVPN.
И читайте шапку, ей-богу! Тему буду чистить. Эпичные посты оставлять в назидание. «Sine ira et studio, impavide progrediamur»
Дата: Понедельник, 06.06.2011, 04:29 | Сообщение # 651
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
не, репликация по цепочке точно не вариант. Мы получим в итоге цепочку разных состояний, при этом ни одному из них нельзя будет верить. Ну нафик такую схему.
На счет rsync-a файлов - зависит от структуры каталогов на сервере. Идеального зеркала не будет, конечно. Будет некоторое отставание. Но в отличии от базы, отставание файлового архива на пару часов - это не проблема. Я-бы таки советовал идти именно по этому пути - обычный rsync. Естественно, если IO на сервере позволит хоть с какой-то приемлемой периодичностью прогонять этот самый rsync.
Ну а по поводу разнесения фронт и бэк-ендов на разные сервера, особенно с бекэндами "на домашних серверах", то это просто смешно. Если поставить сервер, способный выдержать подобную нагрузку у себя дома я и смогу (хотя и не факт, что захочу), то обеспечить необходимый трафик домашний сервер никак не сможет. А уж если это всё загонять в шифрование.... В общем, я не верю в хотя-бы приблизительную реальность подобного подхода.
Дата: Понедельник, 06.06.2011, 12:36 | Сообщение # 653
Рядовой
Группа: Пользователи
Сообщений: 7
Статус: Offline
Quote (AnnaVin)
злостный офф: очень хочется увидеть одно слово: "заработало!!!!"
Ну вот, увидел Ваше -"заработало!!!" и Л тоже упал. Не делайте так больше
А по поводу синка файлов с зеркалами, почему не пойти по пути скрипта запускаемого на зеркале и собирающего новые файлы. Зеркало само знает что оно уже забрало, а что еще нет. Кол-во попыток забрать ограниченно только разумом. У меня такой скрипт крутится на crone каждые 55 мин. После удачного "забирания" ид книги пишется в обычный тхт, может быть и ДБ. Скрипт прост до одури, но со своей задачей справляется на ура. При наличии множества зеркал, если они в режиме рид онли, ничего не мешает запустить проверку в цикле при падении майна, если одноиз зеркал забрало раньше - все остальные подтянутся. Если зеркало способно принимать файлы, то тут уже обратка идет, маин должен знать о новом файле и забрать его для раздачи другим.
Сообщение отредактировал DokaMax - Понедельник, 06.06.2011, 12:37
Дата: Понедельник, 06.06.2011, 13:11 | Сообщение # 654
Грозный пират
Группа: Абордажная Команда
Сообщений: 244
Статус: Offline
Quote (FiL)
Ну а по поводу разнесения фронт и бэк-ендов на разные сервера, особенно с бекэндами "на домашних серверах", то это просто смешно.
Вовсе нет. Это вообще-то реально работающая схема - для проектов немассового спроса... Но Флибуста, с её семью-восемью сотнями одновременных посетителей, да, на ней не выживет. Просто граничные условия другие...
Quote (DokaMax)
При наличии множества зеркал, если они в режиме рид онли, ничего не мешает запустить проверку в цикле при падении майна, если одноиз зеркал забрало раньше - все остальные подтянутся.
Ключевая фраза - болдом. Тут оригинал вторую неделю поднимаем, имея опыт, а сколько уйдёт на зеркало у человека в первый раз взявшегося?... Множество зеркал возможно только при наличии готового комплекта "воткнул-и-заработало". ...Ну, вы поняли, о чем я.
Дата: Понедельник, 06.06.2011, 14:19 | Сообщение # 656
Янус
Группа: Администраторы
Сообщений: 29908
Статус: Offline
Quote (LordKiRon)
Создать имедж под VMWare и раздавать торрентом
Как же это возможно? А разница по железу? Да и гостевая ОС будет больше тормозить... Уж лучше тогда создать имедж диска, например, Акронисом. Такие установочные акронис-имеджи для винды существуют. А для Линуха есть что-то аналогичное? IMHO — In My Humble Opinion
Дата: Понедельник, 06.06.2011, 14:50 | Сообщение # 657
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
Quote (computers)
Как же это возможно? А разница по железу? Да и гостевая ОС будет больше тормозить... Уж лучше тогда создать имедж диска, например, Акронисом. Такие установочные акронис-имеджи для винды существуют. А для Линуха есть что-то аналогичное?
1. Именно так и возможно. А тормозить немного больше гостевую конечно будет. 2. А вот Акронисом будет разница по железу. 3. Кстати VMware есть и для линуксов, в отличие от того же Акрониса. Вообще недостатки есть но такой подход работает, вообще большинство дешевых shared hosting (если не все) это как раз виртуальные машины по VMWare. Можешь поиграться с http://www.vmware.com/products/player/overview.html - урезаная версия и только для винды бесплатная. Впрочем при всем что я сказал выше это все равно не очень хорошее решение, хотя и возможное , в отличие от остальных и наиболее лизкое к тому что ты предложил.. Я дурак - меня посадят.
Сообщение отредактировал LordKiRon - Понедельник, 06.06.2011, 14:53
Дата: Понедельник, 06.06.2011, 15:33 | Сообщение # 659
Сержант
Группа: Пользователи
Сообщений: 26
Статус: Offline
Начинать по хорошему нужно не с этого а самого малого: в объявлении на Ф написано: "... произошел сбой системного диска... ". В этом вся соль - собрать немножко и поставить второй диск на который отмапить тот кусок /var где живёт собственно Ф (база, ну и если всё что дОлжно в chroot'е, то и всё остальное). Тогда сбои системного диска не будут вызывать таких последствий. Да и синхронизироваться будет проще.
Сообщение отредактировал SinClaus - Понедельник, 06.06.2011, 15:34
Дата: Понедельник, 06.06.2011, 16:01 | Сообщение # 660
Штирлиц
Группа: Проверенные
Сообщений: 748
Статус: Offline
SinClaus, Пока не полетит диск на котором дата Зеркало ставить надо от этих проблем, не более того, но и не менее, а разговор о том что выше он не совсем напрямую от нынешней проблемы пошел, просто обсуждаем концепцию, раз уж так получилось, ибо пока все работает то точно никто ничего трогать не хочет. Я дурак - меня посадят.
Дата: Понедельник, 06.06.2011, 17:02 | Сообщение # 661
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
Quote (Jolly_Roger)
Вовсе нет. Это вообще-то реально работающая схема - для проектов немассового спроса...
Мы тут за просто так потрындеть или о конкретном проекте? Я вполне готов и то и другое, только давайте определимся сначала Я ведь таки и писал, что проблема не принципиальная, а исключительно в обеспечении именно необходимых мощностей, требуемых для данного проекта.
Сделать образ vmware или VirtualBox (он шустрее, чем вмварный плеер) с необходимым набором софта не проблема. Причем образ только системный, без данных. А данные потом отдельно. Но как это потом использовать? А просто обеспечивать некоторое количество людей локальными копиями флибусты без пользы для самой библиотеки... а нахрена?
В общем, вариантов всяких разных и местами интересных много. Но все-таки сначала надо определиться что конкретно мы хотим получить в итоге. И тогда уже думать за конкретную реализацию.
Дата: Понедельник, 06.06.2011, 18:16 | Сообщение # 662
Грозный пират
Группа: Абордажная Команда
Сообщений: 244
Статус: Offline
Quote (FiL)
А просто обеспечивать некоторое количество людей локальными копиями флибусты без пользы для самой библиотеки... а нахрена?
А без этого не развить систему зеркал. Дать лок.копию сотне = сделать одно зеркало, где-то так. Только избыточностью... Чтобы каждый, у кого мысль о зеркале хотя бы мелькнула - мог сразу бы скачать всё необходимое и тут же попробовать (для начала у себя на дом.компе; потом, глядишь - вывесит в локалку). И только если получится вот так, сходу - есть шанс, что кто-то возьмётся за серьёзное зеркало в вебе. Альтернатива - мотивировка чрезвычайщиной, вроде нышеншего падения. Что гораздо хуже. И реже.
Зеркала же были бы очень кстати - мы упираемся в ограниченность сервера. И - либо зеркала, либо прокачивать сервер. Последнее - не лучший (из двух) выход для волонтёрского проекта, т.к. упрётся (и быстро) в деньги.
Дата: Понедельник, 06.06.2011, 18:50 | Сообщение # 663
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
проблема в том, что сотня полных зеркал - это чудовищный трафик с мастер-сервера, который на данный момент проект себе позволить просто не может. Вот если будет хоть одно полноценное рид-онли зеркало с безлимитным траффиком - тогда да, можно кормить хомяков, качающих всё подряд, в надежде, что кто-то из них поднимет локальное зеркало. Все равно пока жив мастер, то зеркало как-бы не используется. Но кормить домашних "зеркальщиков" с основного сервера - это слишком.
И это только файлы. А база? Снимать копию с базы и выкладывать ее в свободный доступ? Включая базу юзеров? Не боишься? А иначе это уже не заркала, а архивы файлов. А это уже совсем другое, куда менее интересное.
В общем, я за качество, а не за количество. Лучше 3-4 реальных "официальных" зеркала, чем несколько сотен непонятно чего с непонятно какой версией, непонятной политикой обновления, непонятной статистикой онлайна и неизвестно где находящиеся. А уж потом можно и на количество поработать. Но потом.
Дата: Понедельник, 06.06.2011, 20:18 | Сообщение # 664
Янус
Группа: Администраторы
Сообщений: 29908
Статус: Offline
А вообще, лучше бы Ф не падала... А для этого все же самое реальное - raid, стандартное и самое распространенное на серверах решение. При всей не 100% надежности, надежность все же станет выше на порядок. И расходы не так велики. Конечно, 100%-е резервирование надежнее, но ведь это дорого. IMHO — In My Humble Opinion
Дата: Понедельник, 06.06.2011, 20:32 | Сообщение # 665
Сержант
Группа: Пользователи
Сообщений: 21
Статус: Offline
Quote (computers)
И расходы не так велики
Не все так просто бывает. Например, в сервер может быть физически невозможно воткнуть более 2 дисков (как раз случай Флибусты). А из этих двух даже миррор не сделать потому что места тогда не хватит. А чтобы можно было больше дисков поставить нужен сервер классом выше, что стоит заметно дороже просто само по себе.
Дата: Понедельник, 06.06.2011, 22:16 | Сообщение # 669
Рядовой
Группа: Пользователи
Сообщений: 3
Статус: Offline
Я имел в виду движок и форум повесить на амазоне, а бд файлов вынести отдельно и предоставлять скачивать по запросу и очереди?
Самого заинтересовал амазон: Amazon EC2 — очень удобный сервис для хостинга проектов Веб 2.0, вместе со своим «братом» Amazon S3, который занимается хранением файлов. Уникальной особенностью хостинга является то, что можно в любой момент добавлять или удалять ресурсы, которые выделяются на хостинг вашего проекта, чтобы динамически подстраиваться под нагрузку. Например, ночью назначать слабую нагрузку, а днём — выше. За счёт этого достигается большая экономия по сравнению с обычными хостинг-провайдерами: см. калькулятор.
Amazon ежесекундно мониторит нагрузку и представил удобный интерфейс управления, состоящий из четырёх блоков: консоль управления; балансировка нагрузки; автоматическое масштабирование; облачный мониторинг.
Уже установлены расценки на работу европейских дата-центров (они чуть выше, чем в США). По функционалу сервисы в Европе и США не отличаются. Скоро в Европе добавят виртуальный хостинг не только под Linux, но также под Microsoft Windows Server и Microsoft SQL Server.
Дата: Понедельник, 06.06.2011, 22:59 | Сообщение # 670
Майор
Группа: Пользователи
Сообщений: 89
Статус: Offline
Quote (eddie)
Не все так просто бывает. Например, в сервер может быть физически невозможно воткнуть более 2 дисков (как раз случай Флибусты). А из этих двух даже миррор не сделать потому что места тогда не хватит.
Кхм... учитывая, что диски нынче по 2Тб не то, чтоб нередки, а просто норма жизни, то почему-же места не хватит? Что-то я не верю, что Флибуста перевалила через 2Тб
xaoc, теоретически сделать распределенную систему (управление в одном месте, а сами файлы в другом) не очень сложно. Более того, один сервер будет исключительно отдавать файлы, там не будет ни базы, ни скриптов... чистый http. А второй - шустрый и компактный, заточен под базу и друпаловские скрипты. Но... но это два сервера. А это значит гораздо бОльшие финансовые затраты. И в два раза выше вероятность падения. И кто-то должен написать эту систему под работу на два сервера. И поддерживать. В общем, идея хороша для коммерческого проекта. Но для Флибусты как-то слабореализуема.
Дата: Понедельник, 06.06.2011, 23:08 | Сообщение # 671
Рядовой
Группа: Пользователи
Сообщений: 3
Статус: Offline
к базе доступ по фтп или еще что придумать без друпала т.к. похоже он жрет ресурсы не по детски, амазон чем и хорош - деньги берут за нагрузку. платить только за ресурсы, которые вы собираетесь потреблять, такие как время или передача данных. здесь калькулятор http://calculator.s3.amazonaws.com/calc5.html
Amazon анонсировали год бесплатного использование EC2 (micro instance, 613mb ram). Для регистрации потребуется кредитная карта. 22 октября 2010, 11:55
Дата: Вторник, 07.06.2011, 07:22 | Сообщение # 672
Янус
Группа: Администраторы
Сообщений: 29908
Статус: Offline
Еще со вчерашнего дня Ф лежит, исчезла даже оптимистическая надпись на входе . Предполагаю, что сервер опять не перезагрузился. Даже если хостер его снова поднимет, не ожидает ли Ф такое же неприятное продолжение - падение каждый раз при случайных сбоях, без возможности автоматической перезагрузки? Может быть, кто-нибудь из товарищей, непосредственно связанных с этим делом, просветит нас всех на тему, что происходит, и каковы перспективы? IMHO — In My Humble Opinion
Дата: Вторник, 07.06.2011, 07:42 | Сообщение # 673
Сержант
Группа: Пользователи
Сообщений: 21
Статус: Offline
Quote (computers)
что происходит
не понятно. 12 часов назад Стивер собирался через пару часов сервер поднять, но что-то видимо пошло не так. Сам сервер в порядке. Сообщений от Стивера нет. Думаю, что надо подождать пока он что-то ответит, прежде чем предпринимать какие-либо действия. Я только поднял страничку с сообщением.
. Предполагаю, что сервер опять не перезагрузился. Даже если хостер его снова поднимет, не ожидает ли Ф такое же неприятное продолжение - падение каждый раз при случайных сбоях, без возможности автоматической перезагрузки? 