Регистрация Авторизация В избранное
 
 
Меню
Greengh0st

Переводы Greengh0st’a

Проекты Greengh0st’a

Переводы Gamerbes & Hanasaka

Баннеры

JurasskPark BHLady

Magic Team Megaten

PSCD.RU

Счётчик посещений

HotLog

Четыре дня мучений

Автор: JurasskPark
Опубликовано: 2805 дней назад (16-05-2010 19:01)
0
Голосов: 0
Внимание!!! Используется ненормативная лексика!!! Не мог сдержаться.
Ошибки тоже не правил.



Сегодня я решил сказать обо всей прелести работы администратором ПО.
Во вторник у нас случился «праздник». Сгорел, или как говорит руководство «вышел из строя», сервер после отключения электроэнергии. Сервер не простой, а центральный, т.е. информация на нём собирается с промыслов и передаётся дальше. Данные передаются с помощью репликаций, а это значит, что их настраивать все заново (к сведению, репликация созданная заново передаёт всю базу снова и не зависимо есть на этом сервере уже эта БД или нет, она всё скопирует снова, а только потом будет передавать различия в данных).   Счастья от этого у нас было полные штаны. sad Далее пишу в событиях. Время указываю примерно.

13 октября 16:20 – Дали свет в здании, где находится центральный сервер. Минут через 20 Мониторинг (программа для показа передачи данных линий телемеханики и обработчика данных) должен побелеть. Ждём.
13 октября 16:40 – Пингую сервак. Не отвечает. Звоню СРМшку К. и уточняю про электричество. Вдруг его не дали. Говорит, что дали и что в серверной сервера уже проверял. Все работают. Даже наш запушен. Но он сейчас пойдёт и проверит.
13 октября 17:00 – Звонит СРМшик К. Говорит, что сервак включён. Далее начинается пляска с бубном, но ничего не помогает, два монитора подключенных к серверу ничего не показывают – экран черный, включение\выключение\перезагрузки не помогают, т.е. очевидно, что сервер мёртв. Без монитора очень сложно понять какую ошибку сервер пишет.
13 октября 17:50 – Звоним руководству, сообщаем у проблеме. Директор спрашивает, когда это всё началось. Говорим время. Встречный вопрос: «А почему так поздно сообщили?»

Небольшое отступление: Бля!  Меня всегда бесит этот вопрос. Чего мы делали? Ваньку валяли! Думали, вот само всё починится. А вы о чем подумали? Думаете, будем пытаться сами решить проблему любыми способами? Ха! Дураки!
Бля! Ну диагностировали мы проблему. И пытались её решить. Что тут не понятно?

13 октября 18:00 по 20:30 – Решались организационный вопросы, такие как: где новый сервак взять, что делать и т.д. Наше предложение привести сломанный сервак и поставить его винты на подменный (правда есть одно НО! Подменный сервер другой организации и если она про это узнает, то по шапке получат все), никто не обратил внимание. =/// А сколько бы времени и сил сэкономили бы. sad

13 октября 20:30 – Дали ПК 7800 с установленным на нем Windows Server 2003. Ничего особенного, но сойдёт на некоторое время. MS SQL 2000 на нём стоит, но нам при настройке ПК нужно будет удалять SQL и заново ставить, а вот установщика MS SQL 2000 на нём нет. Только SP3 и SP4 на SQL. Нафига  они там без дистрибутива? О_о

13 октября 20:30 по 21:30 – Обзваниваю всех системных админов, чтобы узнать, где на файловых серверах лежит нужный нам дистрибутив. Никто не знает! Админы ещё называются. Начинаем шарить по всем нам известным серверам. Даже ищём методом тыка (этим методом мы набрели даже на кое-какой сервак, о котором никому знать не надо smile ). Я вообще офигел. У нас, что в такой крупной компании, MS SQL вообще никто кроме нас не используют? О_о Или все с нашего сервера брали?

13 октября 20:30 по 22:00 – Начинаем копировать один дистрибутив на подменный ПК с ближайшего промысла и с качеством связи лучше, чем у остальных промыслов. А второй дистрибутив с моего ПК на другой ПК в Бугуруслане, чтобы не забивать канал связи до подменного ПК. С меня дистрибутив скопировался за 2 часа 30 минут, а промысловому оставалось ещё 50% качать.

Небольшое отступление: Пока мы ждали закачку, то немного перекусывали. Напарник ел сыр-косичку, а я ел самсу. Спустя 2 часа сыр стал плохо пахнуть, и друг стал бояться за себя, как бы с ним плохо не было.
Ещё у нас был большой батончик Сникерса, поэтому как в рекламе «Не тормози – сникерсни!». Батончик пошёл на ура. smile
  
13 октября 20:30 по 00:30 – Удаляем MS SQL 2000, админ прописывает подменный ПК в сервера,  установка MS SQL 2000.

14 октября 2:00 – Начинаем настройку репликаций.

14 октября 5:00 – Репликации настроены. Надо ждать. Решаем, что я сейчас пойду спать до 14:00, а друг с 14:00 уходит.

14 октября 14:00 – Центр уже настроен для пользователей, т.е. чтобы пользователи могли сразу видеть все промысловые БД одновременно.

14 октября 16:00 – Уже настроил одну репликацию с подменного ПК на наш сервер.

Небольшое отступление: Забыл сказать, что помимо наших БД, на нашем сервере лежали и другие БД, из-за которых нам на центральные серваки установили MS SQL 2005 (бесплатный). Бля! Ещё перед тем как установить их, я спрашивал у однокабинетовца (это для БД нужен был SQL 2005) и руководства: «А проверяли ли их на совместимость, а не будет ли проблем и ошибок?». Этот мудень говорил, что «А какие там могут быть проблемы?». Ага! Никаких проблем нет. Только после московских кривых рук, которые этот долбанный MS SQL 2005 ставили, у нас ошибки SQL 2005 каждый день, а если ночью понадобится на центральный сервак по dialup’у из дома зайти, то заколебаешься эти ошибки закрывать. Но моё письмо, кто будет решать проблему с ошибками, эти козлы молчат.

14 октября 16:10 – От московских админов СУБД приходит письмо, когда можно им начать работать, а то задержаться на работе они могут только до 19:00. Пишем письмо, что делайте что хотите, то SQL 2000 не трогайте!!! Не выключайте и не перезапускайте!!!
Согласован вывоз сгоревшего сервера с Бугуруслана, т.к. backup’ов БД (не наших) на ленте копирования не найдены. Я фигею дальше. Ради трёх !!! БД  руководство согласовало вывоз сервера  из-за заявки пользователя, а ради нашей услуги, которая в 1000 раз важнее, нет!!! Вот в таком мире мы живём.

14 октября 16:30 – Эти мудаки сменили пароль SA SQL. Репликации встали! Зашибись!!!
Звоним им, они говорят, что ничего не делали. Смотрите по логам. Бля! Вот нам делать сейчас больше нечего. Возвращаем предыдущий пароль.

14 октября 16:38 – ТАДАМ!!! Выключается MS SQL 2000!!! Работа за 24 сутки коту под хвост!!! Эти московские мудаки накатили на MS SQL 2000 свой долбанный SQL 2005!!!
Всё! Приехали. Остаётся только либо всё делать заново, либо надеяться на чудо, что в сгоревшем серваке живы винты.
Небольшое отступление: работу пользователей в ПО мы уже восстановили в 15:30 по двум БД.

14 октября 19:00 – Приехал сгоревший сервак. Перетыкаем винты в подменный сервер. Опа! Запустился! Правда 2 жесткий диск мёртв, но заменяем его на новый и всё Ок (про RAID5 массив я вам объяснять, что это такое не буду). Решаемся на эксперимент, подменный ПК «подменяем» на подменный сервер. «Подменяем» - это одно слово, а в него включено много действий: сменить имя подменному ПК, выгнать из домена, сменить имя у подменного сервера, вогнать в домен и т.д.

14 октября 20:00 – Запускаем подменный сервер. Аллилуйя!!! Репликации по 3 БД пришли!!! Не работает только по одному промыслу. Настраиваем.

14 октября 21:30 – Все репликации на подменный сервер приходят.   Собираемся домой и уезжаем.

14 октября 23:25 – Звонит мне HelpDesk и говорит, что по одному промыслу данные не приходят.  Бля! Решаю с коллегами как поступить. Договариваемся перенести проблему на завтра.

15 октября 7:50 – По этому промыслу репликации идут с ошибкой. Ставим пропуск ошибок. Всё нормально. Репликации снова пошли.

15 октября с 8:00 до 17:30 – Настраивали репликации уже с подменного сервера на последний центральный.
Написали письмо в Москву админами СУБД по поводу, как так случилось, что они на SQL 2000 накатили 2005 и почему нет backup’ов БД.
Письмо из Москвы общий смысл, которого был такой: «установкой SQL должный заниматься администраторы СУБД и что некоторые администраторы серверов перекладывают эти обязанности не себя».
Бля! А где вы умники были во вторник? А вы репликации умеете настраивать? Вас ждать всё равно без смысла! Вы на работу по графику должны приходить к 10:00!!! часам, а приходится максимум к 11:00!!! и на ночь вы точно не останетесь!!! Ты, мудак, даже в тот день, когда нам на «проабгрейдили» SQL 2000 и то не остался на работе, а ушёл домой!!!
И такого понятия как «ваша услуга» у вас нет. Так что даже если бы мы вам сообщили и перенаправили заявки, то вы могли бы спокойно домой уйти и ничего не делать, т.к. если заявка инцидентная просрочится, то услуга то не ваша, а наша и мы бы по башке получили + минус к годовому бонусу.

16 октября до 24:00 – Исправили все косяки с репликациями.

Вот такая история.

Мораль №1. Хочешь стать админом? Подумай ещё раз. smile
Мораль №2. Даже если ты делал всё возможное от тебя, то всё равно окажется, что этого делать не надо было.
Где мы, но нас нет. | Добавление картинки и иконки в exe’шный патч IPS’a или Дока-шмока 2
Теги: работа

Загрузка комментариев...

 
 
InstantCMS