Hotmail получава нова система за съхранение - още по-бързо!

Hotmail получава нова система за съхранение - още по-бързо!
Hotmail получава нова система за съхранение - още по-бързо!

Видео: Hotmail получава нова система за съхранение - още по-бързо!

Видео: Hotmail получава нова система за съхранение - още по-бързо!
Видео: 32 Секретные Комбинации Для Вашей Клавиатуры - YouTube 2024, Може
Anonim

Hotmail получава милиарди имейл съобщения всеки ден и те трябва да се съхраняват безопасно и трябва да бъдат лесно достъпни ефективно. Системата за съхранение в облак на Hotmail поддържа над един милиард пощенски кутии и стотици петнабайта данни (един петабайт е милион гигабайта). И да се справяте стотици хиляди едновременни транзакции ефективно в този мащаб е инженерно предизвикателство. Системата за съхранение е изградена с помощта на технологията на Microsoft, включително Windows Server и Microsoft SQL Server.

Microsoft работи на основен ъпгрейд на тази система за съхранение. От началото на тази година нова система, базирана на технологии, разработени в Hotmail, работи на пилотен клъстер, използващ лични профили на служителите на Microsoft. И след строго тестване новата система е сертифицирана, която осигурява по-добра надеждност на значително по-ниска цена.

Нека да видим някои от тези нови технологии, използвани от Hotmail.

Внедряване на JBOD за замяна на RAID:

"RAID (Redundant Array of Inexpensive Disks) е технология, която позволява няколко твърди диска да бъдат прикрепени към един контролен панел, което ги кара да изглеждат като един по-голям и много по-надежден твърд диск (понякога наричан" Логическо устройство ") софтуера, изпълняващ системата за съхранение."

Hotmail използва RAID за дълго време. Имейлите се съхраняват на няколко RAID групи, така че дори когато целият RAID не успее, съобщенията могат да бъдат възстановени. Hotmail проучи перспективата за надеждност на устройства с капацитет, по-голям от 1 терабайт, и установи, че това не е заслуга за пари от гледна точка на надеждността. Тъй като системите RAID лесно се справят с проблеми, засягащи една система, но не и когато цялата машина или RAID контролерът се сблъскват с проблеми. Hotmail установи, че копирането на друга машина, която не споделя контролера, е не само по-надеждна, но и по-евтина от конфигурацията на RAID.
Hotmail използва RAID за дълго време. Имейлите се съхраняват на няколко RAID групи, така че дори когато целият RAID не успее, съобщенията могат да бъдат възстановени. Hotmail проучи перспективата за надеждност на устройства с капацитет, по-голям от 1 терабайт, и установи, че това не е заслуга за пари от гледна точка на надеждността. Тъй като системите RAID лесно се справят с проблеми, засягащи една система, но не и когато цялата машина или RAID контролерът се сблъскват с проблеми. Hotmail установи, че копирането на друга машина, която не споделя контролера, е не само по-надеждна, но и по-евтина от конфигурацията на RAID.

Така те разработиха JBOD (само една група от дискове), където копията на данни се намират на независими твърди дискове, контролери и машини. По този начин прави контролера на твърдия диск почти напълно извън пътя и го предаде на софтуера за управление. Този софтуерен продукт на JBOD е разработен от Hotmail.

Този софтуер JBOD непрекъснато следи за повреди и повдига сигнал, когато се намери, като по този начин задейства процес на ремонт. Този процес на ремонт може да рестартира машина или да рестартира процес, да установи корупция на данните или дори да включва човешка намеса, ако е необходимо. Основното предимство при използването на Софтуера е, че може да поддържа добри копия на имейли, за да даде приоритет на ремонтните действия, ако намери по-малко копия. Използвайки този софтуер, самата репликация беше опростена
Този софтуер JBOD непрекъснато следи за повреди и повдига сигнал, когато се намери, като по този начин задейства процес на ремонт. Този процес на ремонт може да рестартира машина или да рестартира процес, да установи корупция на данните или дори да включва човешка намеса, ако е необходимо. Основното предимство при използването на Софтуера е, че може да поддържа добри копия на имейли, за да даде приоритет на ремонтните действия, ако намери по-малко копия. Използвайки този софтуер, самата репликация беше опростена

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Внедряване на твърди дискове (SSD) вместо твърди дискове.

Знаем, че SSD са много по-бързи от твърдите дискове. Твърдите дискове, макар и по-големи и по-евтини, забавят обработката на заявките.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Въпреки че тази скорост идва на цена, тъй като те са много скъпи / гигабайт в сравнение с твърдите дискове.

SSD устройствата се справят ефективно с постоянно променящия се товар. Това може да се обясни с това, че Hotmail не само съхранява имейл съобщенията, но също така съхранява проследяването на различни постоянно променящи се метаданни, като например списък на съобщенията във входящата поща, четене / непрочетено състояние на съобщенията, кореспонденция и т.н. Тази метаданна обаче заема малка част от пространството за съхранение поставя максималния товар на твърдите дискове поради непрекъснато променящия се характер. Така че използвайки SSD за съхранение на метаданни и твърди дискове за съобщения прави по-добра и ефикасна комбинация.

Освен тези подобрения, Hotmail ще разкрие много повече в бъдещите публикации. Разгръщането на нова система за съхранение вече е започнало, а новите клъстери ще се основават на JBOD. Вече 30 милиона потребители са на JBOD, а други 100 милиона ще се движат в течение на времето.
Освен тези подобрения, Hotmail ще разкрие много повече в бъдещите публикации. Разгръщането на нова система за съхранение вече е започнало, а новите клъстери ще се основават на JBOD. Вече 30 милиона потребители са на JBOD, а други 100 милиона ще се движат в течение на времето.

Ако сте забелязали, Hotmail е станал наистина бърз. Ако не сте го направили, опитайте го сега.

Препоръчано: