FastNetMon

Showing posts with label Hadoop. Show all posts
Showing posts with label Hadoop. Show all posts

Monday, 11 October 2010

Что такое Hadoop?

Всегда думал, что это некий децентрализованный сторадж. Оказалось, нет - это целый комплект утилит и технологий (децентрализованная файловая система, распределенное ключ-ориентированное хранилище, реализация mapreduce, софт по контролю за распределенным инсталляциями и многое другое) для high load / high performance систем: http://hadoop.apache.org/#What+Is+Hadoop%3F

Thursday, 22 October 2009

Железная платформа Last.fm



For those of you who think it can't be so hard to run this site, here are a few facts for you:

18 web nodes - newest ones are Dual-CPU dualcore Opteron 4GB RAM 1U.
12 profile database servers (soon to be Hadoop nodes) - 12-disk SCSI 8GB RAM dual Opteron 3U.
2 global database servers - 12-disk SCSI 16GB RAM dual Opteron 3U.
5 storage nodes - 12 SATA disks, 3TB each.
Plus another 20 or so general-purpose boxes for indexing, searching, charts, etc.

We have 5 racks' worth of equipment spread across 2 datacenters in east London. All in all about 140 CPU cores and 230GB of RAM.

Average bandwidth usage: 300 Megabits (10 megabits of that is solely HTML).
Total power supply: 24kW (102 amps), which probably costs us about £100/day.



потырено с: http://www.lastfm.ru/user/Russ/journal