http://wiki.apache.org/hadoop/PoweredB
klastry hadoop’a maja w swoim podorężu najwieksi gracze w internecie: adobe, aol, facebook, ibm, imagehack, last.fm, yahoo (ponad 25,000 w klastrze). google uzywa swojego nie open source’owego map reduce.
aby zrozumiec idee map reduce i hadoop’a w szczegolnosci, polecam pierwsze 2 linki a dopiero potem 3-ci:
w zolnierskich slowach:
- trzeba dac hadoop’owi przestrzen na dysku, ktora zostanie sformatowana do HDFS, i w ktorej przechowywany bedzie input i output danych przetwarzaych za pomoca aplikacji map reduce napisanej dla naszych potrzeb
- w hadoop’ie mozemy miec jednego mastera i N slave. master jest SPOF, ale autorzy nie martwia sie tym: http://wiki.apache.org/hadoop/SPOF
- hadoop jest napisany w javie, ale twoja aplikacja (mapper + reducer) moze byc napisana np. w C++ lub Python