Yahoo, Bombay Setini Kurtarıyor Hadoop Küme Laboratuvarı

Yahoo, Hindistan Teknoloji Enstitüsü Bombay'a, açık kaynak kodlu Hadoop yazılımını çalıştıran bir grup sunucu bağışlayarak Mumbai'de bir Hadoop küme laboratuvarı kurmasına yardım etti.

Apache Hadoop, açık kaynaklı bir dağıtık hesaplama projesidir. Yahoo'nun desteklediği Apache Software Foundation.

Yahoo, Hadoop'u kullanarak çok sayıdaki kritik operasyonunu yürütüyor ve şirket içinde Hadoop'un etrafında gerekli olan tüm araştırmaları yapamıyor, dedi ki, Yahoo Labs başkan yardımcısı ve başkan yardımcısı Prabhakar Raghavan

Perşembe günü bir telefon görüşmesi.

Yahoo, geçen yıl Haziran ayında yaptığı açıklamada, Hadoop'un kendi büyük kümelerini test ettiği ve dağıttığı Hadoop versiyonunu yayınladığı için Apache Hadoop topluluğunun ilgisini öne sürerek kendi Hadoop dağıtımını açıkladı.

Küme M şirketinde lab umbai, enstitüde araştırmacıların araştırma ve sıralama teknikleri, bilgi çıkarma ve doğal dil işleme gibi alanlarda çalışmalarına yardımcı olacaktır.

Araştırma yapmak isteyen akademisyenler, Web ile ilgili sorunları tipik olarak hesaplama kaynaklarına ve terabaytlara erişim sağlayamamıştır. Raghavan, "Web ölçekli problemler" ile ilgili araştırma için gerekli olan verileri söyledi.

2007 yılında 4,000 işlemci süper bilgisayarı ile Carnegie Mellon Üniversitesinde Hadoop araştırmacıları sağlamaya başlayan Yahoo, ABD'deki diğer üniversitelere Hadoop'u kurma konusunda yardımcı oldu Kümeler, dedi.

Raghavan, IIT'de kurulu küme üzerinde daha fazla ayrıntı vermedi, sadece yüzlerce işlemci ve terabaytlarca veriyi işleme yeteneği olan sunucuların orada konuşulduğunu söyledi.

Ayrıca HTE Bombay, Yahoo Raghavan, Almanya ve Singapur'daki akademik kurumlarda benzer kümelenmelerin kurulmasına yardımcı oluyor. Bunlar, Yahoo'nun bu tür kümelenmelerin kurulmasına yardımcı olduğu ABD dışındaki ilk üç akademik kurum olduğunu ekledi.

Yahoo, daha sonra "daha büyük bir yarar" yaratmak için dünyanın dört bir yanındaki kümelenmeleri bir araya getirmeyi planlıyor. Bundan önce, Hadoop'un sistem yönetimi kabiliyetlerinin bir kurumdaki bir öğrencinin başka bir kurumda çalışmayı engellemesini önlemek için güçlendirilmesi gerektiğini belirten Raghavan, "

Yahoo, 2008 yılında Hindistan'ın bir laboratuvarı olan Hesaplamalı Araştırma Laboratuvarları (CRL) ile birlikte çalıştı. Tata Group, Hindistan'daki akademik kurumlara ücretsiz olarak, özellikle de Hadoop'un çevresinde büyük ölçekli bilgisayar araştırması yapan süper bilgisayar olanakları sunmaktır. Raghavan, bu işbirliğinin devam ettiğini, ancak yüksek performanslı süper hesaplamaya odaklandığını söyledi.

Hadoop'taki akademik kurumlarla ortaklık yapmak, Yahoo'nun Raghavan'a göre Hadoop platformuna aşina bir mühendisler havuzu kurmasına yardımcı oluyor. Bunlardan bazıları Yahoo tarafından bile kiralandı.