Windows

Facebook'un büyük veri planları depoları, daha hızlı analizleri içerir

Facebook otomatik video oynatma kapatma facebook otamatik video oynatma açma facebook hesabı

Facebook otomatik video oynatma kapatma facebook otamatik video oynatma açma facebook hesabı
Anonim

Facebook, reklam verilerinin geri dönüşü için bir milyardan fazla kullanıcıya ait verileri hazine edebilir, ancak Bir mühendisin, söz konusu verilerin, gelecek yıl boyunca sayısız zorluklar yaşamaya devam etmesi beklendiği düşünüldüğünde, bir mühendis şunları söyledi:

Facebook'un “daha ​​geniş bir sektörden çok daha erken bir zamanda” mücadele etmek zorunda kaldığı sorunlar, Sitede kullanıcı davranışlarını işlemek, Facebook'un çoklu veri merkezlerindeki farklı veri türlerine nasıl daha iyi erişileceğini ve birleştirileceğini ve bu verileri işlemek için yeni açık kaynaklı yazılım sistemlerinin nasıl tasarlandığını vi Facebook'un analitik altyapısını yöneten Murthy, Salı günü yaptığı açıklamada, "Facebook bir veri şirketidir ve insanların bu hedef üzerinde düşündükleri en belirgin şey reklam hedeflemesidir" dedi. Facebook'un arka uç altyapısı, veri analizi ve açık kaynak projeleri hakkında konuştu.

[Daha fazla okuma: En iyi TV yayın hizmeti]

“Fakat bu durum daha da derinleşiyor,” dedi.

Bir büyük alan perde arkası çalışmaları, kullanıcıların ürün gelişimini hızlandırmak ve kullanıcıların mevcut durumu derinlemesine analiz ederek kullanıcı deneyimini iyileştirmek için tasarlanan analitik altyapısı ile ilgilidir. Facebook'ta farklı cihazlarda kullandıkları uygulamalar.

Facebook şu anda Hadoop, Corona ve Prism olarak bilinen birkaç farklı açık kaynaklı yazılım sistemini kullanıyor. sonraki altı ila on iki ay boyunca daha hızlı ve daha verimli, dedi Murthy.

Şirketin zorluklarının çoğu, Facebook'un veri ambarı olarak ifade ettiği şeylere bağlıdır. Bu, birden fazla kaynaktan gelen verileri kullanıcı etkinliğinin analiz edilebileceği bir veritabanına birleştirir. Belirli bir ülkede etiketlenen fotoğrafların sayısına veya belirli bir alanda kaç kullanıcının kendilerine önerilen sayfalarla etkileşime girdiğine bakmak gibi bir günlük rapor vererek, toplamda.

Analiz Murthy, kullanıcı deneyimlerini optimize etmek ve kullanıcıların neye benzediğini ve neleri sevmediğini öğrenmek için tasarlandı, ancak Facebook'un kullanıcılarıyla ilgili daha fazla veriye erişebildiğinden daha fazla vergi almayı başardı. Şu anda, Facebook depo her gün 500 terabayt yeni veri veya 500.000 gigabayt alıyor. Son dört yıl içinde depo, "Facebook'un kullanıcı büyümesinin önünden" yaklaşık 4000 kat büyümüş, dedi.

Bu meselelerle başa çıkmak için Facebook, gerçekleştirmesi için tasarlanan Prism yazılım sistemini geliştirdi. Murthy, şirketin dünya çapındaki veri merkezlerindeki anahtar analiz fonksiyonlarını ve analizleri "parçalara ayır" dedi. Bu şekilde, kullanıcıların haber akışlarıyla ilgili bir metrik analiz yapılması, genel olarak deponun daha fazla tıkanmasına neden olmayacaktır.

“Bu verileri nasıl ele geçireceğimizi giderek daha fazla düşünüyoruz” dedi.

Şirket, saniyeler içinde bir yanıt süresi vermek üzere depoyu sorgulamak için tamamen farklı bir yaklaşım benimseyen bir sistem üzerinde çalışıyor, dedi.

Facebook'un sürekli geliştirmeye devam ettiği bir başka alan da “işlem altyapısı, “Sosyal ağın sorunsuz bir şekilde çalışmasını sağlamak için, günlük bazda daha detaylı veri işleme, beğeni, yorum ve durum güncellemelerini ele alıyor. Murthy, şirketin mühendisleri ve analistlerinin aradığı sorulardan bazıları, bu tür verilerdeki gerçek büyümenin nasıl tahmin edileceğini ve Facebook'un ne kadar bilgi vermesi gerektiğini anlatmayı içeriyor.

“Bundan altı ay sonra ne olacağını tahmin edebilir miyiz?” Dedi.

Bu arada Facebook, fiziksel sunucularını daha verimli hale getirmek için uzun vadeli bir çaba içerisindeydi. Şirket, müşterilere ağına, belleğine, güç kaynaklarına ve sunucularına giren diğer bileşenlere daha fazla kontrol sağlayan modüler sunucular tasarlamak amacıyla 2011 yılında Açık Hesaplama Projesine başlamıştır. Ocak ayında ARM işlemcileri dahil etmek için genişletildi.