Google BigQuery Veri Ambarı Nasıl Kullanılır?

Teknolojinin gelişmesiyle birlikte veri analitiği ve büyük veri yönetimi, işletmeler için kritik bir rol oynamaya başladı. Bu noktada Google BigQuery, bulut tabanlı bir veri ambarı çözümü olarak öne çıkıyor. Peki Google BigQuery tam olarak nedir? Nasıl kullanılır? Bu makalede, detaylı bir şekilde inceleyeceğiz.

1. Google BigQuery Nedir?

Google BigQuery, Google Cloud Platform (GCP) üzerinde sunulan, tam yönetimli (serverless), petabayt ölçekli verileri analiz etmek için tasarlanmış bir bulut veri ambarıdır. Geleneksel veri ambarlarından farklı olarak, altyapı yönetimi gerektirmez ve SQL tabanlı sorgularla saniyeler içinde sonuç üretebilir.

Temel Özellikleri

• Serverless Mimari: Sunucu yönetimi veya kapasite planlaması gerekmez. Kullanıcılar yalnızca işledikleri veri ve depolama için ödeme yapar.
• Yüksek Ölçeklenebilirlik: Saniyede terabaytlar boyutunda veriyi işleyebilir.
• SQL Desteği: Standart SQL syntax’ı ile çalışır, veri analistlerinin kolayca adapte olmasını sağlar.
• Entegrasyonlar: Google Analytics, Google Sheets, Looker Studio gibi araçlarla sorunsuz entegre olur.
• Güvenlik: Veri şifreleme, IAM (Identity and Access Management) izinleri ve VPC ağlarıyla güvenliği sağlar.
• Makine Öğrenimi: BigQuery ML ile SQL içinde ML modelleri eğitilebilir.

2. Google BigQuery Avantajları

• Maliyet Etkin: Yalnızca kullanılan depolama ve işlenen sorgular için ödeme yapılır.
• Hız: Sütunlu depolama ve dağıtık mimari sayesinde devasa veri setlerinde bile hızlı sorgu sonuçları.
• Kullanım Kolaylığı: SQL bilen herkesin rahatça kullanabileceği bir arayüz.
• Entegre Ekosistem: GCP, Looker, Data Studio gibi araçlarla uyumlu çalışır.

3. Google BigQuery Nasıl Kullanılır?

BigQuery’i kullanmak için temel adımlar:

A. Google Cloud Hesabı ve Proje Oluşturma

1. Google Cloud Console’a gidin.
2. Yeni bir proje oluşturun ve fatura bilgilerinizi ekleyin.
3. BigQuery API’yi etkinleştirin.

B. Veri Ambarı Yapısını Anlamak

• Proje: Tüm kaynakların (dataset, tablo) gruplandığı üst düzey konteyner.
• Dataset: Tabloların ve görünümlerin depolandığı mantıksal birim.
• Tablo: Satır ve sütunlardan oluşan veri yapısı.

C. Dataset ve Tablo Oluşturma

1. BigQuery Konsolu’na gidin.
2. Sol panelden projenizi seçin ve “Create Dataset” ile yeni bir dataset oluşturun.
3. Dataset içinde “Create Table” seçeneğiyle:

• Boş bir tablo oluşturabilir,
• Google Cloud Storage’dan CSV, JSON, Avro, Parquet gibi dosyaları yükleyebilir,
• SQL komutu (CREATE TABLE ...) kullanabilirsiniz.

Örnek Tablo Sorgusu:

CREATE TABLE mydataset.sales (
  transaction_id INT64,
  product STRING,
  amount FLOAT64,
  date DATE
);

D. Veri Yükleme

• Google Cloud Storage: Dosyaları GCS’e yükleyip BigQuery’e aktarın.
• Doğrudan Yükleme: Küçük veri setlerini (≤100 MB) konsoldan CSV/JSON olarak yükleyin.
• Streaming API: Gerçek zamanlı verileri REST API ile aktarın.

E. Sorgu Çalıştırma

• Konsol Üzerinden:

  SELECT product, SUM(amount) AS total_sales
  FROM mydataset.sales
  WHERE date BETWEEN '2023-01-01' AND '2023-12-31'
  GROUP BY product;

• Sonuçlar: Sorgu sonuçları doğrudan konsolda görüntülenir veya tabloya kaydedilebilir.
• Sorgu Geçmişi: Tüm sorgular INFORMATION_SCHEMA üzerinden takip edilebilir.

F. Veri Yönetimi ve Optimizasyon

• Partisyonlama: Büyük tabloları tarih veya belirli bir sütuna göre bölerek maliyeti düşürün.

  CREATE TABLE mydataset.sales_partitioned
  PARTITION BY DATE(date) AS
  SELECT * FROM mydataset.sales;

• Kümeleme (Clustering): Sık sorgulanan sütunlara göre verileri gruplayarak performansı artırın.
• Maliyet Kontrolü: WHERE koşullarıyla tarama boyutunu azaltın veya on-demand yerine flat-rate fiyatlandırmaya geçin.

G. Veri Görselleştirme

• Looker Studio: BigQuery bağlantısıyla raporlar oluşturun.
• Tableau/Power BI: Doğrudan BigQuery’e bağlanarak verileri görselleştirin.

4. Kullanım Senaryoları

• Büyük Veri Analitiği: Petabayt ölçekli log analizi veya müşteri davranışları inceleme.
• Gerçek Zamanlı Analiz: IoT cihazlarından gelen verilerin anlık işlenmesi.
• Makine Öğrenimi: BigQuery ML ile SQL üzerinde regresyon veya sınıflandırma modelleri eğitme.

5. En İyi Uygulamalar

• **SELECT *** yerine belirli sütunları seçin.
• Partisyonlu ve kümelenmiş tablolar kullanarak sorgu maliyetini optimize edin.
• JOIN işlemlerinde küçük tabloları sol tarafa yerleştirin.
• Query Cache özelliğini aktif tutarak tekrarlı sorgulardan kaçının.

6. Fiyatlandırma Modeli

• Depolama: Aylık $0,02/GB.
• Sorgu Maliyeti: İşlenen veri boyutuna göre (≈$5/TB).
• Ücretsiz Kotası: Ayda 1 TB sorgu ve 10 GB depolama.

Değerlendirme

Google BigQuery, özellikle büyük veri analitiği ve bulut tabanlı çözümler arayan işletmeler için ideal bir araçtır. Serverless mimarisi, SQL desteği ve GCP entegrasyonlarıyla hem teknik ekiplere hem de veri analistlerine esneklik sunar. Başlamak için Google Cloud ücretsiz tier’ı deneyebilir ve adım adım veri dünyasını keşfedebilirsiniz!