Sql & Veritabanı İle Veri İhracat İşlemi Nasıl Yapılır?

Gereksinimler ve Ön Hazırlık

Veri ihracat işlemlerine başlamadan önce çalışma ortamınızın hazır olduğundan emin olmalısınız. İşlem yapacağınız veritabanı sunucusuna erişim yetkinizin (read-only veya admin) olması, sürecin en temel gereksinimidir.

• Veritabanı İstemcisi: DBeaver, pgAdmin veya MySQL Workbench gibi görsel araçlar.
• Komut Satırı Araçları: mysqldump, pg_dump veya sqlcmd gibi yerel araçların yüklü olması.
• Yetkilendirme: Veritabanı üzerinde SELECT yetkisi, veri ihracatı için yeterlidir; ancak yapısal yedekler için LOCK TABLES veya EXPORT yetkileri gerekebilir.
• Depolama Alanı: Büyük veri setlerini dışa aktarırken, hedef dizinde yeterli disk alanı bulunduğundan emin olun.

SQL Komutları ile CSV Formatında Veri Dışa Aktarma

Veri analizi ve raporlama için en yaygın format CSV (Comma Separated Values) dosyalarıdır. SQL sorgularını kullanarak verileri doğrudan bir dosyaya yazdırmak, hızlı ve etkili bir yöntemdir. Aşağıdaki örnek, MySQL üzerinde bir tablonun nasıl CSV formatına dönüştürüleceğini göstermektedir.

-- MySQL üzerinde veriyi CSV formatında dışa aktarma
SELECT * FROM kullanicilar 
INTO OUTFILE '/var/lib/mysql-files/kullanicilar_listesi.csv'
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"' 
LINES TERMINATED BY '\n';

Bu sorgu, kullanicilar tablosundaki tüm verileri belirtilen dizine CSV olarak kaydeder. FIELDS TERMINATED BY parametresi sütun ayırıcıyı, ENCLOSED BY ise metin verilerinin tırnak içinde tutulmasını sağlar. Bu yöntem, veritabanı sunucusunun dosya yazma iznine sahip olduğu dizinlerde çalışır.

Komut Satırı Araçları ile Veritabanı Yedeği Alma

Veritabanının tamamını veya belirli tabloları yedeklemek için komut satırı araçları en güvenli yoldur. Bu yöntem, veritabanı şemasını ve verileri SQL komutları (INSERT ifadeleri) şeklinde dışa aktarır.

# PostgreSQL için pg_dump kullanımı
pg_dump -U kullanici_adi -d veritabani_adi -t tablo_adi > tablo_yedek.sql

Bu komut, tablo_adi isimli tablonun yapısını ve verilerini tablo_yedek.sql dosyasına yazar. -U parametresi kullanıcı adını, -d ise hedef veritabanını belirtir. Bu dosya, daha sonra psql komutu ile başka bir sunucuya kolayca geri yüklenebilir.

Programatik Olarak Veri İhracatı: Python ve Pandas

Büyük veri setlerini işlemek ve farklı formatlara dönüştürmek için Python ve Pandas kütüphanesi endüstri standardıdır. SQL sorgusunu çalıştırıp sonucu doğrudan bir DataFrame nesnesine alarak, veriyi dilediğiniz formatta (JSON, Excel, Parquet) kaydedebilirsiniz.

import pandas as pd
import sqlalchemy

# Veritabanı bağlantısı
engine = sqlalchemy.create_engine('mysql+pymysql://user:pass@localhost/db')

# Veriyi çek ve CSV olarak kaydet
df = pd.read_sql("SELECT * FROM siparisler WHERE tarih > '2026-01-01'", engine)
df.to_csv('siparisler_2026.csv', index=False)

Bu yaklaşım, verileri filtreleyerek veya dönüştürerek dışa aktarmanıza olanak tanır. read_sql fonksiyonu, SQL Injection riskini azaltmak için parametreli sorgularla birlikte kullanılmalıdır.

Veri İhracatı Yöntemleri Karşılaştırma Tablosu

Veri İhracatında Güvenlik ve Performans İpuçları

Veri dışa aktarırken en büyük risk, hassas verilerin yanlış ellere geçmesi veya sunucu performansının düşmesidir. Büyük tabloları dışa aktarırken sunucuyu kilitlememek için LIMIT ve OFFSET kullanarak veriyi parçalar halinde çekmek en iyi pratiktir.

Kritik Güvenlik Uyarısı: Veri ihracatı sırasında kişisel verilerin (KVKK kapsamında) maskelenmesi veya şifrelenmesi zorunludur. Dışa aktarılan dosyaları asla herkese açık (public) dizinlerde saklamayın ve işlem bittikten sonra geçici dosyaları silin.

-- Performans için parçalı dışa aktarım örneği
SELECT * FROM loglar LIMIT 10000 OFFSET 0;
SELECT * FROM loglar LIMIT 10000 OFFSET 10000;

Bu yöntem, veritabanı üzerindeki yükü dengeler ve uzun süren sorguların zaman aşımına uğramasını engeller.

Sıkça Sorulan Sorular

Veri ihracatı sırasında neden zaman aşımı hatası alıyorum?

Veritabanı sunucunuzun max_execution_time veya net_write_timeout değerleri, dışa aktarma süresinden daha kısa olabilir. Bu değerleri artırmalı veya veriyi parçalar halinde dışa aktarmalısınız.

Export edilen CSV dosyasında Türkçe karakterler bozuk görünüyor, ne yapmalıyım?

Dosyayı kaydederken veya okurken UTF-8 kodlamasını kullandığınızdan emin olun. CSV dosyalarını Excel'de açıyorsanız, "Veri" sekmesinden "Metni İçeri Aktar" diyerek UTF-8 kodlamasını seçmeniz sorunu çözecektir.

SQL Injection saldırılarına karşı nasıl önlem alırım?

Dışa aktarma sorgularınızı oluştururken kullanıcıdan gelen girdileri asla doğrudan sorguya eklemeyin. Her zaman hazırlanan ifadeleri (prepared statements) kullanın.

JSON formatında dışa aktarım daha mı güvenli?

JSON, yapısal verileri korumak için daha iyidir ve modern web servisleri ile daha uyumludur. Güvenlik açısından CSV ile farkı yoktur; ancak veri hiyerarşisini korumada daha başarılıdır.

Çok büyük veritabanlarını dışa aktarırken hangi aracı önerirsiniz?

Terabayt seviyesindeki veriler için pg_dump veya mydumper gibi paralel işlem yapabilen, çok iş parçacıklı (multi-threaded) araçları tercih etmelisiniz.

Sorumluluk Reddi: Bu makalede paylaşılan kod örnekleri eğitim amaçlıdır. Üretim ortamında (production) çalışmadan önce mutlaka test ortamında doğrulama yapın. Veri kaybı riskine karşı her zaman güncel yedeğinizin olduğundan emin olun.

Büyük Ölçekli Veri İhracatında Performans Optimizasyonu

Veri setiniz milyonlarca satıra ulaştığında, standart sorgular ve basit dışa aktarma yöntemleri bellek (RAM) sorunlarına veya veritabanı kilitlenmelerine yol açabilir. Bu aşamada "chunking" (parçalara bölme) tekniğini kullanmak, sistem kaynaklarını korumak için hayati önem taşır.

Veri Akışını Parçalara Bölme (Chunking)

Tüm tabloyu tek seferde belleğe yüklemek yerine, veriyi belirli aralıklarla (örneğin 10.000 satırlık paketler halinde) çekmek, uygulamanızın çökmesini engeller. Aşağıdaki Python örneği, pandas kütüphanesini kullanarak büyük bir veritabanı tablosunu nasıl güvenli bir şekilde dışa aktarabileceğinizi gösterir:

import pandas as pd
import sqlite3

# Veritabanı bağlantısı
conn = sqlite3.connect('buyuk_veri.db')
chunk_size = 10000
first_chunk = True

# Veriyi parçalar halinde oku ve CSV'ye ekle
for chunk in pd.read_sql_query("SELECT * FROM satislar", conn, chunksize=chunk_size):
    if first_chunk:
        chunk.to_csv('disa_aktarim.csv', index=False, mode='w', encoding='utf-8')
        first_chunk = False
    else:
        chunk.to_csv('disa_aktarim.csv', index=False, mode='a', header=False, encoding='utf-8')

conn.close()
print("Büyük veri başarıyla parçalı olarak dışa aktarıldı.")

İndeksleme ve Sorgu Hızlandırma

İhracat işlemi sırasında kullanılan SQL sorgularının performansı, tablodaki indeks yapısına doğrudan bağlıdır. Eğer veriyi belirli bir tarih aralığına göre dışa aktarıyorsanız, ilgili sütun üzerinde indeks bulunması sorgu süresini saniyelerden milisaniyelere indirebilir.

• Sorgu Planını İnceleyin: EXPLAIN ANALYZE komutunu kullanarak sorgunuzun nasıl çalıştığını kontrol edin.
• Sadece İhtiyacınız Olanı Seçin: SELECT * yerine sadece ihracat için gerekli olan sütunları belirtin.
• Geçici Tablolar Kullanın: Karmaşık birleştirme (JOIN) işlemlerini doğrudan ihracat anında yapmak yerine, önce sonuçları bir geçici tabloya (temporary table) alıp, ihracatı bu tablodan yapın.

Veri İhracatında Hata Ayıklama ve Loglama Stratejileri

Otomatize edilmiş bir veri ihracat sisteminde, işlemin başarılı olup olmadığını anlamak için sağlam bir loglama mekanizması kurmalısınız. Beklenmedik bağlantı kopmaları veya veri tipi uyumsuzlukları, ihracat dosyanızın bozulmasına neden olabilir.

İşlem Başarısını Doğrulama

İhracat sonrası dosyanın bütünlüğünü kontrol etmek için dosya satır sayısını veritabanındaki kayıt sayısıyla karşılaştıran bir "checksum" veya kontrol mekanizması eklemek en iyi uygulamadır.

import os

def dogrula(db_kayit_sayisi, dosya_yolu):
    with open(dosya_yolu, 'r') as f:
        dosya_satir_sayisi = sum(1 for line in f) - 1 # Başlık satırını çıkar
    
    if dosya_satir_sayisi == db_kayit_sayisi:
        print("Doğrulama başarılı: Kayıt sayıları eşleşiyor.")
    else:
        print(f"HATA: Veri kaybı! DB: {db_kayit_sayisi}, Dosya: {dosya_satir_sayisi}")

# Örnek kullanım: dogrula(50000, 'disa_aktarim.csv')

Profesyonel İpucu: Üretim ortamında (production) çalışırken, ihracat işleminin başladığını ve bittiğini belirten bildirimleri (e-posta veya Slack webhook gibi) bir hata yakalama bloğu (try-except) içerisine yerleştirin. Böylece sistemde bir sorun oluştuğunda anında haberdar olabilirsiniz.

Sonuç

SQL & veritabanı ile veri ihracat işlemi, doğru araçlar ve güvenlik önlemleriyle oldukça basit ve yönetilebilir bir süreçtir. CSV'den JSON'a, basit SQL komutlarından gelişmiş Python scriptlerine kadar birçok yöntemle verilerinizi dışa aktarabilirsiniz. Önemli olan, verinin boyutuna ve türüne uygun yöntemi seçmek ve güvenlik protokollerini asla ihmal etmemektir.

Bir sonraki adım olarak, dışa aktardığınız bu verileri otomatize etmek için "Cron Job" veya "Airflow" gibi zamanlanmış görev yöneticilerini inceleyerek, veri aktarım süreçlerinizi tamamen insansız hale getirebilirsiniz.