Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
Toplu insert işlemi hız sorunu (Çözüldü)
#1
Merhabalar

Farklı 2 MS SQL server arasında en hızlı data aktarımını sağlamanın bir yolu varmıdır.

A Server'ından edilen bir sorgu sonucunu B Server'ı üzerindeki bir tabloya insert etmenin en hızlı yolu nedir acaba.

Bağlantı şekli A Server'ı B Server'ına "Linked Server" ile bağlıdır.
Sorgu sonucunda yaklaşık 5 adet integer, 3 adet datetime, 5 adet bit, 6 adet nvarchar(100) şeklinde alan mevcuttur.

Benim şu anda kullandığım yöntem başitçe aşağıdaki şekildedir.
Bu yöntemle 10.000 adet satır yaklaşık 50 saniye sürmektedir.

Insert into LNKSRV.xxxx.DB (A,B,C....)
Select A,B,C.... from LOCAL.xxxx.DB

Teşekkürler
Bu dünyada kendine sakladığın bilgi ahirette işine yaramaz. 
Cevapla
#2
10.000 Adet insert'i 50 sn sürüyorsa eğer bence Insert edilen tabloda yada Db de bir sorun var.
Geçenlerde buna benzer bir işlem yaptım 12 bin küsür satır 3 snde Insert etti.

Lınked Server aslında bu durumda en hızlı olabilecek durumlardan biri. Hatta Şahsen benim bildiğim kadarıyla en hızlı yöntem.

Diğer bir yöntem olarak bi windows service ile işlem çözülebilir.
Cevapla
#3
Bir test sonucunu paylaşmak istedim.

A Sunucusu B sunucusuna 10.000 adet kaydı yazmak isterse süre 50-55 saniye civarı sürüyor.
Fakat B sunucusu A sunucundaki dataya Select çekip B sunucusuna yazarsa bu süre 1 sn ancak sürüyor.

Bu test her iki tarafın birbirinde veri alıp yazması şeklinde test edildi.
En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes
Bu dünyada kendine sakladığın bilgi ahirette işine yaramaz. 
Cevapla
#4
sunuculardan insert işlemi yavaş olanın  tablolara tanımlı index sayısı fazla olabilir mi?

Select hızlı olsun diye olası yapılan bir index sayısı arttırımı, insert işlemlerinde ayağınıza dolanıyor olmalı.
Saygılarımla
Muharrem ARMAN

guplouajuixjzfm15eqb.gif
Cevapla
#5
Toplu insert yaptığınızda sonuç ne oluyor acaba örn:

INSERT INTO LOCALTABLO(ALANLAR) SELECT ALANLAR FROM LINKED.DATABASE.TABLOADI
Yalnızım ama bir kente yürüyen ordu gibiyim, edebiyattan kaçınmalıyım..
Cevapla
#6
(10-12-2021, Saat: 11:21)mrmarman Adlı Kullanıcıdan Alıntı: sunuculardan insert işlemi yavaş olanın  tablolara tanımlı index sayısı fazla olabilir mi?

Select hızlı olsun diye olası yapılan bir index sayısı arttırımı, insert işlemlerinde ayağınıza dolanıyor olmalı.

Auto number key alanı var 
hiç index yok hocam
garip olan her iki yönde de karşıdan select yapılınca çok hızlı

(10-12-2021, Saat: 11:36)narkotik Adlı Kullanıcıdan Alıntı: Toplu insert yaptığınızda sonuç ne oluyor acaba örn:

INSERT INTO LOCALTABLO(ALANLAR) SELECT ALANLAR FROM LINKED.DATABASE.TABLOADI

Hocam örnekte belirttiğim gibi 
işlemler zaten toplu 10.000 kayıt
Bu dünyada kendine sakladığın bilgi ahirette işine yaramaz. 
Cevapla
#7
(10-12-2021, Saat: 10:20)adelphiforumz Adlı Kullanıcıdan Alıntı: ... En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes

Karşıya insert işlemi yapmak yerine bunu karşıdaki tanımlı bir Stored Procedure ı çağırma şekline çevirmek uygun olur mu? Sonuçta karşıya insert işlemi çalışacak ama bunu oradaki Stored Procedure çağrıldığı için daha kısa sürede bitirecektir.
Cevapla
#8
Eğer tablolarda indexleme yoksa iki sunucu arasındaki kayıt hızı aynı olması lazım.

Insert Cumlenizi bir procedure yada bazen çok değişik sonuçlar veriyor
Table Function'a yazarak yapmanızı öneririm.
table functionlar iş yükünü sql'e yükleidiğinden güzel sonuçlar çıkıyor.

Birde her iki SQL Server de
Insert ve Select edeceğiniz Tablolar için öncelikle kesinlikle
UPDATE STATISTICS Tablo adı yazarak çalıştırın.

Insert cümlenizin en üstünde bu kod ile birlikte çalıştırıp bir deneyin.
DBCC DROPCLEANBUFFERS


Table Function yada Stored Procedure de denemenizi öneririm.
Cevapla
#9
(11-12-2021, Saat: 11:07)sabanakman Adlı Kullanıcıdan Alıntı:
(10-12-2021, Saat: 10:20)adelphiforumz Adlı Kullanıcıdan Alıntı: ... En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes

Karşıya insert işlemi yapmak yerine bunu karşıdaki tanımlı bir Stored Procedure ı çağırma şekline çevirmek uygun olur mu? Sonuçta karşıya insert işlemi çalışacak ama bunu oradaki Stored Procedure çağrıldığı için daha kısa sürede bitirecektir.

@sabanakman 
hocam buraki sorunum; Örnekte belirtiğim gibi dışarıya kapalı(A) sunucundan dışarıya açık olan (B) sunucusu üzerine veri aktarmam gerekiyor
Bu nedenle veriyi A dan okuyup B ye yazmak durumunda

Arkadaşlar son olarak aşağıdaki yöntemle yapmaya karar verdim. 
Yaklaşık 2-3 sn içinde 10.000 data karşıya yazılıyor.

A sunucusuna bir servis yazıldı
B sunucusuna bir API Servis oluşturuldu

A sunucusu veriyi alıp JSON data haline çevirip 2000 lik paketler halinde B sunucusundaki API'ye basıyor
API bu JSON datayı alıp B sunucusunda oluşturulmuş TableType yapısında bir StoreProcedure basıyor
StoreProcedure TableType içindeki kayıtları toplu olarak inset yapıyor.

Sonuçta işlemler olduça kısa bir sürede bitmiş oluyor.

Fikir paylaşımı sağlayan tüm arkadaşlara tekrardan 
TEŞEKKÜRLER
Bu dünyada kendine sakladığın bilgi ahirette işine yaramaz. 
Cevapla
#10
SELECT * INTO musterilerYedek FROM musteriler
bu şekilde denermisiniz?
Cevapla


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  Çözüldü - firedac phys odbc microsoft odbc sql server driver connection is busy with cinarbil 1 877 14-10-2025, Saat: 09:14
Son Yorum: hi_selamlar
  Türkçe karakter sorunu barissagir 2 1.638 31-08-2024, Saat: 15:52
Son Yorum: barissagir
  SQl sorgu sonucunu JSON olarak almak istiyorum. [Çözüldü] Bay_Y 0 892 26-08-2024, Saat: 13:04
Son Yorum: Bay_Y
  Tek sorguda iki sonuç (Çözüldü) cinarbil 4 2.143 05-03-2024, Saat: 08:41
Son Yorum: cinarbil
  Tarihin ayın kaçıncı haftası olduğu nasıl bulunur (Çözüldü) adelphiforumz 3 2.250 19-10-2023, Saat: 12:27
Son Yorum: serdar



Konuyu Okuyanlar: 1 Ziyaretçi