Delphi Can
Toplu insert işlemi hız sorunu (Çözüldü) - Baskı Önizleme

+- Delphi Can (https://www.delphican.com)
+-- Forum: Veri Tabanı (https://www.delphican.com/forumdisplay.php?fid=4)
+--- Forum: MS SQL Server (https://www.delphican.com/forumdisplay.php?fid=103)
+--- Konu Başlığı: Toplu insert işlemi hız sorunu (Çözüldü) (/showthread.php?tid=6473)



Toplu insert işlemi hız sorunu (Çözüldü) - adelphiforumz - 09-12-2021

Merhabalar

Farklı 2 MS SQL server arasında en hızlı data aktarımını sağlamanın bir yolu varmıdır.

A Server'ından edilen bir sorgu sonucunu B Server'ı üzerindeki bir tabloya insert etmenin en hızlı yolu nedir acaba.

Bağlantı şekli A Server'ı B Server'ına "Linked Server" ile bağlıdır.
Sorgu sonucunda yaklaşık 5 adet integer, 3 adet datetime, 5 adet bit, 6 adet nvarchar(100) şeklinde alan mevcuttur.

Benim şu anda kullandığım yöntem başitçe aşağıdaki şekildedir.
Bu yöntemle 10.000 adet satır yaklaşık 50 saniye sürmektedir.

Insert into LNKSRV.xxxx.DB (A,B,C....)
Select A,B,C.... from LOCAL.xxxx.DB

Teşekkürler


Toplu insert işlemi hız sorunu - FiRewaLL - 10-12-2021

10.000 Adet insert'i 50 sn sürüyorsa eğer bence Insert edilen tabloda yada Db de bir sorun var.
Geçenlerde buna benzer bir işlem yaptım 12 bin küsür satır 3 snde Insert etti.

Lınked Server aslında bu durumda en hızlı olabilecek durumlardan biri. Hatta Şahsen benim bildiğim kadarıyla en hızlı yöntem.

Diğer bir yöntem olarak bi windows service ile işlem çözülebilir.


Cvp: Toplu insert işlemi hız sorunu - adelphiforumz - 10-12-2021

Bir test sonucunu paylaşmak istedim.

A Sunucusu B sunucusuna 10.000 adet kaydı yazmak isterse süre 50-55 saniye civarı sürüyor.
Fakat B sunucusu A sunucundaki dataya Select çekip B sunucusuna yazarsa bu süre 1 sn ancak sürüyor.

Bu test her iki tarafın birbirinde veri alıp yazması şeklinde test edildi.
En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes


Toplu insert işlemi hız sorunu - mrmarman - 10-12-2021

sunuculardan insert işlemi yavaş olanın  tablolara tanımlı index sayısı fazla olabilir mi?

Select hızlı olsun diye olası yapılan bir index sayısı arttırımı, insert işlemlerinde ayağınıza dolanıyor olmalı.


Cvp: Toplu insert işlemi hız sorunu - narkotik - 10-12-2021

Toplu insert yaptığınızda sonuç ne oluyor acaba örn:

INSERT INTO LOCALTABLO(ALANLAR) SELECT ALANLAR FROM LINKED.DATABASE.TABLOADI



Cvp: Toplu insert işlemi hız sorunu - adelphiforumz - 10-12-2021

(10-12-2021, Saat: 11:21)mrmarman Adlı Kullanıcıdan Alıntı: sunuculardan insert işlemi yavaş olanın  tablolara tanımlı index sayısı fazla olabilir mi?

Select hızlı olsun diye olası yapılan bir index sayısı arttırımı, insert işlemlerinde ayağınıza dolanıyor olmalı.

Auto number key alanı var 
hiç index yok hocam
garip olan her iki yönde de karşıdan select yapılınca çok hızlı

(10-12-2021, Saat: 11:36)narkotik Adlı Kullanıcıdan Alıntı: Toplu insert yaptığınızda sonuç ne oluyor acaba örn:

INSERT INTO LOCALTABLO(ALANLAR) SELECT ALANLAR FROM LINKED.DATABASE.TABLOADI

Hocam örnekte belirttiğim gibi 
işlemler zaten toplu 10.000 kayıt


Cvp: Toplu insert işlemi hız sorunu - sabanakman - 11-12-2021

(10-12-2021, Saat: 10:20)adelphiforumz Adlı Kullanıcıdan Alıntı: ... En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes

Karşıya insert işlemi yapmak yerine bunu karşıdaki tanımlı bir Stored Procedure ı çağırma şekline çevirmek uygun olur mu? Sonuçta karşıya insert işlemi çalışacak ama bunu oradaki Stored Procedure çağrıldığı için daha kısa sürede bitirecektir.


Toplu insert işlemi hız sorunu - FiRewaLL - 11-12-2021

Eğer tablolarda indexleme yoksa iki sunucu arasındaki kayıt hızı aynı olması lazım.

Insert Cumlenizi bir procedure yada bazen çok değişik sonuçlar veriyor
Table Function'a yazarak yapmanızı öneririm.
table functionlar iş yükünü sql'e yükleidiğinden güzel sonuçlar çıkıyor.

Birde her iki SQL Server de
Insert ve Select edeceğiniz Tablolar için öncelikle kesinlikle
UPDATE STATISTICS Tablo adı yazarak çalıştırın.

Insert cümlenizin en üstünde bu kod ile birlikte çalıştırıp bir deneyin.
DBCC DROPCLEANBUFFERS


Table Function yada Stored Procedure de denemenizi öneririm.


Cvp: Toplu insert işlemi hız sorunu - adelphiforumz - 12-12-2021

(11-12-2021, Saat: 11:07)sabanakman Adlı Kullanıcıdan Alıntı:
(10-12-2021, Saat: 10:20)adelphiforumz Adlı Kullanıcıdan Alıntı: ... En kısa süre her zaman, Select olarak karşı serverdan bilgiyi okuyup kendisindeki veritabanına yazması şeklinde sonuçlanıyor.

Rolleyes

Karşıya insert işlemi yapmak yerine bunu karşıdaki tanımlı bir Stored Procedure ı çağırma şekline çevirmek uygun olur mu? Sonuçta karşıya insert işlemi çalışacak ama bunu oradaki Stored Procedure çağrıldığı için daha kısa sürede bitirecektir.

@sabanakman 
hocam buraki sorunum; Örnekte belirtiğim gibi dışarıya kapalı(A) sunucundan dışarıya açık olan (B) sunucusu üzerine veri aktarmam gerekiyor
Bu nedenle veriyi A dan okuyup B ye yazmak durumunda

Arkadaşlar son olarak aşağıdaki yöntemle yapmaya karar verdim. 
Yaklaşık 2-3 sn içinde 10.000 data karşıya yazılıyor.

A sunucusuna bir servis yazıldı
B sunucusuna bir API Servis oluşturuldu

A sunucusu veriyi alıp JSON data haline çevirip 2000 lik paketler halinde B sunucusundaki API'ye basıyor
API bu JSON datayı alıp B sunucusunda oluşturulmuş TableType yapısında bir StoreProcedure basıyor
StoreProcedure TableType içindeki kayıtları toplu olarak inset yapıyor.

Sonuçta işlemler olduça kısa bir sürede bitmiş oluyor.

Fikir paylaşımı sağlayan tüm arkadaşlara tekrardan 
TEŞEKKÜRLER


Toplu insert işlemi hız sorunu (Çözüldü) - apachi2006 - 13-12-2021

SELECT * INTO musterilerYedek FROM musteriler
bu şekilde denermisiniz?