Yorumları: 856
Konuları: 40
Kayıt Tarihi: 11-11-2016
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 4.385 Uzman
25-11-2019, Saat: 12:59
(Son Düzenleme: 25-11-2019, Saat: 13:18, Düzenleyen: hi_selamlar.)
(24-11-2019, Saat: 23:03)wiseman Adlı Kullanıcıdan Alıntı: (24-11-2019, Saat: 21:21)frmman Adlı Kullanıcıdan Alıntı: Merhaba @"wiseman"
Biraz daha detay verirsen nokta atışı çözüm önerileri alma ihtimaliniz daha fazla olur.
Siz donanım üzerinde yoğunlaştınız, buda bir seçenek ama sorgu teknigi database konfigrasyonu vb durumlar ile belki problem çözülecek.
9 Milyon veri tek bir tablodamı bulunuyor ve siz sadece bu tablodanmı sorgulama yapıyorsunuz?
Normal bir sorguda bu 9 milyon kaydın ne kadarı sorgu sonucu olarak dönüyor?
Sorgunuzda join kullanıyormusunuz?
Where cümlenizin içeriği nasıl?
Sorgu cümleniz storedprocedure şeklindemi yoksa cümleniz uygulama içinde bir query nesnesi içindemi?
.....
Uzakdaki bir sunucudan evdeki makinadan yaptığım test sonucu, yaklaşık 41M lik bir tablodan örnek sorgu cevap süresi
Mysql Cluster 7.3.2 da test edildi. (Open Suse 128GB ram, Raid 6 SSD diskli makina)
explain select * from hareketler
where zaman = '2015-02-18 12:52:17'
> OK
> Time: 0,067s
Benzer test kendi makinamda yaptım. Bu sefer 19M kayıt var, ve sorgu sonucunda 75 bin satır cevap döndü
Test : Mysql Cluster 7.3.2 (Windows 10 16GB Ram M2 Diskli makina)
select * from hareketler where zaman <'2013-06-03 12:11:09'
> OK
> Time: 0,431s
Selamlar,
Ağdaki veritabanı mysql ve verilerim tek tabloda 3 field olarak tutuluyor. Ad, zaman, deger. AD=String, ZAMAN=datetime, DEGER=numeric
Tabloki sorgum şu:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
buradaki sorgu değerlerinin toplamından alınan sonuçları, client makinedeki sqlite veritabanına yazıyorum.
bu sorguyu 326 farklı sayaç için dönderip, değerleri 326 defa sqlite tabloma yazmış oluyorum.
benim claptopumda işlemler 40 saniyede tamamlanmış oluyor. (SSD, 16 GB RAM, I7 işlemci)
müşteri clientinde 5 dakika sürüyor. (SATA, 4 GB RAM, I5 işlemci)
Merhabalar,
İzninizle bir kaç soru/önerim olacak.
Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin. Belli bir ölçüde işlem hızlanacaktır.
Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?
Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Yorumları: 704
Konuları: 75
Kayıt Tarihi: 20-12-2018
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 1.636 Programcı
(25-11-2019, Saat: 12:59)hi_selamlar Adlı Kullanıcıdan Alıntı: (24-11-2019, Saat: 23:03)wiseman Adlı Kullanıcıdan Alıntı: Selamlar,
Ağdaki veritabanı mysql ve verilerim tek tabloda 3 field olarak tutuluyor. Ad, zaman, deger. AD=String, ZAMAN=datetime, DEGER=numeric
Tabloki sorgum şu:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
buradaki sorgu değerlerinin toplamından alınan sonuçları, client makinedeki sqlite veritabanına yazıyorum.
bu sorguyu 326 farklı sayaç için dönderip, değerleri 326 defa sqlite tabloma yazmış oluyorum.
benim claptopumda işlemler 40 saniyede tamamlanmış oluyor. (SSD, 16 GB RAM, I7 işlemci)
müşteri clientinde 5 dakika sürüyor. (SATA, 4 GB RAM, I5 işlemci)
Merhabalar,
İzninizle bir kaç soru/önerim olacak.
Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin. Belli bir ölçüde işlem hızlanacaktır.
Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?
Kolay gelsin.
1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor. Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Yorumları: 856
Konuları: 40
Kayıt Tarihi: 11-11-2016
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 4.385 Uzman
(25-11-2019, Saat: 13:41)wiseman Adlı Kullanıcıdan Alıntı: (25-11-2019, Saat: 12:59)hi_selamlar Adlı Kullanıcıdan Alıntı: Merhabalar,
İzninizle bir kaç soru/önerim olacak.
Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin. Belli bir ölçüde işlem hızlanacaktır.
Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?
Kolay gelsin.
1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor. Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.
Merhabalar,
"sayac sahasını varchar yerine int olarak güncelleyip denediniz mi?" Hız da bir artış gözlemlediniz mi
Düşüncemi paylaşmak istiyorum izninizle.
1. cevap > Server'da Veriler devamlı yeni yazılıyor ise kullanıcının localdaki tabloya bakarak sorgu alması hatalı olur.
2. cevap > 1. Select sorgunuz (sadece Select sorgunuz SQLite aktarım olmadan) kaç saniyede geliyor?
2. Gelen select sorgusunu SQLite db ye kaç saniyede aktarıyor? ve Hesaplamalarınız dahil?
( Anladığım kadarı ile siz döngü ile select cümlesinden gelen verileri SQLite db ye aktarıyorsunuz değil mi?
sonrasında tekrar yeni bir döngü ile hesaplama yaptırıyorsunuz? )
3. cevap > Select ile hesaplamalarınızı (Server > SQL den) neden yazdırarak sonuç almıyorsunuz? ( SP vs. gibi)
4. cevap > Server DB de, trigger ile başka bir tabloya sayaçların hesaplanmış alanlarını kaydedip sonrasında bu tablo üzerinden direkt select yapmayı düşündünüz mü?
Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Yorumları: 150
Konuları: 17
Kayıt Tarihi: 01-08-2018
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 495 Acemi
İmkanın varsa nosql dbleri araştırmanı öneririm
İmam Süleyman Yakub <--> Molla Mustafa Mansur
Evlatlarım!
Cismanımız TÜRK ruhumuz ise İSLAM.
Bu yolda daim olalım her an.
Yorumları: 240
Konuları: 6
Kayıt Tarihi: 22-10-2018
Aktif Kullandığınız Delphi Sürümü:
- Delphi 10.2
- Delphi 10.1
- Delphi 7
- Lazarus / FPC
Rep Puanı: 1.924 Programcı
(25-11-2019, Saat: 13:41)wiseman Adlı Kullanıcıdan Alıntı: 1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor. Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.
Sanırım yavaşlığın birinci nedeni sorgu sonucunun aktarımı, ikinci nedeni ise lokal SQLite db'ye yazmak. SQLite yerine başka bir lokal DB kullansanız da sonuç değişmez, SQLite benim şimdiye kadar kullandığım en hızlı lokal DB diyebilirim (Paradox'tan bile).
Ayrıca tabloyu InnoDB'ye çevirmek işi daha da yavaşlatacaktır, çünkü MyISAM daha hızlıdır.
Eğer tüm veriyi kullanıcı bilgisayarına göndermek zorunluluğu yoksa, hesaplamaları sunucuda, hatta bir Stored Procedure'de yapıp sonuçları göndermek çok daha verimli olacaktır.
Yorumları: 453
Konuları: 14
Kayıt Tarihi: 07-09-2016
Aktif Kullandığınız Delphi Sürümü:
- Delphi 10.1
- Delphi XE7
- Delphi XE2
- Delphi 7
Rep Puanı: 1.833 Programcı
(25-11-2019, Saat: 11:02)wiseman Adlı Kullanıcıdan Alıntı: Hepinize verdiğiniz cevaplardan dolayı çok teşekür ederim. Öncelikle, MYISAM olan tablo yapısını INNODB olarak değiştirip, performans ölçümüne geçeceğim.
MYISAM tablo yapısında, Server üzerinde sadece select çeken bir exeyi çalıştırdım. Bu süre, 13 saniye de tamamlandı. 10 milyon satır dbgride listelendi.
Yine ağ üzerinden kendi laptopumda aynı exeyi çalıştırınca, 10 milyon kayıtın listelenmesi 2 dakika sürdü.
@edo , sizin söylediğiniz şekliyle zaten, sadec 1 tablodan veri çekiyorum. Dolayısı ile select yapısı sadece 1 tablo üzerinde dönüyor. Dediğiniz gibi tarih alanının index yapısına bakacağım.
@frmman İndex yapısına gelince, tablomdaki 3 alanı da indexledim.
@mustafaozpinar süre ölçümleri konusunda, server bize gereken cevabı veriyor. bırakın 15 saniyeyi 40 saniyeye razıyım raporun sonuçlanması adına
Sunucuya bağlanırken, unidac bileşenlerini kullanıyorum. Acaba Firedac bileşenleri ile bağlandığımda sonuç değişir mi diye düşünmeye başladım.
Programın özüne gelince; 326 adet elektrik sayacı bir tabloma, dakikada bir sayaç değerlerini aktarıyor. Ben, seçilen tarih aralığında, ki bu aralık genelde 30 gün, bu 326 sayacın herbirinin değerini bu tablodan bulmak, üzerinde hesaplama yapmak, maliyetlerini hesaplamak ve bunu da ekranda göstermek üzere yazdım programı. Normalte sadece serverda çalışacak şeklinde yanlış bir bilgilendirilme ile yola çıktığımdan dolayı, programın teslimine 1 hafta kala (1 Aralık ) "bu program yavaş çalışıyor, bu zamanda böyle teknoloji mi olur" şeklinde müşteri tepkisine maruz kaldığım için, psikolojik olarak ta baskı altında olduğumdan, sağlıklı düşünemiyorum. Bu sebeple sizlerin yardımına şu etapta oldukça ihtiyacım var.
10 milyon kayıdı listelemek, client'a çekmek vs. hepsi tuhaf hareketler bence. Kim 10 milyon kayıt üzerinde gezip, nasıl bir işlem yapacak ki? İhtiyaç olan kayıtları filtreleme, gruplama ya da sayfalama yapmak gibi bir takım yöntemler yapmak daha mantıklı ve makul geliyor bana. 10 milyon kayıdı network üzerinde gezdirmek, db'den çekmek vs. yaptığınız iş roket bilimi gerektirmiyor ise normal değil bence. Durumu yeniden farklı bir bakış açısı ile gözden geçirmenizi tavsiye ederim.
Yorumları: 25
Konuları: 0
Kayıt Tarihi: 24-09-2019
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 160 Başlangıç
@edo'nun da belirttiği gibi yapılmaya çalışılan işlemler normal şeyler değil.
İlişkisel veritabanı sunucularının tek işlevi data saklamak ve data servis etmek değildir. Büyük dataları işlemlerden geçirip özetlemek ve sonucu servis etmek en temel özelliklerindendir. Bunu grup fonksiyonları, analitik donksiyonlar, kendi yazacağınız prosedürler/fonksiyonlar ile yapabilirsiniz. Milyonlarca satır datayı clinetla alıp clientda işlemek ve sonucu sunmak doğal şartlarda hiçbir zaman kısa süremez. Bugün 10 milyon olan kayıt sayısı yarın 20 milyon, öbürgün 50 milyon olacaktır.
Client'a her zaman işlenmiş sadece gerekli olan data gelmelidir. 10 Milyon kayıt için SQL sonucu atıyorum 5 saniyede gelebilir, ama tüm kayıtların fetch edilmesi dakiklar sürecektir. Birkaçyüz ya da birkaçbin kaydı içeren ilk sonucun 5 saniyede ekrana gelmesi SQL'in 5 saniyede çalıştığı anlamına gelmez. Evet SQL sunucu açısından 5 saniyede çalışmıştır ama sonuçların tümü 5 saniyede elinizde olmamıştır/olamaz.
Yorumları: 704
Konuları: 75
Kayıt Tarihi: 20-12-2018
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 1.636 Programcı
Herkese selamlar,
İlgili konu başlığımdaki, programın yavaş çalışması hakkında bana yazan ve fikirler veren,
@ serdar , @ nguzeller , @ frmman , @ mustafaozpinar , @ vkamadan , @ engerex , @ edo , @ esistem , @ hi_selamlar , @ ahmet_sinav , @ delphim hepinize teşekkür ederim. Özellikle telefonla sürekli bana destek veren @ uparlayan hocama, ayrıca nezdinizde teşekkür ederim. Sorunumu bugün itibarı ile, çözüme ulaştırdım. Yapılan işleme gelince;
Unidac componenti yerine Firedac componentlerini kullandım. Programın çalıştığı Clientlerdeki, SQLite veritabanı yerine, TClientdataset ve VirtualQuery bileşenlerini kullanarak, veri yazım ve hesaplama işlemlerini tamamen, TClientdataset üzerinde bitirdim. Son olarak DBGridler aracılığı ile, TClientdataset i ekrana yansıttım.
Süre hesaplamalarına gelince, 12 Milyon Satırlık veriler arasından sorgulama ve hesaplama işlemleri;
Server : 4 Saniye,
SSD li PC : 5 Saniye
Sata lı PC : 11 Saniye olarak ölçümlenmiştir. Hepinize kolaylıklar dilerim.
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Yorumları: 856
Konuları: 40
Kayıt Tarihi: 11-11-2016
Aktif Kullandığınız Delphi Sürümü:
Rep Puanı: 4.385 Uzman
(28-11-2019, Saat: 16:43)wiseman Adlı Kullanıcıdan Alıntı: Herkese selamlar,
İlgili konu başlığımdaki, programın yavaş çalışması hakkında bana yazan ve fikirler veren,
@serdar , @nguzeller , @frmman , @mustafaozpinar , @vkamadan , @engerex , @edo , @esistem , @hi_selamlar , @ahmet_sinav , @delphim hepinize teşekkür ederim. Özellikle telefonla sürekli bana destek veren @uparlayan hocama, ayrıca nezdinizde teşekkür ederim. Sorunumu bugün itibarı ile, çözüme ulaştırdım. Yapılan işleme gelince;
Unidac componenti yerine Firedac componentlerini kullandım. Programın çalıştığı Clientlerdeki, SQLite veritabanı yerine, TClientdataset ve VirtualQuery bileşenlerini kullanarak, veri yazım ve hesaplama işlemlerini tamamen, TClientdataset üzerinde bitirdim. Son olarak DBGridler aracılığı ile, TClientdataset i ekrana yansıttım.
Süre hesaplamalarına gelince, 12 Milyon Satırlık veriler arasından sorgulama ve hesaplama işlemleri;
Server : 4 Saniye,
SSD li PC : 5 Saniye
Sata lı PC : 11 Saniye olarak ölçümlenmiştir. Hepinize kolaylıklar dilerim.
Merhabalar,
Çözüme kavuştuğunuza sevindim.
Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Yorumları: 859
Konuları: 9
Kayıt Tarihi: 17-11-2016
Rep Puanı: 1.774 Programcı
Unidac componenti yerine Firedac kullananız ek bir hız sağladımı Unidac daha iyi gibi düşüyordum
|