Selamlar arkadaşlar
bir konuda önerinize ihtiyacım var. MYSQL B tablosunda, 720 adet alanım mevcut. İndex olarak tabloya tarih ve vardiya alanını ekledim.
İşleyişe gelince;
çalışan bir timer her saat başı, A tablosundaki, ilgili tarih ve saatteki bir satırda bulunan 40 alandaki veriyi, B tablosunun içine update ediyor.
insert işlemi gerçekleşmeden önce, B tablosundaki editlenecek olan satırı select ile ilgili tarih ve saati sorgulayarak buluyorum.
Tabi buradaki sorun şu, 720 adet alanın select ile gelmesi 20 saniye sürüyor ve timeout oluyor. Update işlemi gerçekleşemeden programda hata oluşuyor.
Mecburen select * from B tablosu şeklinde SQL kullanmak durumundayım çünkü 720 alanda da formül çalışıyor.
Sorum şu:
Select* from B tablosu where tarih between'2020-03-28' and '2020-03-28' and vardiyano=1
kodundan sonra query open yaptğımda geçen süre, ortalama 15-20 saniye sürüyor. Tabloda istenen kaydın listelendiğinden emin olmalıyım ki, update kodunu devreye sokabileyim. Bunun için nasıl bir yöntem izlemeliyim?
Şu andaki yöntemim:
if querysorgula.recordcount >0 then
update işlemi yap şeklinde gidiyor. update işlemini bir gecikme ile yaptırsam diye düşündüm. sleep ya da wait komutları ile olmadı zaten o şekilde program duruyor.
Yardımlarınızı rica ederim.
Arkadaşlar, konu hakkında sorunum devam etmektedir. Yardımlarınızı rica ederim.
İşinize yarar mı bilmiyorum ama bence söyle bir yöntem izlenebilir.
Öncelikle yapılan her işlemde uniq bir numara olduğunu farzediyorum yok ise oluşturulmasını tavsiye ediyorum. Bu İşlemNo da olabilir mesela yapılan işlem tek kalem ise sorun yok ama birden fazla ise o işlemlerinin hepsinin işlemno sunı aynı yapıyorum.
ilk olarak bu tablo ile ilgili her kayıt,değişiklik veya silme işlemi yapıldığında farklı bir tabloya mesela "tempXX" bu işlemle ilgili islemno su bu diye bir kayıt atıyorum ve attığım kayıt tarihini yazıyorum. Sonrasında işleyeceğim kayıtlara burdan bakarak karar veriyorum. Şöyle diyelim ki bir seferde 100 kayıt işleyeceksem diyorum ki sorgu ya
between Min(islemno) and min(islemno+100) yani en düşük kayıt numarası ve sonrasında kaç kayıt işleyeceksem bu kayıt sayısı bekleme süresine göre azaltılıp çoğaltılabilir. Bunu islemno ya göre yapma sebebim kayıtların birden fazla da olabileceğinden dolayı ben islem nosuna göre işlenenleri takip edeceğim. Bu şekilde işlem istediğim diğer tabloya aktarıldıktan sonra dönüp tempXX tablosundan verdiğim aralık içindeki işlemno kayıtlarını siliyorum. Dolayısıyla kendi tablomdan hangi kayıtların aktarıldğını takip edebiliyorum.
Anlatabildim mi çok emin değilim. Ama umarım size fikir verir.
Selamlar @
Bay_Y
Konu insert olsa problem değil. Ancak aynı satıra yapılacak olan update işlemi var burada. Yani A tablosuna veriler sensörlerden otomatik yazılıyor. Ben her saat başında 1. dakika geldiği zaman, A tablosundaki verileri, B tablosuna update etmem gerek. Yani, B tablosuna select ile, tarih ve vardiyano alanlarına göre filtreliyorum. Bu select cümlesinin dönmesi çok uzun sürüyor. Haliyle, sistem yanıt vermiyor. Şöyle düşünün ki, B tablosunu günde 24 defa update etmek zorundayım. Select komutundan sonra gerçekten de istediğim kayıt listelendikten sonra, bir sonraki update kodunu çalıştırabilmek adına bir bekleme işleminin olmasının yolunu arıyorum.
Merhaba,
Aslında çözüm basit. Delphi tarafında yazdığınız kodu veri tabanında bir stored procedure içine taşıyacak olursanız hiçbir sorununuz kalmaz, çünkü artık ne A tablosundan 40, ne de B tablosunda 720 alanı seçmenize gerek kalır. Tabii bu aslında sorunu ilerleyen günlere ötelemek anlamına geliyor. Bence sizin asıl yapmanız gereken, henüz yolun başındayken (umarım başındasınızdır), yeni ve daha verimli bir veri tasarımına geçmenizdir, çünkü yazdıklarınızdan anladığıma göre veritabanı tasarımıza yanlış diyemesek bile çok verimsiz diyebiliriz.
İyi çalışmalar
"Bahadır Alkaç" beyin önerdiği çözüm bence de daha basit yazılacak olan stored procedure zamanlanmış bir görevle daha aktif kullanılabilir. bahadır beyin önerdiği ikinci husuda bence önemli bu kalıcı bir çözüm olmayabilir. O yüzden veri tabanını elden geçirme olayını mümkünse bende düşünün derim.
Arkadaşlar,
Burası bir enerji üretim tesisi. Jeotermal tesis. Sahada binlerce cihaz var ve bu cihazların verileri dakikada bir okunarak kaydediliyor. Bütün motorlar, ısı sensörleri, basınç sensörleri, alarmlar vb tüm detayları kaydetmek durumundayım. Hali ile önce bunları dakikada bir temp tabloya kaydediyorum satır satır. Her bir dakikada bir tabloda 720 satır kayıt oluşuyor. Bu verilerin hepsini de 3 vardiya olarak ana tabloda 3 satırda tutmak zorundayım. Bu durumda daha farklı bir tablo yapısı önerinizi dinlemek isterim.
(07-04-2020, Saat: 00:43)wiseman Adlı Kullanıcıdan Alıntı: [ -> ]Arkadaşlar,
Burası bir enerji üretim tesisi. Jeotermal tesis. Sahada binlerce cihaz var ve bu cihazların verileri dakikada bir okunarak kaydediliyor. Bütün motorlar, ısı sensörleri, basınç sensörleri, alarmlar vb tüm detayları kaydetmek durumundayım. Hali ile önce bunları dakikada bir temp tabloya kaydediyorum satır satır. Her bir dakikada bir tabloda 720 satır kayıt oluşuyor. Bu verilerin hepsini de 3 vardiya olarak ana tabloda 3 satırda tutmak zorundayım. Bu durumda daha farklı bir tablo yapısı önerinizi dinlemek isterim.
Merhaba,
Peki verileri niye satırda tutmuyorsunuz da ısrarla sütunda tutuyorsunuz? Satır sayısının fazla olması çok dert değil, eğer performans sorunu yaşayacak olursanız (doğru indekslerle yaşamazsınız) vertical partitioning ile sorunu çözersiniz.
Radikal bir seçenek de MongoDB gibi doküman tabanlı bir veri tabanını da düşünebilirsiniz!
İyi çalışmalar
(07-04-2020, Saat: 06:46)Bahadir.Alkac Adlı Kullanıcıdan Alıntı: [ -> ] (07-04-2020, Saat: 00:43)wiseman Adlı Kullanıcıdan Alıntı: [ -> ]Arkadaşlar,
Burası bir enerji üretim tesisi. Jeotermal tesis. Sahada binlerce cihaz var ve bu cihazların verileri dakikada bir okunarak kaydediliyor. Bütün motorlar, ısı sensörleri, basınç sensörleri, alarmlar vb tüm detayları kaydetmek durumundayım. Hali ile önce bunları dakikada bir temp tabloya kaydediyorum satır satır. Her bir dakikada bir tabloda 720 satır kayıt oluşuyor. Bu verilerin hepsini de 3 vardiya olarak ana tabloda 3 satırda tutmak zorundayım. Bu durumda daha farklı bir tablo yapısı önerinizi dinlemek isterim.
Merhaba,
Peki verileri niye satırda tutmuyorsunuz da ısrarla sütunda tutuyorsunuz? Satır sayısının fazla olması çok dert değil, eğer performans sorunu yaşayacak olursanız (doğru indekslerle yaşamazsınız) vertical partitioning ile sorunu çözersiniz.
Radikal bir seçenek de MongoDB gibi doküman tabanlı bir veri tabanını da düşünebilirsiniz!
İyi çalışmalar
Mongo db yi kurdum. Test aşamasında. Ona da bakıyorum. Ancak MYSQL e göre çok farkı yok sanki.
Merhaba,
Bu tip terminallerden lüzumlu veya lüzumsuz birçok bilgi geliyor.
Önerim, datalogger cihazından aldığınız tüm veriyi bir metin olarak @
Bahadir.Alkac beyin önerdiği gibi fulltext search ve CRUD desteği olan bir DB'ye doğrudan insert etmek. Bu DB sonradan ihtiyaç duyulması durumunda (veri doğrulama veya geri yükleme vb.) sorgu yapabileceğiniz bir veri havuzu olacaktır.
Bir MiddleWare aracılığıyla front-end tarafı için mutlak ihtiyaç olan alanları (tahmini %10'u geçmez, 60-70 alan) alıp asıl veri tabanına (mySQL gibi) kaydedin.
Tüm sorguları bu veri tabanı üzerinde gerçekleştirin.