Konuyu Paylaş : facebook gplus twitter

Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
Büyük sql veritabanı için yardım
#1
Merhabalar
Php yazdığım script ile bir sözlük sitesinden çektiğim yaklaşık 30 milyon kayıtlı ve 3 Gb yakın bir sözlük veritabanı elimde var ve bunu delphi taşınabilir bir program ile hızlı bir şekilde arama yapmak istiyorum. Mysql veya postgresql gibi veri tabanı yönetim sistemlerinde kullanmak istesem sunucuya ihtiyaç duyduğu için taşınabilir olmuyor. Her zaman kullandığım componentace absolute database ile bunu yapmak istedim ama test ettim çok çok yavaş olduğu için işimi görmedi. Daha hızlı olur diye Sqlite ile yapmayı düşündüm ama karar veremedim. Bana bu konuda yardımcı olabilirmisiniz?

Diğer bir sorum ise; sözlük programında mevcut veritabanında arama yapacak ve çıkan sonuç olmaz ise bu aradığım sözcüğü daha önce çektiğim siteden arama yaparak çıkan sonucu mevcut benim sözlük veritabanına ekliyebileceğim bir şekilde yapmak istiyorum. Bunu daha önce php ile yaptım ama Delphide bunu yapınca biraz sıkıntı çektim. Geçenlerde açılan "Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol" konusuna baktım ama veri çekmeden ziyade sözcük arama olduğu için fazla uğraşma imkanım olmadı.
Cevapla
#2
Merhaba,
DBIsam deneyebilirsin (Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol),
kurulum gerektirmiyor, text index yapabiliyorsun, veritabanını şifrelebiliyorsun
tabii çok uzun zaman önce kullanmıştım, 10-12 yıl kadar önce Smile
Cevapla
#3
Mysql embedded veya sqlite kullanabilirsin bu tür uygulamalar için ikiside iş görür.
Cevapla
#4
sql-lite 'ın büyük verilerde sıkıntı yaşadığını söylerler genelde.
Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol
Kuvvete dayanamayan adalet aciz, 
Adalete dayanamayan kuvvet zalimdir.
WWW
Cevapla
#5
Sorun bozulmalardan kaynaklanıyor. Büyük veriler oluşturulabilir. Sözlük gibi tek veya çift tabloda tutulacak bir veritabanında çok fazla sıkıntı olacağını sanmıyorum. SQLite için büyük verilerin yedeklenebileceği bir uygulama var. 

Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol buradaki Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol

Tek veya çift tablo için mysql ve sqlite çok hız farklı olmaz bence. Gömülü yapılar metin tabanlı olduğu için bozulma ihtimalleri her zaman var. Mysql avantajı veritabanı bozuldu mu kurtarma şansın daha fazla. Ben myisam repair edebiliyorum fakat forumlarda yazdığı kadarı ile verikaybı olabiliyormuş. SQlite bozulduğunda kurtaramadığım çok fazla kayıt oldu.
Cevapla
#6
Yorumlarınız için hepinize teşekkür ederim.
Sqlite ile yapmayı planladım ve Elimdeki veritabanı sql uzantısında olduğu için ve büyük olduğu için önce postgresql ile import ettim ve yaklaşık 3 saat sürdü sonra "ESF Database Migration Toolkit" programı ile bunu dün geceden beri sqlite veritabanına çeviriyorum bu dönüştürme işlemi ortalama 18 saattir devam ediyor ve yarısına dahi gelmemiş. Bir o kadar da sürecek gibi. Kullandığım bilgisayar gereksinimleri ise i5, 6 gb ram..

Sizce bunun böyle çok çok yavaş dönüştürmesi doğal birşeymi? Dönüştürme ilerliyor ama çok yavaş işliyor. Acaba sqlite den kaynaklanan birşeymidir çünkü daha önce aynı veritabanını access veritabanına dönüştürdüğümde 3 saat içerisinde tamamlıyordu.

Tekrardan Veritabanı önerisi olan hocalarım mutlaka değerli yorumlarını bekliyorum.
Cevapla
#7
Kendin programlayarak yapabilirdin bence. SQLite veritabanını tasarlardın. Aynı ekrandan PostgreSQL ve SQLite bağlanıp döngü ile aktarabilirdin. 18 saat süreceğini sanmıyorum. Bi yanlışlık olabilir
Cevapla

Konuyu Paylaş : facebook gplus twitter



Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  Büyük Sayılarla Çalışmak narkotik 12 202 02-09-2018, Saat: 23:57
Son Yorum: narkotik
  Delphi 10.3.2 Cominity için Sui Pack ve Rave Report konusu Bafehan 9 308 09-08-2018, Saat: 20:48
Son Yorum: Bafehan
  Marketler icin yazilim BlackHawk 5 369 26-07-2018, Saat: 08:42
Son Yorum: Tuğrul HELVACI
  yazıcı için form tasarımı yapmak. Bay_Y 4 269 17-07-2018, Saat: 16:01
Son Yorum: engerex
  Masaüstü için sanal klavye yapmak narkotik 7 287 13-07-2018, Saat: 21:51
Son Yorum: narkotik



Konuyu Okuyanlar: 1 Ziyaretçi