Konuyu Paylaş : facebook gplus twitter

Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
Büyük sql veritabanı için yardım
#1
Merhabalar
Php yazdığım script ile bir sözlük sitesinden çektiğim yaklaşık 30 milyon kayıtlı ve 3 Gb yakın bir sözlük veritabanı elimde var ve bunu delphi taşınabilir bir program ile hızlı bir şekilde arama yapmak istiyorum. Mysql veya postgresql gibi veri tabanı yönetim sistemlerinde kullanmak istesem sunucuya ihtiyaç duyduğu için taşınabilir olmuyor. Her zaman kullandığım componentace absolute database ile bunu yapmak istedim ama test ettim çok çok yavaş olduğu için işimi görmedi. Daha hızlı olur diye Sqlite ile yapmayı düşündüm ama karar veremedim. Bana bu konuda yardımcı olabilirmisiniz?

Diğer bir sorum ise; sözlük programında mevcut veritabanında arama yapacak ve çıkan sonuç olmaz ise bu aradığım sözcüğü daha önce çektiğim siteden arama yaparak çıkan sonucu mevcut benim sözlük veritabanına ekliyebileceğim bir şekilde yapmak istiyorum. Bunu daha önce php ile yaptım ama Delphide bunu yapınca biraz sıkıntı çektim. Geçenlerde açılan "Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol" konusuna baktım ama veri çekmeden ziyade sözcük arama olduğu için fazla uğraşma imkanım olmadı.
Cevapla
#2
Merhaba,
DBIsam deneyebilirsin (Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol),
kurulum gerektirmiyor, text index yapabiliyorsun, veritabanını şifrelebiliyorsun
tabii çok uzun zaman önce kullanmıştım, 10-12 yıl kadar önce Smile
Cevapla
#3
Mysql embedded veya sqlite kullanabilirsin bu tür uygulamalar için ikiside iş görür.
Cevapla
#4
sql-lite 'ın büyük verilerde sıkıntı yaşadığını söylerler genelde.
Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol
Kuvvete dayanamayan adalet aciz, 
Adalete dayanamayan kuvvet zalimdir.
WWW
Cevapla
#5
Sorun bozulmalardan kaynaklanıyor. Büyük veriler oluşturulabilir. Sözlük gibi tek veya çift tabloda tutulacak bir veritabanında çok fazla sıkıntı olacağını sanmıyorum. SQLite için büyük verilerin yedeklenebileceği bir uygulama var. 

Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol buradaki Linkleri Görebilmeniz İçin Giriş yap veya Üye Ol

Tek veya çift tablo için mysql ve sqlite çok hız farklı olmaz bence. Gömülü yapılar metin tabanlı olduğu için bozulma ihtimalleri her zaman var. Mysql avantajı veritabanı bozuldu mu kurtarma şansın daha fazla. Ben myisam repair edebiliyorum fakat forumlarda yazdığı kadarı ile verikaybı olabiliyormuş. SQlite bozulduğunda kurtaramadığım çok fazla kayıt oldu.
Cevapla
#6
Yorumlarınız için hepinize teşekkür ederim.
Sqlite ile yapmayı planladım ve Elimdeki veritabanı sql uzantısında olduğu için ve büyük olduğu için önce postgresql ile import ettim ve yaklaşık 3 saat sürdü sonra "ESF Database Migration Toolkit" programı ile bunu dün geceden beri sqlite veritabanına çeviriyorum bu dönüştürme işlemi ortalama 18 saattir devam ediyor ve yarısına dahi gelmemiş. Bir o kadar da sürecek gibi. Kullandığım bilgisayar gereksinimleri ise i5, 6 gb ram..

Sizce bunun böyle çok çok yavaş dönüştürmesi doğal birşeymi? Dönüştürme ilerliyor ama çok yavaş işliyor. Acaba sqlite den kaynaklanan birşeymidir çünkü daha önce aynı veritabanını access veritabanına dönüştürdüğümde 3 saat içerisinde tamamlıyordu.

Tekrardan Veritabanı önerisi olan hocalarım mutlaka değerli yorumlarını bekliyorum.
Cevapla
#7
Kendin programlayarak yapabilirdin bence. SQLite veritabanını tasarlardın. Aynı ekrandan PostgreSQL ve SQLite bağlanıp döngü ile aktarabilirdin. 18 saat süreceğini sanmıyorum. Bi yanlışlık olabilir
Cevapla

Konuyu Paylaş : facebook gplus twitter



Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  Veritabanı resim insert/update hinevi 4 201 07-03-2018, Saat: 22:05
Son Yorum: mcuyan
  tclientsocket ve tserversocket komponenti yardım eskalibur_ 1 86 01-03-2018, Saat: 18:04
Son Yorum: canbir
  Youtube için kesin çözüm nedir Lord_Ares 20 640 24-02-2018, Saat: 08:47
Son Yorum: Lord_Ares
Information Delphi Mail Gönderme İçin Alternatif hyperxman 4 749 27-12-2017, Saat: 21:14
Son Yorum: hyperxman
  Thread Yardım SecondLife 11 388 06-12-2017, Saat: 17:44
Son Yorum: SecondLife



Konuyu Okuyanlar: 1 Ziyaretçi