Tekrar eden kodları bulma.

[enigma]

Herkese Merhaba.

Elimde 15 karakterlik 32 milyon satır (text) kod var.  Bunlar toplam 500 farklı dosya içinde dağınık. Bunların (32 milyonun) içinde tekrarlı kodlar olduğu söyleniyor ve bulmam isteniyor. Adet bu kadar çok olmasaydı Sorted olan LisstBox ile çözerdim ama miktar 32 milyon olunca durum değişiyor. 

Bu problemi çözebilecek en kolay yol nedir ? Ne tavsiye edersiniz ?

Teşekkürler.

[serdar]

Merhaba Mssql 'de openrowset kullanarak insert yapıp sorgulayabılırsınız

[engerex]

Bubble sort, insertion sort, shell sort vs. İçeriğe ve boyuta göre analiz edip kullanmak gerekli.

[Bay_Y]

bende sorununuzun SQl Server üzerinde çözülebileceğini düşünüyorum çok daha fazla miktarlarda başarılı olduğunu gördüm. SQl ile yapılan şeyleri gördükçe şaşırmamak mümkün değil, SQl bilginiz iyi ise halledebileceğinizi düşünüyorum.

[mkysoft]

Bu islemi bir kere yapacaksaniz google bigquery ya da microsoft power bi kullanabilirsiniz.

[FiRewaLL]

https://mega.nz/file/3pJzzITB#a9T8-bLa2B...dX3X0LbFGQ
Bir ara başka amaçlar için yazıştım.
Programı açtığınızda diğer işlemlerde Txtler içinde Tekrar edenleri vb işlemleri yapacaktıır.
Büyük Txt Split or Joinde Txtlerini birleştirip parçalayabilirsiniz. İstediğiniz boyutlarda yada istediğiniz satır sayısında

işinizi görür umarım.