[elektro] Sok-sok adat txt fajlban

[fabi]

Sziasztok!

Gyakorlottabb kollégáktól szeretnék tanácsot kérni!
A következő a feladat:
Van egy adatbázis, a megrendelő egy nagy txt fájlban kapja, mérete kb. 
0,5-1GB. (Mezők #-el elválasztva, rekordvég CR+LF, UTF8 kódolás).

Ebből dolgozik a gépem, eddig minden jól ment, szépen beolvasom a 
memóriába, rendezem 4 mező szerint és indulhat a termelés.

Mostanában bonyolódik a dolog, két hetente hívogatnak új igényekkel, 
pld. hogy most az adatbázisból a "kékeket" kéne kihagyni, de csak akkor 
ha 8-nál nagyobb és 20-nál kisebb az ID mező, ha így fejlődnek, jövő 
héten már azokat kell előre válogatni, amelyik nevében és ID-jében 
együtt páros számú kettes számjegy van és háromnál kevesebb "b" betű.
A példák fiktívek és hülyén hangzanak, de meglepően jól közelítik a 
valóságot :)

Eddig jól elvoltam a malloc-quickshort párossal, de úgy tűnik ennek a 
korszaknak vége, át kell térni valami korszerűbb megoldásra.

Tetszőleges, "éppen arra járó" PC-n kell futnia a dolognak, telepítés 
nélkül bedugják a pendrive-ot, rajta az exe és az adatbázis, tehát egy 
telepített adatbázis kezelő nem játszik.
Milyen rendszert érdemes használni, hogy egy felhasználói szinten nem 
rosszul képzett, de nem programozó kezelő is elboldoguljon hasonló 
feladatokkal. Szerintem például SQL lekérdezéseket néhány minta alapján 
meg tudna írni.
A gépeken általában WinXP-SP2, vagy PosReady 2009 fut, nincs swap, írni 
csak a pendrive-ra lehet, de min. 2GB memória van).

Gondoltam általános megoldás lenne, hogy használat előtt beimportálja 
egy excel-be, rendezgeti, majd export. Kevesebb adattal működött is, de 
ekkora adatmennyiséggel egy klikkelés után is 20-30 percet homokórázik 
az excel.

Létezik erre a feladatra valami barátságos technológia?

üdv,
fabi