Rekommenderar också IceWM om du i alla fall vill ha lite features. Den utvecklas rätt aktivt också.
Annars är väl evilwm den minsta jag känner till.
http://www.6809.org.uk/evilwm/
TWM kunde ju funka också, men den är gammal och utvecklas mig veterligen inte längre.
http://xwinman.org/vtwm.php
Men om du nu bara vill köra terminaler, varför ens hålla på och traggla med X? Du kan ju köra nån framebufferkonsoll om du vill köra i skärmens maxupplösning.
Om du ändå känner behovet av X skulle väl jag rekommendera att du jagar minne på annat håll också. Kompilera din egen kärna optad för din hårdvara, plocka ur onödiga services ur startscriptsen, osv. Känns som att det kanske inte hänger så mycket på själva fönsterhanteraren att det känns slött, utan mer på att din dator får swappa som fan.