В WeakHashMap используются WeakReferences. А почему бы не создать PhantomHashMap на PhantomReferences? PhantomReference при вызове метода get() возвращает всегда null, поэтому тяжело представить назначение такой структуры данных.