語源が確定しない理由は、この言葉が近世以前から口語として使われてきたため、初出文献が特定しにくい点にある。江戸時代の滑稽本や洒落本には「うろおぼえ」に近い表記が見られるとされ、当時の町人社会で既に定着していた可能性が高い。しかし、当時の資料は仮名表記が中心で、語の成り立ちを直接説明した記述がほとんど残っていない。
また、「うろ」という音自体が多義的であることも混乱に拍車をかけている。「うろ」は「空洞」を意味する「うつろ」の短縮形として使われる一方、「斑」という漢字を当てて「まだらな状態」を表すこともある。この二つの語感が重なり合い、「記憶に穴が空いている」「記憶が斑になっている」という両方の解釈を許容してしまった。