Annie se narodila v Lotyšsku jako 3. dítě Leviho a Beatrice Cohenových. Ze svého ranného dětství v rodném Lotyšsku si toho mnoho nepamatovala, neboť už v roce 1875 celá rodina přesídlila do Bostonu v Americe. Bydleli v činžáku na Spring street, kde se jim narodily další 2 děti. Počátkem roku 1887 zemřeli oba její rodiče v rozmezí pouhých dvou měsíců. Nejstarší sestra Sarah již byla vdaná a žila v Maine. Starost o mladší sourozence tak připadla na teprve 17-tiletou Annie a jejího 20-tiletého bratra Bennetta.
