11. június 1920-én, nem sokkal napkelte után Elwellt egy 45-ös automata pisztoly fejbe lőtte bezárt New York-i házában. Azon a reggelen Marie Larsen házvezetőnő szokásos módon megérkezett Elwell elegáns lakásába. Ezúttal azonban szörnyű látvány tárult elé, amely egy pillanatra megdöbbentette.
Sietve felkiáltott, hogy egy idegen van Mr. Elwell lakásában, és hogy meghalt. A további vizsgálat során kiderült, hogy az idegen Joe Elwell, csak dizájner parókája és csillogó fogsora nélkül, amivel a nyilvánosság előtti megjelenését fokozta.
Feltételezik, hogy Elwellt fejbe lőtték, de az öngyilkosság nem valószínű magyarázat. A szobában nyoma sem volt a fegyvernek, de úgy tűnik, hogy a gyilkos fegyvert 1-2 méteres távolságból sütötték ki.
Bűnügyi helyszín
A rendőröket megzavarta a tetthely. A helyszínen nem találtak fegyvert, de az őt megölő golyót egy asztalon találták szépen elhelyezve. Lehetséges, hogy a golyó a falról az asztalra csapódott, de az elhelyezés színpadiasnak tűnt. A golyó tölténye a földön feküdt.
A gyilkos Elwell előtt kuporgott, amikor meghúzta a ravaszt, így láthatta a seb szögét. Nem loptak el semmit, idegen ujjlenyomatot sem találtak a helyszínen. Küzdelemnek vagy a házba kényszerített belépésnek nyoma sem volt. Minden zárva volt, a szoba és a ház is.
Elwell biztosan ismerte a gyilkosát, és szabadon beengedte a házba. Leült, és figyelmen kívül hagyta a látogatót, miközben kinyitotta a levelét. Barátságosan beszélgetett a vendégével, miközben ezt a hétköznapi feladatot végezte? Sem a levelekben, sem a földön nem volt utalás a bűncselekményre.
Nyomok?
Elwell előző este Viola Krausszal, egy nemrég elvált nővel vacsorázott a Ritz-Carlton Hotelben. Elwell sok nővel volt romantikus kapcsolatban, köztük Krausszal is. Helen Derby, aki 1904-ben férjhez ment Elwellhez, bemutatta őt jó kapcsolatokkal rendelkező barátainak és ismerőseinek.
Annak ellenére, hogy Elwell a bridzsjátékokból lett milliomos, felesége segített neki kapcsolatot teremteni jó kapcsolatokkal rendelkező barátaival és ismerőseivel. 1920-ban elváltak. Bár Derby eleinte a fő gyanúsított volt, alibije légmentes volt, és nem volt érintett volt férje halálában.
Edward Swann kerületi ügyész szerint Elwell közvetlenül a lövés előtt beszélgetett a lakásában, ezért valószínűleg ismerte a gyilkosát. A gyilkos egyetlen célja az volt, hogy megölje. Értékeket nem loptak el. Valójában Elwell holtteste körül értéktárgyak voltak szórva.
Annak ellenére, hogy minden bizonyítékot begyűjtöttek a nyomozók, soha nem tudták megállapítani, ki lőtte le Joe Elwellt, és az ügy továbbra is megfejtetlen rejtély.