Minden zsebében található kamera, valamint az okostelefonokba és a szociális hálózatokba beépített arcfelismerő szoftver, néha könnyű elfelejteni, hogy a fényképezés és az arcok azonosítása nem mindig volt ilyen egyszerű. Legyen az elveszett, sérült vagy egyszerűen címkézetlen, a régi fényképekben szereplő emberek azonosításának folyamata unalmas lehet. Mint azonban Kurt Luther, a Virginia Tech számítástechnikai adjunktusának kiderült, a tapasztalat meglehetősen mozgó is lehet.
Luther a "Pennsylvania polgárháború" kiállításán volt a Pittsburgh-i szenátor, John Heinz Történeti Központban 2013-ban, amikor becsúszott egy nagy-nagy-nagybátyja, Oliver Croxton fotójára. Leírta, hogy a fényképet, amely a legrégebbi családi fotó, amelyet látta, az idők során utazik.
Már az amerikai polgárháború iránti érdeklődés, a pillanat megragadt Lutherrel, és azon tűnődött, hogy miként hozhatja ugyanazt a tapasztalatot a történelem többi rajongója ezerének.
"Elkezdtem többet megismerni a polgárháború fényképezéséről" - mondja Luther -, és arról, hogy hogyan lehet az embereket azonosítani különböző vizuális nyomokkal, például az egyenruhával, jelvényekkel vagy a fotós stúdiójának adataival. Időközben számítógépes professzorként sok kutatást végeztem a tömegforrás területén, és arra gondoltam, hogy lehet-e módja annak, hogy összekapcsoljam ezt a két dolgot. ”
Luther megbotlott egy nagy-nagy-nagybátyja, Oliver Croxton fotóján. (A Ken Turner kollekció jóvoltából) Az eredmény egy ingyenes, a Civil War Photo Sleuth nevû online szoftver, amely tömegszervezést és arcfelismerést használ a felhasználók számára az ismeretlen tárgyak azonosításához a polgárháború korszakában. Közvetlenül a 2018-as hivatalos kiadás előtt a technológia mind a Microsoft arcfelismerő szoftverének felhasználásáért a Cloud Cloud AI Research Challenge-ben elnyerte a 25 000 dolláros fődíjat, mind a Legjobb bemutató díjat a Human Computation and Crowdsourcing 2018 konferencián. Ezen a héten Luther a Los Angeles-i konferencián jelenik meg az Association for Computing Machinery intelligens felhasználói felületeivel foglalkozó konferencián.
A Virginia Tech doktori és egyetemi hallgatóinak közreműködésével, ideértve a projektvezetőt Vikram Mohanty-t, és a Virginia Tech történelmi osztályával együttműködve, a Photo Sleuth többágú megközelítést alkalmaz a legpontosabb azonosítások javaslására.
A folyamat első kritikus lépése a már azonosított képekből álló nagy adatbázis létrehozása volt. A mai napig a Photo Sleuth hozzávetőlegesen 17 000 azonosított fényképet tartalmazott a nemzeti archívumokból, például az Egyesült Államok Hadtörténeti Intézetéből, valamint a magángyűjteményekből, amelyek nemcsak a polgárháború katonáit, hanem a korszak polgárait és más katonai személyzetét is magukban foglalják.
Luther szerint szerencsések voltak, ha támogatják egy már lelkes polgárháború történészek közösségét, amely hozzáférhet ezekhez a képekhez, mert a már azonosított képek szilárd alapja nélkül szinte lehetetlen lett volna, ha a szoftver hasznos lenne.
"Nem olyan, mint az Álommezőben, " mondja Luther. "Ha képek nélkül elindítanánk a weboldalt, és csak azt remélnénk, hogy a felhasználók hozzáadják őket, akkor a hidegindítási problémával szembesülnénk, ahol egyszerűen nincs tartalom. ”
Az azonosított fényképek adatbázisa alapvető szerepet játszik abban, hogy a felhasználók azonosítsák a maguk által feltöltött fényképeket. A felhasználók manuálisan megcímkézik a speciális látványosságokat, például a kabátszínét, az arcszőrzetét vagy a katonai rangú jelvényt, és a fénykép az arcfelismerő algoritmuson megy keresztül, hogy elemezze és naplózza az egyedi arcarányokat, például az arc tereptárgyak, például az orr és a szem közötti távolságot. A Photo Sleuth összehasonlítja az ismeretlen fénykép vizuális adatait az adatbázisban már azonosított fényképekkel, és bemutatja a felhasználót a véleménye szerint a legmegfelelőbb mérkőzéseknek az arc hasonlósága és a többi metaadatból származó információk alapján, például a katonák esetében, akik a ugyanaz az egység az egyenruháik jelképe alapján. Miközben a szoftver szándékos lépéseket tesz a hamis azonosítás lehetőségének korlátozása érdekében, Luther szerint a nap végén a felhasználó feladata a végső azonosítás, amikor bemutatják a szoftver legjobb kitalálásait.
"Nagyon aggódtunk a hamis személyazonosság megakadályozása miatt - mondja Luther -, mert amikor az internetről beszélünk, ha rossz információt adunk oda, akkor nagyon nehéz megszabadulni tőle vagy megváltoztatni."
Annak biztosítása érdekében, hogy szoftverük a lehető legjobb javasolt azonosítást kínálja a felhasználók számára, Luther elemezte a szoftver első hónapjában a javasolt azonosításokat az oszlopokban felvázolt módszerekkel, ahogyan a Polgárháború történeti folyóiratában a Military Images című cikkben közölte . Az azonosítások besorolása: "határozottan nem egyezés", "valószínűleg nem egyezés", "valószínűleg mérkőzés" és "határozottan mérkőzés", az elemzés azt találta, hogy a javasolt azonosítások 85% -a valószínűleg vagy egyértelműen egyezés. A héten tartott konferencián Luther azt állítja, hogy kiemeli a csapat legújabb Photo Sleuth kutatásának eredményeit, köztük Dave Morin, a New Hampshire polgárháborús képek gyűjtőjének felfedezését egy azonosítatlan uniós második hadnagy portréjáról. . Photo Sleuth azt állította, hogy a portréban William H. Baldwin volt az első New York-i mérnök. Morin, aki megerősítette, hogy Baldwin New Hampshire-ben született, azt mondja, hogy soha nem találta volna meg a szóban forgó Granite State mérnököt Photo Sleuth segítsége nélkül.
Kurt Luther a Virginia Tech informatikai adjunktusa. (Amy Loeffler) A kutatás hangsúlyozza az emberiségtörténészek és a szoftver kiegészítő erősségeit is. Legjobb erőfeszítéseik ellenére Luther azt mondja, hogy a szoftver csak annyira haladhat el, ha helyes egyezéseket azonosít, és a felhasználókra támaszkodik, hogy segítsenek azonosítani az arc algoritmus vak területein található nyomokat.
„Az [algoritmus] általános arcfelismerésre van képezve (főleg modern képeken), ” mondja Luther. „Az AI nehéz idő, amikor egy arc oldalra fordul [profilban]. A mai szabvány szerint ez egy szokatlan portré, de a 19. század közepén ez volt általános. ”
A csoport azt is megállapította, hogy a felhasználók sokkal sikeresebbek voltak, mint önmagában az algoritmus, más egyedi gyártók, például szakáll és hegek azonosításában.
Patrick Lewis, a polgárháború történésze és a Kentucky Történelmi Társaság tudományos forrásainak és kiadványainak szerkesztője, aki nem vett részt a Photo Sleuth fejlesztésében, azt mondja, hogy a Polgárháború Photo Sleuth nagyszerű eszköz lesz nemcsak az elfelejtett történetek eljuttatásához. hanem az, hogy továbbra is segítséget nyújtson az ország szerte a polgárháború történészeinek együttműködő hálózatának felépítésében.
"Szeretek bemenni és megnézni az új Kentucky-címkével ellátott képeket" - mondja Lewis. „És kérdezzék meg, hogy ki gyűjtik azokat az embereket, akik kint vannak? Tisztában kell lenni az egyes gyűjtőkkel, és kapcsolatba kell lépni velük, hogy megtudjak-e más anyagot, amely kutatást érdekelhet? "
Noha a Photo Sleuthon keresztül még nem kötődik egyes gyűjtőkhöz, Lewis azt mondja, hogy maga a Kentucky Történelmi Társaság az ismert online archívumok nyilvántartásainak összeállításán dolgozott, és egy olyan szoftver, mint a Photo Sleuth, drámaian javítja képességüket ezen munka folytatására.
A továbbiakban Luther azt mondja, hogy a szoftver „emberi erősségeinek megduplázására” törekszenek, ideértve egy „Második vélemény” lehetőséget is, amely lehetővé teszi, hogy több felhasználó együttműködjön a fénykép végső azonosításában, és dolgozzon együtt. a fizikai tájékoztatás és a közösségi menedzsment bővítéséről a Photo Sleuth felhasználói bázisának bővítése érdekében. A szoftver látni fog néhány arcfelvonást is, beleértve egy új funkciót, amely lehetővé teszi a felhasználók számára, hogy feltöltsék és azonosítsák az embereket egy csoportfotóban.
"Legfőbb célunk az, hogy minden ismeretlen polgárháborús fényképet azonosítsunk" - mondja Luther -, és egyre nagyobb és jobb képet készítsen a [Photo Sleuth] -ről, mivel a 25 000 kép csak csepp a vödörben. "
