https://frosthead.com

Hogyan távolítja el a spam a postaládájából a Google?

A Google összes információs roppantása mögött - a kiderítése a legfontosabb keresési eredmények között, az e-mailek füleinek olvasása és megtartása - van néhány érdekes matematika. És a közelmúltban Javier Tordable, szoftvermérnök, előadást tartott rajta, amely egy ablakot nyitott a geeky Google világába.

Kezdjük a Gmaillel. Időnként spam e-maileket kap, de a Gmail elég jól kitalálni, hogy amikor egy levelező megpróbál rávenni egy nigériai hercegbe való befektetésre, valószínűleg nem akarja, hogy ez a levél a beérkező levelek mappájában legyen. Honnan tudja? Első lépés: a vonat kiképzése. Második lépés: működésbe hozza.

Ezt gépi tanulásnak nevezzük, és a Google mindent megtesz. Az első lépésben meg kell tennie azt, amit a számítógépes tudósok „egy példány jellemzésére” hívnak. A matematikai beszédben ez azt jelenti:

Általánosságban elmondható, hogy egy példány jellemzői egy n dimenziós euklidid térbeli vektor elemeiként nagy n-re vonatkoznak (100-1000 méret normál, az 1M-10M nem hallhatatlan)

De hogyan gondolhatunk erre, ha a Calc 1 után leállította a matematikát, a Gmail néhány kulcsfontosságú információt vonhat le bármely adott e-mailből. Meddig? Hány nagybetű van? Ez valakitől származik, akitől már kapott e-mailt? Nem akarja, hogy a döntéshoz szükséges információk nehezen megszerezhetők vagy kezelhetők legyenek, mert ez lelassítja és csökkenti a számítógép pontosságát. A Google tehát vonalat húz annak alapján, amit tud a spamről. Az e-mailek, amelyek átjutnak a sor egyik oldalára esnek, a másikon pedig a spam levelek.

Több matematika beszél:

Egy egyszerű osztályozási modell egy hiper sík a jellemzők területén. A hiper sík egyik oldalán található adatpéldányokat érvényes e-maileknek, a másik oldalon példányokat spamnek minősítik.

Mi a helyzet a hangkereséssel - automatizált beszédfelismerésnek vagy ASR-nek is nevezik? A gépi tanuláshoz hasonlóan az ASR két részből áll: a bejövő hang feldolgozása és kitalálás, amit mondasz. Az első rész Fourier-transzformációkat foglal magában, amelyek elkülönítik a fontos biteket, amelyeket a számítógép képes lefordítani. A második rész a beszéd modellezése, az úgynevezett „rejtett Markov-modellnek”. Tordable elmagyarázza:

Ebben a modellben az állapotok az üzenet betûi, az események sorrendje pedig a hangjel. A Viterbi algoritmus felhasználható a legnagyobb valószínűségű állapotok sorozatának megszerzésére.

A Google szeretne jobb és könnyebbé tenni a hangfelismerést. Ebben az esettanulmányban a Google zúgolódások egy csoportja írja:

A Google egyik célja, hogy a beszélt hozzáférést mindenütt elérhetővé tegye. Szeretnénk hagyni, hogy a felhasználó választhasson - képesnek kell lennie arra, hogy magától értetődik, hogy a beszélt interakció mindig lehetőség. A mindenütt elterjedés eléréséhez két dologra van szükség: elérhetőség (azaz beépítve minden lehetséges interakcióba, ahol a beszédbevitelnek vagy -kimenetnek értelme van), és a teljesítmény (azaz olyan jól működik, hogy a modalitás nem okoz súrlódást az interakcióban).

Egy másik terület, ahol a Google a matematikát használja, a térképeikben szerepel - az utóbbi időben a reflektorfényben, miután az Apple jelentős kritikát mutatott be a térképező rendszerükről. A Google Maps középpontjában az alapvető grafikonelmélet jelent - az egyik helyről a másikra való eljutás matematika, a lehető legrövidebb távolságot haladva. De természetesen ennél sokkal összetettebb is. A Tordable írja: „Egyedülálló probléma az, hogy a Google Maps-ben használt grafikonok millió csomópontot tartalmaznak, de az algoritmusoknak milliszekundumban kell futniuk.”

A Google nem fogja mondani, hogyan csinálják ezt. Egyébként az Apple nem merült volna fel a problémájával, de az alapok a Dijsktra algoritmusának (valószínűleg a leggyakrabban használt grafikus keresési algoritmus) megrázásával járnak. Néhány évvel ezelőtt a Karlsruhe-i Egyetemen dolgozó számítógépes tudósok új módszert írtak le az útvonal-lekérdezések rangsorolására a sokkal gyorsabb eredmények elérése érdekében. Írtak:

Algoritmusunk előkészíti néhány órán belül az USA vagy Nyugat-Európa térképéhez szükséges nyolc számjegyű csomópontok számát lineáris tér felhasználásával. A legrövidebb (azaz a leggyorsabb) elérési utak lekérdezése körülbelül nyolc milliszekundum alatt elkészíti a pontos legrövidebb utat. Ez körülbelül 2000-szer gyorsabb, mint a Dijkstra algoritmusa.

A Tordable számos más, a Google által használt matematikai eszközön megy keresztül, beleértve a Google Könyvek, a Képkeresések, az Analytics, a YouTube, a Google Fordító, a Google Earth és a Picasa résztvevőit. A diák teljes készletét itt láthatja.

Még több a Smithsonian.com webhelyről:

Smithsonian megkapja a Google Térképét
Kövesse nyomon az élelmiszer-trendeket a Google Könyvek segítségével

Hogyan távolítja el a spam a postaládájából a Google?