Algoritmer til at forudsige alder og køn
Axonix leverer en gennemsigtig programmatisk markedsplads, som gør mobile udgivere i stand til at opnå de højest mulige priser for deres varebeholdning, mens de overholder alle kontrolforanstaltninger og salgsregler. Axonix fungerer gennem en udveksling af reklamer på adskillige markeder via adgangen til Mobile Network Operators (MNO) anonymiserede kundedata, som de har tilladelse til at bruge til målretningsformål.
Axonix udvider disse data ved modellering for at forudsige sandsynlig tilstedeværelse af de dataegenskaber i resten af befolkningen.
Projektet var at udvikle et system med kunstig intelligens distribueret i stor skala til at forudsige sandsynligheden af en enhedsegenskab (køn, aldersgruppe) ved at betragte enhedens opførsel.
- Teknologier: nettjenesterne Apache Spark, Scala, Amazon
- Levering: ~500 timer
- Tilbagebetalingstiden for projektinvesteringen måles i måneder, ikke år
- Axonix opnåede besparelser ved at erstatte den tidligere løsning med Ciklums løsning
Initiale data
- 2.5+ RTB-logs (raw realtime bidding)
- anonymiseret information om brugeropførsel
- ansøgningen skal køre på en AWS EMR klynge
Mål
- minimere omkostninger til behandling
- opdatere modellerne hver uge uden at køre pipeline med historiske data igen
- fuld kontrol og ejerskab over processen
Ciklums data- og analyseingeniører udviklede en Spark/Scala-applikation til at forudsige egenskaber (køn, aldersgruppe) på grundlag af ligheder i opførsel med anonymiserede seed data, hvor disse egenskaber var kendte. Applikationen kan køre på en AWS EMR- klynge med adgang til RTB-dataene. Forudsigelserne, modellerne og evalueringsrapporterne gemmes på Amazon S3 lageret.
- Det lykkedes for databehandlings-pipeline at samle RTB optegnelser til det mest passende format til kørsel for modeller. Et sæt egenskaber blev designet til at beskrive enhedens opførsel i overensstemmelse med modelleringssammenhængen.
- Algoritmer til opdagelse af anomalier fjernede afvigelser fra modellerings-datasættet. Dette forbedrede modelleringsnøjagtigheden ved at fjerne støj i dataene.
- Hver model frembringer rapporter, som kan anvendes til evaluering af nøjagtighed og valg af konfidensinterval.
- Donal Kane
- CTO hos Axonix
Apache Spark-rammen gør forbehandlings- og modelleringstrin datalogisk effektive og hurtige.
- Den endelige løsning understøtter træningen i flere modeller parallelt for et bestemt datasæt med totalt 9 modeller.
- Hver model understøtter justerbare tillidsniveauer mht. krav eller ændringer i seed data.
