Och mot AI. Vilka shooters kan du spela med bots nu? Spel mot ett neuralt nätverk

En bot skapad på basis av ett neuralt nätverk besegrade en berömd Dota 2-spelare på huvudscenen turneringen The International (TI) 2017. Huvudtävlingarna i Dota äger rum mellan lag på 5 vs 5 personer, men det finns även en individuell tävling. Open AI skapade en AI som tränade sig själv genom att spela mot sig själv, 1 mot 1. På scenen slog boten en populär spelare med 2-0 Daniil Dendi Ishutin från NaVi.

Innan detta, bakom tävlingens kulisser, slogs boten med SumaiL - bästa spelare 1 mot 1 - och med Arteezy - den bästa spelaren i världen, hans MMR är mer än 10 000. Deras bot vann också "torrt" - 2-0.

Kul fakta: efter turneringen bjöds alla in att prova sig fram med den vinnande boten för belöningar. På kvällen samma dag besegrades boten av spelare från Internet med en MMR på cirka 8000. Det tog flera försök att identifiera svaghet. Boten vann dock på turneringsstadiet.

Varför är detta en viktig händelse?

Turneringen arrangeras av Valve, spelets utvecklare, med en prispott på nästan 25 miljoner dollar. Denna största eSport-tävling sätter ett nytt rekord varje år i antal visningar och prispott. International ses online av en halv miljon tittare på Twitch, flera hundra tusen fler via spelklienten och miljontals fler i inspelningar.

Nivå 2. Hur fungerar det?

Låt oss gå ner en nivå djupare (eller högre, beroende på hur din fantasi fungerar). Låt oss ta reda på!

Utvecklarna bestämde sig för att närma sig problemet från början. De insåg att om de försökte beskriva antalet regler i öppet spel med tusentals variabler kommer det att ta flera månader. Istället satte de upp en bot, tog in den i spelet och gav den fullständig handlingsfrihet.

Hur evolutionen ser ut:

1. Boten spelade mot sig själv, samma bot. De utbytte erfarenheter.
2. Under de första spelen stod boten stilla och rörde sig inte, varefter den började utföra slumpmässiga handlingar eller rörelser.
3. Efter tusentals försök kom AI:n till slutsatsen att du måste gå till mitten av kartan och slåss mot fienden för att vinna.
4. Och efter flera veckors kontinuerlig träning började boten spela på nivå med förstklassiga spelare.

Under träningen lärde sig AI:

• gör det sista slaget - detta ger bonusar i Dota;
• provocera små fiendevarelser att attackera;
• sakta ner dina varelser för att bättre gruppera dem;
• håll fienden på avstånd från dina varelser, beröva fienden pengar och erfarenhet;
• avbryt förmågan animationer för att undvika att ta skada;
• bluffavbrytande animationer, vilket leder till en defensiv reaktion från fienden;
• anpassa sig till nya föremål som fienden köper;
• förfölja fienden genom att förutsäga hans möjliga plats i krigsdimman.

För att visualisera processen att träna ett neuralt nätverk, titta på videon:

Hur skiljer sig ett neuralt nätverk från att spela mot en dator?

Spel mot datorn

Den största skillnaden mellan Open AI-boten och fienderna som är inbyggda i spelet är tekniken som de är baserade på. Spelets inbyggda fiender är baserade på ett beslutsträd. Lösningar hittas genom att söka igenom kombinationer av ingångsparametrar och lösa optimeringsproblem. Sådana beslutsträd innehåller ett ganska stort antal parametrar, så spelaren kommer att känna att han spelar mot en levande eller anpassande motståndare.

Ändå är alla möjliga variationer i beteendet hos sådana motståndare förutbestämda av spelets skapare. Inbyggda bots imiterar skickligt intelligens, men har den inte. Att skapa sådana artificiella motståndare är jämförelsevis enklare och snabbare för utvecklare.

Spel mot ett neuralt nätverk

Neurala nätverk har ett annat tillvägagångssätt. Nätverket som Open AI använde är baserat på en princip som liknar evolution. Genom att utföra slumpmässiga åtgärder skapar nätverket olika lösningar. Lösningar utvärderas av en fitnessfunktion.

Framgångsrika lösningar knyter an till varandra, muterar och skapar nya generationer av lösningar. Nya generationer jämförs med sina "föräldrar" för att förstå om framsteg har skett. Om det inte sker några framsteg, korsas "förälder"-lösningarna i nya proportioner. Processen liknar utvecklingen av organismer i naturen. En sådan algoritm leder inte alltid till en idealisk lösning, men den kommer mycket nära efter att ha gått igenom generationer av fel.

I videon talar chefsingenjören för projektet om processen att träna det neurala nätverket när man förbereder boten för turneringen:

En neural nätverksbaserad bot kräver betydligt mer resurser än ett klassiskt beslutsträd. Sådana neurala nätverk används för att designa jetmotorer och hitta botemedel mot Alzheimers sjukdom. Open AI använde datorkraften från Microsoft Azure molnserver, eftersom Microsoft är en av grundarna av Open AI.

Musks tweet efter botens seger i turneringen:

Hela processen med att träna neurala nätverk angående fitnessfunktionen kan ses i en video om spelet Mario. Genom att använda metoden för neuroevolution av komplementära topologier, eller helt enkelt evolution genom försök och misstag, skapade författaren till videon ett neuralt nätverk som passerar en nivå i Mario.

I början av träningen vet en sådan AI inte ens hur man går, efter 34 generationer och flera dagars träning kunde AI:n slutföra nivån utan att dö:

Är det verkligen så viktigt att vinna i Dota? Vad säger experterna?

Jag gick igenom programmeringsforum, reddit och gemenskaper av neurala nätverksentusiaster. Deltagarnas åsikter var delade: det fanns både entusiasm och stark kritik.

Beundran

Översättning: Boten vinner genom att sakta ner sina varelser med karaktärens kropp. Det här är häftigt.

Översättning: Som jag förstår det så gick testet ut på att se hur boten lär sig att spela på egen hand, utan givna regler och ramar. Han lärde sig och slog de bästa. Missförstå mig inte, det här är stora framsteg.

Kritik

Översättning: En bot som vinner mot ett proffs i Dota är jämförbar med en robot som skjuter bollar i en basketkorg från stående position. Det här är inte riktig basket och inte riktig Dota.

Översättning: Det låter mycket mindre imponerande när man inser att boten per definition är utrustad med verktyg som gör att den kan få övermänskliga reaktioner och korrekt kunskap om skador i antal. Detta gör att du kan exakt beräkna skadan och ge det slutliga slaget. Det kommer att bli riktigt intressant om de kan lära boten att spela makrostrategier som inte är tillgängliga i ett 1 mot 1-spel. Om de kan vinna jämnt mot ett lag på 5 personer kommer det att vara en prestation.

Det fanns också några som var helt tveksamma:

Vad är konspirationsteorin?

I samband med lanseringen av API från Blizzard uppstod en konspirationsteori på nätverket. Det finns en anledning till att teknikjättar plötsligt fokuserade på datorspel.

Sekunder efter segern för Open AI-boten twittrade Elon Musk att botorganisationen, initierad av Elon själv, vann ett mycket mer komplext spel än schack eller Go:

Tweeten är sannolikt en skryt till IBM och Google, som har bemästrat "enklare" spel. Glöm inte att Musk och hans kollegor har investerat mer än en miljard dollar i den ideella forskningsorganisationen Open AI.

Som ett minimum kommer de att kunna attrahera de bästa specialisterna, som därefter kommer att erbjudas jobb hos Tesla eller andra sponsrande företag. På forum och på Twitter anklagades Musk för clickbait och för att överdriva fördelarna med Open AI.

Utvecklare av bots för Dota 2 var missnöjda

Valve bjöd inte in programmerare till turneringen som arbetade med att skapa tredjepartslösningar för Dota 2. Det finns flera program baserade på beslutsträd och andra teknologier som kan spela även i 5v5-läge. Dock en tidig prototyp för spelet 1v5 demonstrerades på scen 1 av Open AI. Valve kommenterade inte detta påstående.

Avslutningsvis vill jag säga: "Jag välkomnar våra nya robotöverherrar." När det gäller mig välkomnar jag våra framtida robotvakter. Och jag skriver regelbundet om dem i vår Telegram-kanal Robotics Channel. Gå med oss!

Och så, det efterlängtade Heart of the Swarm betatest. Vi lägger undan vaga intervjuer, skärmdumpar och stridsrapporter och skyndar oss att kolla vår brevlåda efter den uppskattade beta-nyckeln...

Ack.
De allra flesta genomsnittliga användare kommer att bli besvikna i dessa tidiga dagar av beta. Blizzard har officiellt meddelat att de första betatestarna kommer att inkludera en utvald grupp proffsspelare, pressmedlemmar och vinnare av Torgovy Row-tävlingar.

Men du och jag kommer inte att stå ut med sådan orättvisa, eller hur?

Och av denna anledning, speciellt för dig, kommer jag att försöka berätta så mycket detaljerat som möjligt om hur du spelar, om inte på den officiella Battle.Net, så enkelt hemma med en dator. Och där kanske Stjärnvän med hans pirat LAN & Hamachi kommer ikapp...

Det finns ett så underbart program: SC2 Allt i 1. Vilket låter dig spela StarCraft 2 Wings of Liberty inte ha licensnyckel och/eller internetåtkomst. Sant, bara emot artificiell intelligens(AI). Som dock på höga svårighetsnivåer inte spelar mycket svagare än spelare från "Iron Leagues" (under diamant, alltså). Och se även repriser.

Senaste versionen i skrivande stund 11.2.11 beta 8 har redan support Svärmens hjärta v2.0.0.23077 beta .

Nåväl, låt oss börja.

1. Ladda ner ett paket med kort (om du också ska spela WoL offline på en dator)
2. Programmet kan kräva .NET Framework 4 för korrekt funktion

Packa upp arkivet med SC2Allin1 till valfri mapp och kör SC2ALLin1.exe. (Förresten, om några särskilt paranoida antivirus skickar dig till "Kung Trojan", lugna först ner alarmisterna - det är inget fel med det.)
Följande fönster visas framför oss:

Trots överflöd av alternativ kommer du inte att kunna lansera någonting, eftersom "Ingen karta har valts!". De där. Först måste du ladda ner kartorna du ska spela på.

Gå till fliken Kartor .

Här erbjuds vi ett urval av fyra knappar:

• Lägg till kartor från mapp- lägg till kartor från den valda mappen. Detta är om du tidigare har laddat ner kartorna. Från länken ovan, till exempel.
• Välj Karta- välj ett kort och gå till spelinställningarna (fliken Spel)
• Karta webbplatser- startar webbläsaren och flyttar oss till en sida med länkar till användbara onlineresurser, där samma kartor kan laddas ner.
• Lägg till kartor från servern- bry dig inte om att söka efter kartor på Internet, utan ladda bara ner dem från servern.

Klick Lägg till kartor från servern . I ett nytt fönster hittar du en lista över alla kort som stöds SC2ALLin1. Vi är intresserade av de kort som är märkta (hots). Markera dem och klicka Ladda ner och installera valda kartor . Nedladdade kartor finns i mappen "Mina dokument\StarCraft II\Kartor"

Klicka på det osynliga krysset i det övre högra hörnet och stäng kartinläsningsfönstret.

Nu har vi namnen på kartorna vi laddat ner i listan. Siffran till höger anger antalet spelare som den är designad för. På vänster sida av fönstret finns en förhandsvisning, information om skaparna och en kommentar på kartan. Siffrorna på diagrammet anger var spelarnas startpositioner finns.

Klick Välj Karta och återgå till det allra första fönstret på fliken Spel .

Låt oss nu gå vidare till spelinställningarna.

Den namnlösa listan längst till vänster är ansvarig för att välja en ras:

1. Slumpmässig
2. Terran
3. Zerg
4. Protoss.

Spelartyp: ställ in spelartyp.

1. Mänsklig- spelare, dvs. Du.
2. Dator- din kiselrival
3. Domare, åskådare– vi är inte intresserade, eftersom vi kommer att spela i fantastisk isolering.
4. Stängd- luckan förblir tom.

Spelet kräver minst en datormotståndare.

Svårighet: ställ in svårighetsgraden. Nivån på din datormotståndares intelligens beror direkt på detta alternativ. Alternativ:

1. Väldigt lätt- väldigt lätt
2. Lätt- lätt
3. Medium- genomsnitt
4. Hård- svår
5. Väldigt hårt- väldigt hårt
6. Insaine- datorfuskare.

I grund och botten beror uppsättningen av alternativ och deras svårigheter på vilken version av AI du använder. Denna församling inkluderar en hjärna daterad den 10 maj 2012. lanseringsdatum. För människor är möjligheten att välja försiktigt blockerad.

Inom en snar framtid kommer jag att uppdatera artikeln genom att förklara mer detaljerat om hur jag ställer in AI.

Färg: låter dig välja en färg för dig själv och dina motståndare. Antalet alternativ här är mycket mer omfattande än i de flesta anpassade kartor. Följande finns att välja mellan:

1. Vit
2. Blå
3. Kricka
4. Lila
5. Gul
6. Orange
7. Grön
8. Ljusrosa
9. Violett
10. Ljusgrå
11. Mörkgrön
12. Brun, ljus
13. Grön
14. Mörkgrå
15. Rosa

Precis som ett barnset med 16 markörer. Plus mer Slumpmässig(slumpmässig färg).

Plats: val av startposition från 01 till 08 eller Random. Du börjar på angiven plats, enligt ditt val.

Hälsa: enhetens hälsoreserv för den valda spelaren. Från 100 % till 5 %, från originalet. Om du vill döda alla som slavar eller ge din motståndare ett bra försprång kan du spela med dessa värden.

På höger sida finns ytterligare två alternativ:

Spelhastighet: Spelhastighet. är som standard Snabbare. Om du vill se en strid med slowpoke-spelare kan du flytta reglaget till det längst till vänster. (Långsammare)

Speltyp: speltyp.

1. Team vs Team- lag-till-lag
2. Gratis för alla– aka FFA, alla mot alla. Installerad som standard.
3. Använd kartinställningar- Läget ställs in av kartinställningarna.
4. Slumpmässigt krig- något slumpmässigt. :)

Om valt Team vs Team, kommer ytterligare objekt att visas i inställningarna:

1. Team- låter dig välja en spelares tillhörighet till ett specifikt lag.
2. Lagandelar: generell bedömning ( Syn), enhetskontroll ( Kontrollera) och resurser ( Utgifter). Eller allt detta på en gång.

På det här ögonblicket lägen fungerar korrekt Gratis för alla Och Team vs Team. Bock Anpassad AIär ansvarig för att använda det ursprungliga Blizzard-skriptet (ingen kryssruta) eller ett tredjepartsskript (kryssruta). Som standard används ett tredjepartsskript från mappen \SC2Allin1\ai

Nästa: gå till fliken alternativ

I kapitel Andra ange ditt smeknamn (om du inte bara vill vara en spelare). NÖDVÄNDIGTVIS kryssa i rutan och ange sökvägen till mappen med HotS Beta. (x:\Games\StarCraft II 2012 Beta- Till exempel). Annars kommer programmet som standard att starta den som är installerad på din dator. Frihetsvingar. (Efter att ha angett sökvägen och markerat rutan är det bättre att starta om SC2AllIn1, så att stigen bevaras).

Du kan också leka med siffrorna i avsnittet Fuska, ge dig själv gratis resurser.

Detta slutför inställningarna.

Allt du behöver göra är att klicka Lansera och voila!...

Heart of the Swarm Beta till ditt fullständiga förfogande offline! Ha ett bra spel!

En liten FAQ om populära problem och deras lösningar.

F: När du försöker starta spelet eller återuppta en avbruten installation visas ett felmeddelande: "Fallt för att läsa den nödvändiga filen. Stäng alla andra applikationer, inaktivera ditt antivirusprogram tillfälligt och försök igen."

A: Ta bort mappen C:\ProgramData\Battle.net . Om det inte hjälper, starta spelet via SC2Switcher.exe , som finns i mappen StarCraft II 2012 Beta\Support .

F: När jag försöker starta ger det ett felmeddelande: "Kan inte validera SC2-licens"

A: Av någon anledning tror spelet att du har en icke-licensierad version. Det finns två behandlingsalternativ:

F: Efter att ha klickat på knappen Starta och startat spelet ger det ett felmeddelande: "Kan inte öppna kartan"

A: Möjliga lösningar:

1. Se till att du kör spelet i läge Gratis för alla eller Team VS Team.
2. Kontrollera att du har laddat ner och lanserat den kartan - den har (hots) i sitt namn.
3. Se till att du har angett rätt sökväg till installationsplatsen HotS Beta och kryssade i rutan Använd anpassad spelinstallationsväg.
4. Det finns inget kyrilliskt alfabet i installationsvägarna.

F: Felmeddelanden visas i spelet.

A: Avmarkera bara rutorna till vänster och höger:

Och viktigast av allt, kom ihåg att trots all privat distribution av nycklar -

Den 31 oktober 2017 ägde en duell rum mellan den professionella StarCraft-spelaren Song Byung-gu och fyra olika AI:er. Mannen vann var och en av striderna. En av botarna utvecklades av Facebook FAIR-laboratoriet, resten utvecklades av programmerare från Australien, Norge och Sydkorea.

Människan vs AI

Tävlingen ägde rum på Sejong University i Seoul, Sydkorea, där årliga StarCraft AI-tävlingar har hållits sedan 2010. Tidigare år ägde matcher endast rum mellan bots och organiserades av Institute of Electrical and Electronics Engineers (IEEE).

Även om matcherna i Seoul inte väckte lika mycket uppmärksamhet som de mellan AlphaGo och Go-proffs, är de fortfarande av stor betydelse i utvecklingen av AI. Forskarvärlden anser StarCraft särskilt svårt spel för bots. Efter AlphaGos framgångar i Go och några framsteg inom AI inom schack, vände sig forskarnas uppmärksamhet mot idén att lära ut AI-strategispel i realtid som StarCraft.

Till skillnad från samma Go, där konstant kontroll över allt är möjligt spelplan, på grund av vilken spelare kan utveckla en spelstrategi i det första steget, kräver StarCraft att använda minne och utveckla taktik på språng inom en begränsad och virtuell spelvärlden. Som ett resultat blir StarCraft ett effektivt verktyg för att hjälpa AI att ta ett steg framåt i sin utveckling.

Tidigare strider är bara början

Många professionella StarCraft-spelare har sagt att de är villiga att spela livematcher mot bots, liknande AlphaGo-matcher. Ledarna för DeepMind-projektet har redan kommit överens om att anordna liknande matcher i framtiden.

För att återgå till de tidigare matcherna är det värt att notera att den totala tiden som Song spenderade för 4 matcher bara var 27 minuter. Den längsta matchen varade i 10,5 minuter, den kortaste var bara 4,5 minuter. Detta trots att bots kunde flytta sina enheter mycket snabbare än människor, samt hantera flera uppgifter samtidigt.

Den norska boten, till exempel, nådde vid en tidpunkt en hastighet på 19 tusen åtgärder per minut. Detta trots att professionella spelare kan inte utföra mer än flera hundra åtgärder per minut.

Den vinnande mannen noterade i intervjun efter matchen:

Professionella spelare börjar slåss först när de har en armé- och enhetsledningsförmåga som är tillräcklig för att vinna. Botarna, å andra sidan, försökte rädda sina enheter utan att ta några djärva beslut. Men sättet de bekämpade mina attacker var ibland helt enkelt fantastiskt.

Kim Kyung-jong, professor i datorteknik vid Sejong University, sa att botarnas åtgärder var begränsade, delvis på grund av bristen på tillgänglig träningsdata. Han tillade också att AlphaGo kunde besegra Go-mästare endast genom att studera ett stort antal matcher som spelades av mänskliga proffs.

Utvecklingsperspektiv

Observera att Google länge har velat träna AI för att spela StarCraft. Även i denna jakt är Facebook och Alibaba. I augusti 2017 släppte DeepMind och StarCraft-utvecklaren Blizzard en efterlängtad uppsättning AI-utvecklingsverktyg som är kompatibla med den version av StarCraft II som är mest populära bland proffs.

Experter förutspår redan den fullständiga kollapsen av mänsklig dominans i StarCraft. Enligt Jung Han-min, professor i datavetenskap vid Sydkoreas universitet för vetenskap och teknik, när AI-bots kommer att utrustas med beslutssystem hög nivå, som AlphaGo, kommer människor inte längre att kunna besegra dem.

Tillverkningsår: 2010
Genre:
Utvecklare:
Utgivare:
Utvecklarens webbplats: http://us.blizzard.com/en-us/games/sc2/
Gränssnittsspråk: ryska
Plattform: PC
Systemkrav:
Installerat spel Starcraft 2: Wings Of Liberty version 1.0
Beskrivning:
StarCraft II är fortsättningen på den episka sagan om tre mäktiga raser: Protoss, Terrans och Zerg.
De kommer att mötas igen i en ny strategiuppföljare i realtid till det legendariska StarCraft-spelet.
I denna brutala kamp för överlevnad i rymden kommer du att ha nya stridsenheter till ditt förfogande,
som tidigare, med utökade möjligheter.

Agriadalen
"Blårande sand"
"Begravningsplatser"
"Korseld"
"Desert Oasis"
"Förbränningszon"
"Djungelbassängen"
"Bildemontering"
"Novis blåsor sand"
"Novice Desert Oasis"
"Novis Steps of War"
"Skrotstation"
"Krigets steg"
"Världsskepp"
"Xel Naga Caverns"
"Elysium"
"Arid Wastes"
"Skräpfält"
"Delta kvadrant"
"Discord IV"
"Hög omloppsbana"
"Kulas ravin"
"Förlorat tempel"
"Metalopolis"
"Month Ridge"
"Nya Antiokia"
"Mardröm"
"Novice Discord IV"
"Novis Kulas Ravine"
"Novis Metalopolis"
"Novice Monlyth Ridge"
"Novisterminus"
"Novis Twilight Fortress"
"Red Stone Gulch"
"Helig mark"
"Scorched Haven"
"Shakuras platå"
"Tarsonis Assault"
"Terminal"
"Twilight Fortress"
"Krigszon"
"Arakan Citadel"
"Colony 426"
"Gräv webbplats"
"Smutssidan"
"Gräns"
"Moonsoon"
"Kvicksand"
"Tektonisk Rift"
"The Bio Lab"
"Tyfon"
"Ulaan Deeps"
"Avgrund"
"Utdöende"
"Forbidden Planet"
"Hög mark"
"Lava flöde"
"Megaton"
"Utpost"
"Urtida"
"Sand Canyon"
"Storm"
"Giftiga slumkvarter"

Kopiera kartor till mappen Mina dokument StarCraft IIMaps
- Om mappen "Kartor" saknas måste du skapa den.
- Gå till spelmappen och kör filen "StarCraft II Editor" eller "SC2Editor"
- I programmet väljer du kartan du vill spela på och klickar sedan på fliken "Map" längst upp,
- Välj objektet "Spelaralternativ" och ställ in startpositionen till Startplats 1,2.
- Ställ in din AI-svårighet (ställ in i kartredigeraren - Arkiv -
Editorinställningar - Testkörning - Spelsvårighet) och tryck sedan på testkörning eller Ctrl + F9
- Glöm inte att ändra kontrollen från "Användare" till "Dator".

Lägg till. information:

förnya det mest populära spelet StarCraft 2: Wings of Liberty,
göra ändringar och korrigeringar till spelprocessen och felsöka problem med själva spelet.
Designad för den ryska versionen av spelet.
Med den här filen kan du uppdatera spelet utan att behöva gå online,
till exempel om du vill installera det (spelet) på en dator som inte har möjlighet att ansluta till Internet.
Lista över ändringar:
uppdatering 1.0.3
Fliken Vänner på sidan Ligor och rankningar fungerar nu korrekt.
Fixade ett problem som hindrade vissa användare från att komma åt enspelarspel utan internetanslutning.

uppdatering 1.0.2
Mekanismen för att kontrollera segerförhållandena i kampanjuppdrag har fixats.
Fixade ett problem som hindrade vissa användare från att komma åt läget enspelarläge.

uppdatering 1.0.1
Optimerade sparprocessen i kampanjläge.
Fixade ett problem med ljuduppspelning på vissa 7.1-system.