Boten Arne (clippy)
Boten Arne är vår sidekick under livestreamen. Hur gick detta till undrar du? Kolla bloggen så får du se!
Trick
- Lyssna på mikrofonen och agera på vad som sägs
- Ta kommandon ifrån chatten
- Se allmänt snygg ut
Byggt med onödigt mycket teknik
- .Net core 3.0
- Asp.Net core
- JavaScript
- Docker
- Azure Cognitive Services
- SignalR
- (snart) Machine learning: ML.Net
Kortfattat kan man säga att det hänger ihop såhär:
- Gemet rendreras på skärmen i form av en websida med ett Javascript-lib Clippy-js
- Samtidigt spionerar backend på mikrofonen och skickar vidare till Azure Cognitive Services för att få ut det som sägs i form av text
- Detta skall matas in i en maskininlärnings-modell som häver ur sig vad gemet skall göra
- Kommandot skickas via SignalR (websockets) till frontenden som ser till att utföra
Kan någon ha byggt något så onödigt? Beskåda GitHub så får du se!
AI powered!
Gemrackarn måste givetvis bli autonomt - vad vore ett projekt 2019 utan lite göttig machine learning i mixen?
Gemet befinner sig just nu under träning för att på Julafton 12:05 köras live under streamen. Känn pressen.
Vi behöver din hjälp!
Du, ja just du kan hjälpa till att träna upp gemet - det är tokenkelt och går tokfort! Kort och gott behövs massvis med träningsdata - det vill säga vilken gem-action som skall köras vid vilken text.
Så det finns en Gem-tränare upplagd där du ser en auto-tolkad textsnutt från ett tidigare avsnitt och helt enkelt trycker på den action som du tycker är roligast (eller ingen action om det är bättre)
Alltså, gör såhär:
- Gå in på Gem-tränarsidan
- Läs texten, spela upp filmen och grunna noga och hårt
- Tryck på det gem du tycker blir roligast
- …
- ?
- …
- Profit!
Lura med dina kompisar!
Detta behöver göras massvis med gånger för att skrapa ihop tillräckligt med data för att kunna göra något vettigt av. Så lura med alla du känner att träna gem. Dela på facebook. Sprid pamfletter för vinden. Ta (gem)träning-selfies på Instagram. Du vet vad du skall göra!
Kolla sedan resultatet!
Julafton 12:05 på Twitch (klicka i “Följ” för att inte riskera att missa det)
Kom in i gemenskapen, gå med i Facebookgruppen!