Äntligen är HoloLens här!

För två veckor sedan fick jag äntligen mitt eget exemplar av Microsofts HoloLens. Jag hämtade dem själv i USA då jag ändå skulle åka hit för att besöka University of Missouri och vår tidigare professor Isa Janke som numera arbetar som Director för Information Experience Lab.

Microsoft själva menar att “HoloLens is the first fully self-contained, holographic computer, enabling you to interact with high‑definition holograms in your world“.

Allra första gången som jag fick prova HoloLens var hos CGI i Umeå i mitten av augusti i år. Sedan dess har det i mitt huvud fullkomligt snurrat olika tankar och idéer om hur man kan tillämpa denna teknik. Flera exempel som jag hittills har sett berör området utbildning och mer specifikt träning av olika moment med denna mixed reality, som Microsoft kallar det.

Här kan du se Microsoft egen trailer om vad HoloLens är och deras koncept av ”Mixed Reality”:

Här provar jag HoloLens hos CGI i Umeå:
eva_hololens1
eva_hololens2Det första jag slogs av när jag provade dem är hur otroligt verkliga dessa hologram framträder i rummet. Efter ett par minuter glömde jag bort att den person som står bredvid mig och inte har HoloLens på sig inte ser samma sak. Den känslan i sig är jag också ovan med. Det är absolut inte samma sak som att se förstärkt verklighet och figurer på en mobilskärm. Microsoft har verkligen lyckats väl på ett tekniskt plan att få till högupplösta och väldefinierade hologram. Upplevelsen är sannerligen det man brukar kalla för omslutande eller uppslukande upplevelse (e.g. immersive experience) en term som även brukar användas inom området virtuell verklighet (e.g. virtual reality).

När jag nu har haft dem själv i två veckor och hunnit använda med dem lite mer, ser jag oanade möjligheter med denna typ av smarta glasögon. Det är endast fantasin som sätter gränserna. Framför allt inom området utbildning där dessa smarta glasögon ger möjlighet att kunna se komplicerade samband och förstå hur abstrakta saker och ting förhåller sig till varandra vilket i sin tur ger, som jag tidigare beskrivit, oanade möjligheter. Tanken är nästan svindlande!

Studentprojektet
Det första studentprojekt med HoloLens har redan startat denna hösttermin trots att jag ännu inte är tillbaka från USA. I detta spännande projekt deltar fyra studenter som läser på Civilingenjörsprogrammet Interaktion och Design vid Umeå universitet. De ska utveckla en applikation för HoloLens inom ramen för en projektkurs. Eftersom jag fortfarande är bortrest har studenterna fått besöka CGI i Umeå för att kunna testa HoloLens och få höra lite mer om CGI:s nya projekt och utvecklingen av deras applikation HoloTagger. HoloTagger är en vidareutveckling av koncepten framtagna i applikationen WallTagger som CGI utvecklade i samarbete med oss inför konferensen ”Lärande i fokus”.

Bilder från konferensen Lärande i fokus, 2013 och augmented reality applikationen “WallTagger”
walltagger1 walltagger2 walltagger3 walltagger4

HoloLensprojektet
Det tänkta scenariot för höstens studentprojekt handlar om hur en tandläkare ska kunna använda augmented reality och smarta glasögon av typen HoloLens i någon process i sitt arbete. Projektet är fortfarande i sin linda och vi har inte bestämt ännu exakt verksamhetsområde. Dock är det speciellt intressant att undersöka hur en tandläkare som verkligen behöver använda båda sina händer i sitt arbete skulle kunna använda denna röst- och rörelsestyrda enhet. Några av lärdomarna från projektet med Google Glass i tandläkarutbildningen är att det är relativt mödosamt för en tandläkare att varje gång när teknik behöver användas mitt under exempelvis behandling av en patient måste tandläkaren ta av sig skyddshandskarna, tvätta händerna och sätta på sig handskarna igen i syfte att behålla en ren och steril miljö. I detta fall skulle alltså en röst- och rörelsestyrd enhet av typen HoloLens kunna fungera ypperligt inom tandhälsovården. En tandläkare skulle exempelvis kunna med hjälp av HoloLens skriva i journalen, fotografera, samtala med en kollega eller se på röntgenbilder direkt i glasögonen utan att behöva lämna patienten och ta av sig skyddshandskarna varje gång. Allt kan ske var som helst i rummet genom att använda projicerade hologram. Exakt på å vilket sätt detta skulle kunna genomföras och vilka möjligheter och utmaningar som faktiskt finns återstår som sagt att undersöka. Dock hoppas vi att vi kan få några svar på våra frågor i detta projekt.

Studenterna från Interaktion och Design:
id_studenterna
Från vänster Mattias Sedin, Elin Hörnfeldt och Fredrik Johansson samt Christian Fischer (den infällda bilden). I bakgrunden syns Thomas Mejtoft (programansvarig för civilingenjörsprogrammet Interaktion och Design).

CGI i media om HoloLens:
CGI:s pressmeddelande >>
Artikel i Computer Sweden >>
Infotechs reportage >>
Artikel i DN >>

Studentprojekten 2016 har startat!

Äntligen är våren på intågande vilket också betyder att det är dags för studentprojekten igen. Lika efterlängtat varje år. Denna omgång har jag två grupper. Båda grupperna läser kursen Ingenjörens roll i arbetslivet. Grupperna består av en mix av studenter som läser Civilingenjörsprogrammen Industriell ekonomi och Teknisk fysik. Inom ramen för kursen ska studenterna genomföra ett projektarbete om 4.5 hp. Momentet omfattar planering och genomförandet av ett projekt som baseras på ett formulerat uppdrag av någon organisation eller företag i näringslivet.

Uppdragen:
1. Spelifierat lärande
– utveckling av ramverk och lärmoment/aktiviteter
Den ena projektgruppen har fått i uppdrag att utveckla ett ramverk och ett lärmoment med inriktning mot Spelifiering (eng. Gamification). Själva uppdraget går alltså ut på att studenterna ska konstruera ett ramverk som kan används som stöd vid planering och genomförande av en spelifierad aktivitet i skolan. Sedan ska de också inom projektets ramar utveckla ett spelifierat lärmoment/aktiviteter för olika digital verktyg såsom bärbara datorer, Surfplattor, smarta glasögon (e.g. Google Glass) och Virtual Reality-glasögon (virtuell verklighet). Det gäller således för studenterna att skapa utmaningar så att funktionaliteten för den mobila tekniken nyttjas på bästa sätt i varje utmaning. Detta år sker projektet i samarbete med Umevatoriet där själva ”eventet” ska genomföras. Innehållet eller temana i de spelifierade aktiviteterna kommer att omfatta Umevatoriets verksamhet. En skolklass i år 8 från Tegs centralskola ska få testa studenternas planerade aktivitet i mitten av maj. Studenterna har bra uppbackning och stöd i detta projekt. Deltagare förutom jag själv och Anna-Lena Sahlman vid Umevatoriet så medverkar även Tomas Svedgård, MediaCenter. Tomas har mångåriga erfarenhet av skolutveckling. Vi som medverkar i projektet tycker att det ska bli oerhört spännande att se vad projekt kommer att resultera i. Lika spännande varje år med andra ord. Av erfarenhet vet jag att dessa studenter brukar vara oerhört ambitiösa och duktiga och har genomfört de tidigare uppdragen till full belåtenhet (se exempelvis projektet #tagga2014) .

2. Ett virtuellt campus – utveckling av en konceptlösning och 360°-filmer
Det andra projektet har en helt annan inriktning och målgrupp och sker i samarbetet med Kommunikationsenheten här vid Umeå universitet. I detta projekt ska studenterna konstruera en konceptlösning och skapa 360°-filmer (side-by-side) för webb och VR-glasögon. Syftet med filmerna är att ge användaren av ett par VR-glasögon en så nära kroppslig upplevelse som möjligt av hur det kan kännas att vara en internationell student vid Umeå universitet. En blivande internationell student ska alltså ges möjlighet att ”kliva in i” vår campusmiljö i VR-format. Studenternas slutprodukter är tänkt att användas för att inspirera blivande internationella studenter att faktiskt välja Umeå universitet som studieort. Deltagare förutom jag själv är också Jessica Bergström Grahn från Kommunikationsenheten i projektet.

Här nedan visas några bilder på den typen av VR-glasögon som kommer att användas i projektet.
1426086920_Zeiss_VR_One_26-600x335carl-zeiss-vr-one 1442488100_zeiss-vr-one-02-600x335 1426086835_Zeiss_VR_One_-600x335

Spelifierat lärande för skolelever

Är du intresserad av spelifierat lärande och digitalisering av svensk skola? Kom då till Umeå universitet på torsdag den 21 maj. Då kommer klass 7 från Hagaskolan till universitetet för att testa civilingenjörsstudenternas design av ett spelifierat lärmoment anpassat för just dem. Skoleleverna kommer att få använda surfplattor, Google Glass och Makey Makey för att lösa problem och få ledtrådar till nästa problem att lösa.

Kommer de att lyckas? Kom och titta!

Dag: torsdag 21 maj
Tid: 9.00 – 13.30
Samling: Sal N300, Naturvetarhuset Umeå universitet kl. 09.00

Varmt välkommen!
N300

Projektet Google Glass goes Gamification – utveckling av lärmoment utifrån spelteori är det tredje projektet som pågår den här terminen. Detta projekt är också är ett gränsöverskridande studentprojekt som handlar om att sammanföra nya trender av teknik (surfplattor och smarta glasögon bl.a.) och spelifiering som pedagogisk metod. Studien bidrar med kunskap om gränsöverskridande samarbeten, möjligheter och utmaningar för högskolepedagogik. Projektet kan även ses som ett inlägg i debatten om en digitaliserad skola och vilken betydelse nya trender för med sig. Möjligheter såväl som utmaningar.

I projekt medverkar studenter som läser kursen Ingenjörens roll i arbetslivet. Studenterna studerar civilingenjörsprogrammen Teknisk fysik och Industriell ekonomi. Det är således en blandad grupp studenter med olika förmågor och kompetenser. Kursen för studenterna startade i slutet av mars och på torsdag 21 maj genomförs alltså eventet för skoleleverna. I projektet medverkar också Jan Bidner och John Eriksson från det lokala företaget Sogeti med särskild kunskap om spelifiering och spelutveckling.

Inom ramen för kursen ska alltså dessa studenter utveckla ett lärmoment utifrån spelifiering – gamification. Gamification handlar kort och gott om att använda speldynamik i nya sammanhang (i detta fall för skola). Studenterna ska utifrån teorier om hur spelstrukturer motiverar och engagerar till lärande skapa lärande utmaningar för skolelever. Studenterna designar lärmomentet utifrån ett ramverk för spelifiering som heter Octalysis, se Yu-Kai Chou.

Själva genomförandet där eleverna ska testa utmaningarna kommer att ske med en mix av digitala verktyg i form av surfplattor, smarta glasögon och Makey Makey. Det gäller således för studenterna att skapa utmaningar så att funktionaliteten för exempelvis surfplattor och smarta glasögon används på bästa sätt.

I januari 2015 publicerade New Media Consortium (NMC) 2015 NMC Technology Outlook: Scandinavian Schools, en regional rapport inom ramen för Horizon Report-projektet. I rapporten förutspås att teknik som exempelvis smarta glasögon kommer att inom en 4-5 års period göra sitt intåg i skolans värld. Likaså spelifierat lärande som pedagogisk metod. Frilansskribenten Stefans Pålsson sammanfattar rapporten i Skolverkets blogg – Omvärldsbloggen.

Läs mer:
Tagga2014>>
2015 NMC Technology Outlook: Scandinavian Schools>>

Om spelifierat lärande/gamification:
Octalysis: Complete Gamification Framework

Här kan du ladda ner Yu-Kai Chous bok gratis (längst ner till vänster – Download).

Podden Gamificationfredag

Här pratar bl.a. Jan Bidner (Sogeti) tillsammans med Mats Björk (Sogeti) om Gamification.

Gamification vs Game-Based eLearning: Can You Tell The Difference?

The 35 Gamification Mechanics toolkit

YouTube
The weirdest game at PAX: Upsilon Circuit >>
Super Hero Augmented Reality App at Walmart- Avengers >>

LAGG – Location for Ambulance through Google Glass

Ett av de studentprojekt som pågår med Google Glass denna termin (VT15) sker i samarbete med institutionen för tillämpad fysik och elektronik (TFE). En grupp på sex studenter som läser programmet Interaktion och Design ska i kursen Produktutveckling i medieteknik med metoden ”Design-Build-Test” utveckla ett fungerande system för att kunna skicka en lägesposition direkt till Google Glass så att användaren kan få en vägbeskrivning till den skickade positionen.

Ett tänkt scenario och användningsområde
Ett användningsområde skulle exempelvis kunna vara för förare av ett räddningsfordon, ambulans eller brandbil. Emellanåt är det svårt för ambulanspersonal och brandmän att hitta till den plats där en olycka har skett. I de fall där det är mycket bråttom och föraren behöver GPS-stöd för att hitta vägen till olycksplatsen kan det upplevas stressande att mata in den korrekta adressen. Med den tekniska lösning som dessa studenter utvecklar gör det alltså möjligt att skicka positionen direkt till Google Glass utan att man behöver ange koordinater eller adressen. Ungefär som när man släpper en kartnål i Google Maps för den plats man just nu befinner sig på, men i det här fallet skickas positionen med vägbeskrivning alltså direkt till Google Glass. Tanken är att föraren av ambulansen ska få en snabb och korrekt vägbeskrivning till olycksplatsen utan att behöva interagera med systemet. Föraren kan istället koncentrera sig på själva körningen av ambulansen. Det finns säkerligen en mängd andra områden där denna tekniska lösning också skulle passa utmärkt. Det får dock framtiden utvisa.

Studiebesök
För att få så mycket information som möjligt om ambulanspersonalens arbetsprocesser och tillvägagångssätt vid en utryckning fick vi besöka Umeå ambulansstation den 23 april. Där mötte Nils Forsell oss och berättade med inlevelse precis hur det går till vid en utryckning och vilken befintlig teknik de använder just nu som stöd i arbetet. Spontant trodde jag i min enfald faktiskt att dagens ambulanser var utrustade med den allra, allra senaste tekniken. Men så är inte fallet. Ambulanserna har inte ens trådlös uppkoppling i bilarna vilket jag tog för givet. Vad gäller teknikanvändning som stöd i arbetsprocesser finns det en hel del att förbättra inom detta område. Det är naturligtvis en kostnadsfråga och vad som anses vara värt att prioritera med hänsyn till patientsäkerheten.

GPS-positionering
När SOS Alarm kontaktas går det endast att få GPS-positionen automatiskt skickad  ifrån fasta telefoner. Det är mer specifikt huset eller adressen som GPS-positionen är markör för. Om man istället ringer till SOS Alarm ifrån exempelvis en mobiltelefon som kan vistas precis var som helst kan inte en GPS-position visas i samband med telefonsamtalet. Det är detta som studenterna i detta projekt ska utveckla, d.v.s. att det via mobilen vid ett samtal till SOS Alarm ska kunna gå att skicka GPS-positionen för att få en vägbeskrivning till olycksplatsen.

Studenterna är i stort sett klara med mobilappen för GPS-positioneringen. Den som ringer larmsamtalet ska alltså förutom att GPS-positionen skickas ifrån mobilen även kunna godkänna att ambulanspersonal får ta del av en patients journaler. Det kan vara livsviktigt i det allra första mötet med patienten att få kunskap om den olycksdrabbade äter någon medicin eller har någon annan åkomma som ambulanspersonalen bör känna till. I de fall där en patient är exempelvis medvetslös kan det förstås vara mycket svårt att få relevant information.

Nedan visas några bilder från besöket från ambulansstationen. Det är Nils Forsell som förevisar och berättar för studenterna.
bild1_800 bild2_800 bild3_800 bild4_800 bild5_800 bild6_800 bild7_800 bild8_800

Forskningsmedel!

Jag är så otroligt innerligt glad att jag nu har fått mina första forskningsmedel för en studie där jag kan undersöka användning av Google Glass. Helt otroligt fantastiskt!

Finansiär är Lärarhögskolan vid Umeå universitet. Jag har blivit tilldelad 500 000 kr för att bedriva forskning om hur lärare kan använda kroppsnära teknik i skolan.

Den här experimentella studien syftar till att undersöka de möjligheter och utmaningar användning av kroppsnära teknik (eg. Google Glass) ger lärare i deras vardagliga arbete i skolan. Syftet med studien är också att undersöka och förstå hur lärare designar sin undervisning i teknikmedierade lärmiljöer samt vilken betydelse snabb och tillgänglig information samt dokumentation får för lärares vardag.

De forskningsfrågor studien baseras på är:

  1. Hur designar lärare sin undervisning i lärmiljöer där kroppsnära teknik och mobila teknologier används?
  2. Hur tillämpar lärare kroppsnära teknik för administration, planering, undervisning och dokumentation?
  3. Vilka pedagogiska möjligheter och utmaningar finns det?
  4. Vilka funktioner anses mest tillämpbara?
  5. Hur och vad kommunicerar lärare med elever, föräldrar eller kollegor?

Den här experimentella studien utgår alltså från en kvalitativ forskningsansats. Halvstrukturerade intervjuer och klassrumsobservationer kommer att användas som metoder för datainsamling. Även dokumentstudier i form av aktivitetslistor i Google Glass (exempelvis kommunikation med elever, fotografering, filmning, kalenderhändelser, sökningar och faktainformation, anteckningar m.m.) och eventuella nyhetsflöden i sociala medier (exempelvis Facebook, Twitter) samt studier av insamlat material i databaser kommer att genomföras. Studien beräknas att pågå under en 2-års period.

Eftersom tillgången till kroppsnära teknik av typen Google Glass är relativt begränsad kommer 2 lärare i grundskolans år 7-9 och 2 lärare i gymnasiet att medverka. Dock så är ett krav att medverkande lärares elever använder mobila enheter av typen dator, surf- eller lärplattor. Detta är en viktig aspekt i studien för att kunna undersöka hur lärare och elever nyttjar teknikens möjligheter för kommunikation och vad som kommuniceras.

Jag ser verkligen framemot att få starta upp detta forskningsprojekt. Det ska bli så otroligt roligt och spännande!

 

Att skapa lärande utmaningar i kombination med användning av Google Glass och platsberoende information

Under våren 2014 leder jag ett projekt med Google Glass som handlar om att utforska hur Google Glass kan användas i lärsituationer. Wearable technology och mer specifikt just användning av Google Glass i utbildningssyfte är ett outforskat område inom såväl grundskolan som inom högre utbildning. Det här projektet syftar till att utforska hur Google Glass kan användas som stöd i lärsituationer. Syftet är också att utforska hur Google Glass i kombination med platsberoende information och augmented reality kan användas för att stärka skolelevers lärande och att skapa nyfikenhet och lust till lärande. Vidare är syftet att erbjuda studenter vid Umeå universitet möjlighet att utveckla verktyg och pedagogiska aktiviteter för Google Glass.

I detta projekt utforskas alltså användning av Google Glass i en specifik lärsituation där lärprocessen utformas som en typ av skattjakt eller gamification.

Två skolelever, Elvira 13 och Axel 15 år, kommer att få använda Google Glass, få utmaningar/problem pushat till glasögonen (via GPS) när de närmar sig ett specifikt område (platsberoende information). Utmaningarna som pushas till glasögonen ska de sedan lösa. Eleverna ska alltså lösa utmaningarna/problemen och få ledtrådar för att ta sig till nästa ställe där nästa utmaning eller ledtråd kommer att presenteras.

Detta projekt är en del av ett större övergripande samarbetsprojekt mellan tre institutioner/enheter vid Umeå universitet och lokala företag. Vid Umeå universitet medverkar interaktiva medier och lärande (IML), Interaktion och Design, Teknisk fysik och Industriell ekonomi. Lokala företag som medverkar i projektet är CGI, Algoryx och Dohi Sweden.

Studenter vid Interaktion och Design kommer att utveckla ett verktyg för Google Glass där man kan lägga in och få platsberoende information pushat till dem, d.v.s. göra det möjligt att binda information till fysiska platser genom att ange koordinater som informationen ska bindas till samt en radie inom vilken informationen kan visas.

Studenter i kursen Ingenjörens roll i arbetslivet ska alltså skapa de utmaningar/problem som skoleleverna ska lösa. Dessa utmaningar ska kopplas ihop med befintlig funktionalitet i Google Glass samt till den tekniska lösning för platsberoende information som studenterna vid Interaktion och Design utvecklar.

De tre lokala företag som är involverade i projektet är främst kopplade till studenternas arbete. Algoryx kommer att agera i rollen som tekniskt sakkunnig i projektet för de medverkande studenterna som ska skapa utmanignarna. Företaget Dohi Sweden är mentorer för studenterna vid Interaktion och Design som utvecklar den tekniska lösningen för platsberoende information. Även företaget CGI har en koppling till projektet eftersom deras applikation, WallTagger (beskrivning längst ner på den länkade sidan), kommer att användas i en av utmaningarna.

Det är otroligt spännande att se hur det hela kommer att utvecklas. 27 maj kl. 15.00 ska applikationerna vara färdiga och eleverna ska få testa  i skarpt läge 🙂
Vi samlas vid Kulturhuvudstadshjärtat vid Rådhusesplanaden.

Google Glass i tandläkarutbildningen

Ett av de pilotprojekt där jag utforskar användningen av Google Glass är ett samarbetsprojekt tillsammans med tandläkarutbildningen här vid Umeå universitet. Projektet går ut på att utforska hur Google Glass kan används som stöd i handledningssituationer med tandläkarstudenter.

Vid detta första försök var tanken att prova om det går att projicera upp bilden från Google Glass på en vit duk genom att köra en s.k. Hangouts (videosamtal). Videosamtalet (alltså bilden från kameran på Google Glass) skulle projiceras upp via en iPad på vita duken och visa tandläkarens vy.

Naturligtvis så strulade den trådlösa uppkopplingen. Hade man kunna vänta sig något annat? Signalstyrkan till det trådlösa nätverk som brillorna var kopplade till fluktuerade. Det gjorde även signalstyrkan till det trådlösa nätverk som iPaden var kopplad till.
Vi fick gå över till plan B…

Istället för att använda oss av videosamtalsfunktionen tog vi stillbilder med brillorna och projicerade upp dem på vita duken. För att ta en bild säger man helt enkelt: “Ok glass, take a picture”. Den tagna bilden visas sedan från brillorna via den telefon som är sammankopplad med Google Glass. Bilden som visas på telefonens skärm (s.k. screencast) visas via en dator som i sin tur är kopplad till en projektor.

Resultat?

  • Fungerande trådlös uppkoppling är extremt viktigt för videosamtal
  • Bilden över 3G-nätet är av för dålig kvalitet för att det ska gå att använda videosamtal
  • Svårt att hitta rätt vinkel för att ta bra närbilder med brillorna
  • I framtiden skulle en tandläkare behöva en kamera som går att rikta bättre för att ta bra närbilder
  • Google Glass är en god inspirationskälla för samtal om utveckling och användning av framtidens teknik (studenter och övrig personal tyckte det var jättespännande!)
  • Andra användningsområden för Google Glass i handledningssituationer diskuterades
  • Ett exempel på att användbart område är om tandläkaren skulle kunna få röntgenbilderna skickade till glasögonen. Då kan tandläkaren sitta vänd mot patienten och titta på tänderna samtidigt som röntgenbilden visas i prismat ovanför ögat. Det vore något 🙂

Nedan visas några bilder från handledningssituationen tagen med en vanlig digitalkamera samt några bilder tagna med Google Glass. Även en liten film presenteras. Studenter och patienter har givit sin tillåtelse att visa bilderna.

bild1  lena_stud lena_stud2 mun projektorduk stud_skarm

Bilder tagna med Google Glass:

tjej1_narbild tjej2_narbild2

kille1_narbild2kille3_narbild

Film – handledning: