Gesprekken faciliteren die bidirectioneel cultureel leren bevorderen

Fase 4 | Evaluatief onderzoek | 03.19.2018

Procesdocumentatie voor Interaction Design Studio II, gegeven door Peter Scupelli aan de Carnegie Mellon University. Team bestaat uit Zach Bachiri, Devika Khowala, Hajira Qazi en Shengzhi Wu.

We hebben ons na de voorjaarsvakantie opnieuw gegroepeerd en hebben de feedback van onze laatste presentatie over generatief onderzoek besproken. We hebben zeer constructieve feedback ontvangen en het heeft ons geholpen om een ​​aantal essentiële ontwerpimplicaties voor ons ontwerp in de toekomst te schetsen:

  • Om sociale normen te leren, moeten er interacties plaatsvinden tussen mensen.
  • Een AI-systeem kan die interactie helpen vergemakkelijken, maar kan het hoe dan ook niet vervangen.
  • Het mogelijk maken van een leeromgeving die bidirectioneel is en zowel Amerikanen als internationale studenten helpt om meer te leren over elkaars culturen, voegt een unieke waarde toe aan de propositie.

Op basis van ons onderzoek, de eerste bevindingen van de speeddate en de feedback van onze collega's en docenten, hebben we een richting gekozen die we als groep willen verkennen.

We richten ons op het bouwen van een systeem dat gebruikmaakt van AI om een ​​wederzijdse leerervaring mogelijk te maken via een conversational social network platform.

Waarom een ​​sociaal netwerkplatform?

Zijn er niet al veel sociale netwerkplatforms? Hoe zouden die van ons anders zijn?

Tijdens de generatieve fase hebben we een snelle speeddate gedaan met de belangrijkste conceptrichtingen die we hadden. We hebben positieve feedback gekregen op twee van die richtingen, maar het bidirectioneel leren kan het meest natuurlijk worden gefaciliteerd op een sociaal platform.

We zijn van mening dat in plaats van te zoeken naar meer concepten, onze tijd en onderzoek beter zou worden geïnvesteerd als we ons zouden concentreren op het ontwikkelen en testen van de interacties die zouden plaatsvinden via het sociale netwerkplatform.

We zijn begonnen te definiëren hoe ons systeem eruit zou zien:

Hoe zou het systeem eruit zien?

  1. Soorten facilitatie:
  • Snel nieuw gespreksonderwerp (cultureel verschil)
  • Gebruik van moedertaal / termen (bijv. OMG)
  • Uitleg / suggesties van sociale normen

2. Hoe zou de AI-assistent faciliteren

  • Hoe bevorder je de interactie tussen internationale en autochtone studenten?
  • Welke situatie moet worden ingegrepen?
  • Welke methoden zijn geschikt voor interventie? Wanneer?
  • Welke gegevens zijn vereist voor machine learning?
  • Welke platforms gebruiken we voor onze facilitatietool?

3. Wat omvat het platform:

  • Chatten tussen studenten
  • “David bot” facilitator / assistent (open vragen)
  • Op interesses gebaseerd buddy matching-systeem dat 5 (?) Naamloze / gezichtsloze opties van ppl biedt om mee te verbinden
  • Groepschats (vormen hun eigen, met enige structuur)
  • Aankondigingen (?)

Zorgen en hoe we ze zullen aanpakken:

  • Aarzel niet om vreemden te bereiken; hoe bouw je vertrouwen op met vreemden?
  • Privacybezorgdheden
  • Creëert het afhankelijkheid? Hoe lang wordt het gebruikt als er iets is geleerd?
  • Er zijn verschillende soorten mensen uit verschillende landen en culturen die naar de VS komen; hoe ga je in op specifieke behoeften en achtergronden / vaardigheden?
  • Het begrijpen en gevoeliger zijn voor de behoeften van één immigrant zal de interactie met alle immigranten helpen
  • Wat is de motivatie / stimulans voor Amerikanen om (en gebruikers in het algemeen) te gebruiken?
  • Welke platforms zullen we gebruiken? Gewoon mobiel?
  • Zullen we een netwerk creëren voor internationale studenten om ook informatie te verbinden en te delen?

Bruce / Peter gesprek

  • Hoe past onze interventie in oriëntatieprogramma's die CMU al biedt?
  • Richten we ons op studenten / afstudeerders?
  • Verandert de interventie afhankelijk van de stad waar de studenten aankomen? Landelijk versus stad
  • Op een campus bevindt iedereen zich in een nieuwe omgeving en leert nieuwe dingen
  • Hoe ppl aan te pakken met verschillende blootstellingen en vaardigheden aan de Amerikaanse cultuur / Engelse taal.
  • Misschien wil je met iemand praten die betrokken is bij undergrad-oriëntatie (en internationale studentenoriëntatie) over wat ze inkomende studenten leren

We hebben besloten het proces terug te brengen tot kleinere taken en tests die ons de sterke punten en uitdagingen van een dergelijk systeem kunnen helpen. wij denken dat deze strategie ons zal helpen vooruit te gaan door ons in staat te stellen rekening te houden met de kleinere aspecten van een dergelijke interactie.

Volgende stappen:

1. Conversatieonderzoek

  • Vind deelnemers
  • Schrijf instructies voor deelnemersgesprekken
  • Onderzoek bestaand platform
  • Komt overeen met mensen binnen de hele Freshman-klasse en biedt vervolgens meer specifieke details / segmentatie.

2. Ruw prototype van platform

3. Test de bot / facilitator

eerste test met de chatbot

Tijdlijn voor evaluatief onderzoek

Week van 03.26.18

Ontmoeting met het Office of International Education (OIE)

Devika organiseerde op 28 maart een ontmoeting met OIE, wat uiteindelijk erg nuttig was. Hieruit hebben we geleerd dat onze interventie het meest nuttig zal zijn voor afgestudeerde studenten omdat de meeste niet-gegradueerde internationale studenten in de VS hebben gewoond of naar internationale scholen zijn gegaan, dus een grotere vloeiendheid hebben met taal en Amerikaanse cultuur. Ook zijn niet-gegradueerde internationale studenten een zeer klein aantal van de totale internationale studenten aan de CMU. De vrouwen met wie we spraken, zeiden dat er niet veel contact is met OIE voorafgaand aan de aankomst van de studenten in de Verenigde Staten, dus pre-aankomst is een goed interventiepunt. Het is ook een tijd waarin studenten het meest opgewonden en emotioneel hoog zijn (onze reiskaartoefening bevestigt dit), dus het zou het beste interventiepunt zijn om de aandacht van studenten te trekken. Andere punten die naar voren kwamen:

  • Er zijn overgangsproblemen voor zowel internationale studenten als Amerikaanse studenten
  • De OIE geeft een 'aanpassing aan het leven' presentatie voor internationale studenten ter oriëntatie. Dat kan handig zijn voor ons onderzoek
  • 3500 internationale studenten komen alleen uit India en China, dus mensen uit andere landen hebben niet zoveel gemeenschap op de campus en kunnen zich geïsoleerd voelen
  • Een groot deel van het werk van OIE is het verbinden van studenten met andere relevante bronnen. Zou ons platform daarbij kunnen helpen?

Het platform

We hebben deze week veel tijd besteed aan het plannen van hoe het platform eruit zou zien. We begonnen met het opsommen van de functies die het platform zou hebben en vervolgens de details van hoe het zou werken. Hieronder volgt een lijst met functies, details en openstaande vragen.

Algemene kenmerken / structuur

Onboarding

Informatie verstrekt door de universiteit

  • Taalvaardigheid / TOEFL-scores
  • Afdeling / diploma nastreven
  • Internationale student of niet

Ingevoerd door gebruiker

  • Bio
  • Interesses - categorieën van opties die de gebruiker selecteert, niet handmatig ingevoerd
  • Foto

Profiel pagina

Chatten tussen studenten

  • Kunnen we videochat opnemen en daarna feedback geven?
  • Hoe zit het met training over zaken als oogcontact en non-verbaal gedrag? Kunnen we ingrijpen en ons voorbereiden op de overgang van op tekst gebaseerd naar persoonlijk gesprek?

Markeringen

In individuele en groepschats kunnen gebruikers markeren welke woorden of delen van een gesprek verwarrend zijn, waarna de bot de andere gebruiker zal vragen dit uit te leggen. De persoon aan de andere kant van het gesprek weet niet wat er specifiek is gemarkeerd. Gebruikers markeren wat is ...

  • Moeilijke taal
  • Verwarrend
  • Cultureel verschil / onbeleefd?

De bot leert van markeringen en legt terug aan gebruikers.

De meeste gebruikers begrijpen 'reacties' als een reactie of indicatie voor de andere persoon in het gesprek. Hoe kunnen we de mentale modellen van conversatiechats en reacties van gebruikers overwinnen? Moet het systeem dingen verzamelen die als verwarrend zijn gemarkeerd, zodat ze deze later kunnen bekijken?

Bot facilitator / assistent

  • Gebruikers kunnen er open vragen over stellen
  • Intervenieert in zowel één-op-één- als groepschats omdat het de mogelijkheden voor machine learning vergroot
  • Soorten facilitering: Snel nieuw gespreksonderwerp Verklaring van moedertaal / termen (bijv. OMG) Verklaring van sociale normen
  • Kan de bot de angsten van inkomende studenten ondersteunen?
AI Persona voor onze bot genaamd Alex

Op interesses gebaseerd systeem voor het matchen van vrienden

We hebben veel gepraat en gedebatteerd over hoe het matching-systeem zou werken. We hebben verschillende opties overwogen, en toen besloten we dat het toestaan ​​dat gebruikers kunnen kiezen om verbinding te maken met een of meer mensen uit een paar verschillende wedstrijden, hen een gevoel van eigenaarschap en toewijding aan de relatie geeft en ook het probleem van het niet werken van de 'buddy' vermindert out als gevolg van botsingen van persoonlijkheid.

Mogelijkheden voor afstemming in kaart brengen en beperken

Overeenstemming is een belangrijk onderdeel van het leerproces in ons concept, dus een-op-een gesprek is belangrijk, en het zal ook helpen bij het overwinnen van de eerste angst om met nieuwe mensen te praten. Eén-op-één matching is ook belangrijk omdat diepe en persoonlijke gesprekken meestal niet in groepen plaatsvinden. Groepschats worden meestal gebruikt om grappen / berichten / informatie te delen, enz. We waren het er echter over eens dat er een afnemend rendement is op de waarde van matching - de kwaliteit van het gesprek en de relatie zal afnemen naarmate het aantal matches toeneemt.

Kenmerken van matching:

  • Biedt vijf 5 of zo naamloze / gezichtsloze opties van mensen om mee te verbinden. Namen en gezichten verschijnen zodra gebruikers in een gesprek zijn verbonden, om vooringenomenheid te voorkomen.
  • De gebruiker kan een of alle overeenkomsten selecteren door op 'Gesprek starten' te klikken. Eenmaal geselecteerd, wordt een automatisch gesprek gestart om de aanvankelijke onhandigheid van het praten met een vreemde te overwinnen.
  • AI-overeenkomsten op basis van behoeften en Engelse / culturele vaardigheid
  • Gebruikers kunnen namen zoeken en communiceren met andere mensen dan waarmee ze zijn gematcht
  • Heeft een persoon de optie om niet te worden aanbevolen aan en benaderd door andere mensen? - opties voor privacy-instellingen?
  • Kan de gebruiker de mensen uitlichten waar hij / zij niet mee wil praten, zodat er nieuwe verschijnen?

Groepschats

  • Gebruikers vormen hun eigen groepen, met enkele opties en structuur
  • Kunnen groepschats worden gebruikt om mensen uit te nodigen voor culturele evenementen, zoals een #Events-groep?
  • Een manier waarop mensen nieuwe vrienden kunnen vinden, behalve die waarmee ze rechtstreeks zijn gematcht. AI kan hiervan leren om een ​​beter matching-systeem te ontwikkelen

Mededelingen

  • Bot kan ingrijpen of de gebruiker vragen naar universitaire taken / oriëntatietaken
  • Kan de bot leren van veelgestelde vragen en vooraf bepalen?

Draadframes

We hebben allemaal ruwe wireframes gemaakt voor de bestemmingspagina om na te denken over hoe het platform zou worden gestructureerd.

Zach's draadframesShengzhi's draadframes

Conversational Research

Methode

We zijn van plan enkele voorbeeldgesprekken te voeren met inkomende studenten en het gesprek tussen drie hoofdgroepen studenten te testen en vervolgens de bevindingen te analyseren.

  • Internationale studenten en inkomende internationale studenten
  • Amerikaanse student en inkomende internationale studenten
  • Inkomende Amerikaanse student en inkomende internationale studenten

De CMU School of Design creëert elk jaar een Facebook-groep voor elke inkomende klas. We hebben gevraagd om voor de groep te worden uitgenodigd, zodat we contact konden opnemen met de inkomende klas om te zien of ze geïnteresseerd zouden zijn in deelname aan ons onderzoek. Nadat we daarvoor toestemming hadden gekregen en voor de groep waren uitgenodigd, hebben we een Google-formulier gemaakt dat we naar de hele inkomende klas hebben gestuurd. We vroegen hen om vast te stellen of ze internationale studenten waren en of ze het meest geïnteresseerd waren in communicatie met huidige of inkomende studenten.

Uitnodiging om deel te nemen aan onderzoek

We kregen tien reacties, van wie er zeven internationale studenten waren. Negen van de tien wilden praten met huidige studenten. Daar hadden we niet op geanticipeerd, dus moesten we op zoek naar andere masterstudenten die met inkomende studenten wilden communiceren. Gelukkig stemden verschillende mensen ermee in om deel te nemen.

Vervolgens zijn we begonnen met het matchen van de studenten op basis van het feit of ze internationale studenten waren of niet. Als dat zo was, probeerden we ze te matchen met Amerikaanse studenten; zo niet, dan hebben we ze gekoppeld aan huidige internationale studenten. We schreven alle namen van de deelnemers op Post-Its en stemden ze overeenkomstig af.

Vervolgens hebben we de gesprekken op Facebook opgezet door een berichtengroep te maken met de twee mensen die aan elkaar werden gematcht. We stuurden een inleidend bericht om het te vergemakkelijken, maar controleerden het gesprek niet of onderbraken het pas nadat we het onderzoek 4-5 dagen later hadden beëindigd.

Resultaten

Voorbeeldgesprekken

Sommige gesprekken gingen nogal door en sommige duurden niet langer dan een paar regels tekst. We drukten alle gesprekken af ​​op groot tabloidpapier en lazen vervolgens de gesprekken en belichtten mogelijke interventiepunten. De meeste vragen waren logistiek of informatiezoekend en de gesprekken hadden betrekking op drie onderwerpen:

  • Pittsburgh: huisvesting, klimaat
  • MA / MPS / MDes-details
  • Persoonlijke achtergrond: carrière, interesses, reizen, blootstelling aan de VS, enz.

We ontdekten dat er niet zo veel storingen in het gesprek waren als we hadden verwacht, wat kan betekenen dat we onze aanpak een beetje moeten herzien. Shengzhi bracht naar voren dat wanneer vreemden spreken, ze eerder vriendelijk en beleefd zijn, terwijl je met vrienden informeler bent en minder bewaakt, dus het is waarschijnlijker dat pannes optreden. De deelnemers schreven in volledige zinnen en in detail, waardoor er waarschijnlijk minder misverstanden zouden ontstaan.

We zullen de gesprekken elk opnieuw lezen en codificeren voor verdere analyse.

Enkele problemen / vragen die naar voren kwamen:

  • We wisten niet hoeveel verantwoordelijkheid de huidige studenten zouden dragen om de vragen van inkomende studenten te beantwoorden. Misschien was het beter geweest om inkomend en inkomend te matchen.
  • Kunnen we internationale studenten aansporen om ook iets over hun cultuur te vertellen?
  • Was er een observatie-effect als je wist dat de gesprekken later zouden worden geanalyseerd?
  • De meeste verantwoordelijkheid lag bij de Amerikanen om dingen uit te leggen over Pittsburgh, het weer, school, enz. Hoe kunnen we dit meer bidirectioneel maken, zodat het niet aan één persoon is om les te geven?
  • Internationale studenten zijn zich niet echt bewust van de culturele verschillen die ze zullen tegenkomen totdat ze hier aankomen en een cultuurschok ervaren. Kan het platform ze beter voorbereiden?
  • Vindt onze interventie te vroeg plaats in het transitieproces? Waar bereiden we ze, afgezien van logistiek, op voor? Persoon-tot-persoonkwesties worden hier maar één keer gerealiseerd en ervaren een cultuurschok.
  • Veel van de gesprekken gingen dood. Hoe ppl onderhouden en behouden?

Week van 04.02.18

Gesprekbevindingen

Na het lezen en coderen van alle gesprekken die we verzamelden, konden we enkele belangrijke bevindingen opsommen. Ze zijn als volgt:

  • Het leren in de gesprekken was niet bidirectioneel genoeg.
  • De tijdlijn van het gesprek lijkt in dit geval van belang te zijn. Cultuurschok is iets dat bij aankomst duidelijk wordt, dus mensen waren zich nog niet bewust van de dingen die ze moeten leren.
  • Er waren niet genoeg uitvalpunten in deze gesprekken om als enige context voor cultureel leren op het platform te gebruiken.
  • Er is een groot verschil in de behoeften van inkomende studenten versus huidige studenten.
  • Er zijn meer leermogelijkheden in de gesprekken dan communicatiestoringen.
  • Het is belangrijk om mensen betrokken te houden bij gesprekken, gezien het aantal gesprekken dat snel is beëindigd.

Over het algemeen was de belangrijkste conclusie dat er niet genoeg gespreksonderbrekingen waren met inkomende studenten om zich uitsluitend te concentreren op het faciliteren van die gesprekken. Als gevolg hiervan begonnen we na te denken over hoe we proactiever bidirectioneel leren in het platform konden creëren. Specifiek, functies zoals gerichte prompts geïntegreerd in 1-op-1 gesprekken en / of een groep met een bot die culturele leeronderwerpen suggereert en effectief zouden kunnen zijn.

2 april bijeenkomst

Noodzaak van behoefte, platformfuncties

Door na te denken over deze meer proactieve systeemaanleiding, realiseerden we ons dat de leeronderwerpen voor internationale studenten mooi aansluiten bij een behoefte / behoefte-matrix. We hebben de leeronderwerpen in kaart gebracht in de vier kwadranten, en dit heeft ons geholpen na te denken over welke functies welke onderwerpen zouden behandelen.

Het grootste leerpunt van deze oefening was het identificeren van het kwadrant 'hoge behoefte / lage behoefte'. Dit kwadrant van informatie is datgene waarvan studenten niet weten dat ze het nodig hebben, maar zouden er veel baat bij hebben om het te leren. Omdat ze het niet willen (of er zelfs niets van weten), zal het systeem deze informatie proactief moeten opvragen. Vragen in een gesprek en aanwijzingen via een melding kunnen deze informatie verspreiden.

De belangrijkste interacties waardoor leren kan plaatsvinden zijn als volgt:

  • Bot vraagt ​​direct om een ​​gesprek
  • Bot vraagt ​​gebruiker om melding
  • Gebruiker vraagt ​​bot om informatie
  • Gebruiker praat met andere studenten

Draadframes

Met de inzichten die we hebben verkregen uit de analyse van ons gesprekonderzoek, zijn we ook doorgegaan met het maken van wireframes voor het platform. We zijn begonnen met het ontwerpen van de bot-interactie in de chat en de bijbehorende componenten van het platform.

Gebruikerstestplan

Nu onze wireframes samenkomen, zijn we van plan de komende week ons ​​platform te gaan testen met internationale studenten. We hopen op twee belangrijke punten inzicht te krijgen. Ten eerste willen we het beste type botinterventie in het één-op-één-gesprek onderzoeken. We verkennen agressievere manieren, zoals de bot die rechtstreeks tussenbeide komt in een gesprek, en meer passieve manieren, zoals het de gebruiker toestaan ​​om informatie uit te breiden wanneer hij dat wil. Om dit te doen, gaan we voor elk van deze concepten verschillende klikbare prototypes maken en deze met gebruikers dateren.

Ten tweede willen we de juiste toon van de bot bepalen. Moet het serieus zijn? Gewoontjes? Speels? We hopen dit te bepalen door een voorbeelddialoog te presenteren die we hebben gecreëerd en feedback te krijgen.

Voorbeeld platformdialoog en botinterventie