Evaluatie: visualisatie team Bram, Geert, Glenn

Dit team stelde 2 visualisaties voor: 1 waarbij de samenwerkingen tussen verschillende universiteiten op kaart werd gezet en een keyword map waarop getoond wordt waar er aan welk onderwerp wordt gewerkt.

De eerste visualisatie vonden wij redelijk geslaagd. Je kan op de kaart direct zien tussen welke universiteiten er veel wordt samengewerkt. Dat is zeer positief: je moet de visualisatie niet minutenlang bekijken om er informatie uit te halen. Ook dat er gefilterd kan worden en dat de universiteiten die dicht bij elkaar liggen geclusterd worden zijn positieve elementen. Zoals reeds in de les aangehaald had een schaal waarop kon worden afgelezen wat de dikte van de lijnen juist betekent nuttig geweest. 

De tweede visualisatie vonden wij minder geslaagd. De visualisatie komt heel ‘cluttered’ over met al die barcharts en selectieboxen. Ook is de vraag die hier wordt beantwoord minder specifiek dan bij de eerste visualisatie, waardoor ze volgens ons minder nuttig is.

Uit de presentatie van deze groep bleek ook dat ze hun visualisaties eigenlijk maar 1 keer geëvalueerd hebben, en ze dus niet echt in iteraties hebben gewerkt wat de visualisaties eventueel nog had kunnen verbeteren. Ook vonden wij het spijtig dat ze niet vermeld hebben welke visualisatie nu eigenlijk hun voorkeur genoot. Want in de presentatie legden zij uit dat zijn meerdere visualisaties maakten om dan achteraf te kunnen selecteren, maar die stap misten we. Onze voorkeur gaat in ieder geval uit naar de visualisatie waar de collaboraties worden getoond.

Evaluation: FINDING VISO’S

Wij vinden dat het idee achter deze visualisatie goed zit. Het idee van trends te zoeken in papers is interessant voor mensen die naar conferenties gaan zoals LAK en EDM of mensen die een paper schrijven over hetzelfde onderwerp. We zien dan ook een toekomst in deze visualisatie en een eventueel verhaal dat hierin gevonden kan worden.

Naast het feit of wordclouds nu de juiste keuze waren of niet, vinden we dat ze dit op een zeer mooie en elegante manier hebben uitgewerkt. Het is positief hoe zo’n wordcloud steeds een bepaald gebied inneemt en dus een globaal idee van die regio schetst. Door in te zoomen kan je dan een detailkaart krijgen, waardoor de wordclouds zich verspreiden.  We denken dat ze hier goed kaart en woord proberen te combineren hebben.

Iets minder goed, maar door hen zelf al aangereikt is hun tijdschaal en de kleuren die ze daarbij gebruiken. Daar bestaan alternatieven voor.  Aangezien ze toch al die zijbalk hebben, waarom laten ze daar de mogelijke papers niet verschijnen, gesorteerd per jaar? Want dat die papers nog eens bij op de kaart verschijnen is teveel informatie op eenzelfde plaats. Dan heeft die zijbalk meer functie. Indien er meer tijd was geweest zou meer evaluatie en onderzoek rond hoe best het tijdaspect van de papers uitgewerkt kon worden zeker tot een beter visualisatie hebben geleid.

Als laatste hebben we wat twijfels aan de algemene kaart die zij gekozen hebben. De kleur van land en water leunen te dicht bij elkaar aan om tot een duidelijke kaart te leiden. Ook dat er geen indicatie is van landnamen, universiteiten of steden misten wij. Dit zou de kaart meer betekenis geven. Nu leek de kaart gewoon een achtergrond en ging de link met de trends een beetje verloren als je geografische kennis niet zo geweldig was.

Ervaringen rond de cursus

Het algemeen beeld dat we aan deze cursus hebben overgehouden is zeker positief. Vooral in de zin dat we hierdoor de kans hebben gekregen om te leren werken met wat software pakketten waarmee we anders nooit zouden werken (d3 en unfolding). Een spijtig element aan het einde van de cursus is dat de eindtermen op voorhand niet duidelijk omlijnd waren en we dus niet een duidelijke idee hadden waar we precies met dit vak naartoe moesten/wilden gaan.
Echter, zelf vonden we de opdracht in het eerste semester veel duidelijker omschreven. Ook was de begeleiding tijdens het marathonweekend erg persoonlijk. Hierdoor hebben we ook heel wat extra dingen bijgeleerd, en dan vooral op vlak van design en ontwerp. Dat is namelijk iets dat wij wat missen in de opleiding: aandacht voor design van applicaties en webpagina’s. Hierdoor denk ik ook dat wij als groep het betere resultaat behaald hebben in het eerste semester (t.o.v. het tweede semester)
In het tweede semester vonden wij de taken die van ons verwacht werden nogal vaag omschreven. Hierdoor is alles nogal laat op gang gekomen. We misten hierin ook een beetje de begeleiding die in het eerste semester wel beschikbaar was. Tevens was de beschikbare dataset (voor ons alleszins) iets minder interessant. Wel positief hieraan is het feit dat we wat de vrijheid hebben gekregen om te experimenteren en dat resultaat dan te evalueren. En dat is toch ook wat wij als kern van dit vak zouden bestempelen.

Code Where to go with your subject

The code of our project can be found here: https://github.com/GreetRobijns/Where_to_with_your_subject

Presentation and video – Where to go with your subject?

The slides of the presentation can be found here:

In addition we made a video about the application:

Evaluation paper prototype – Where to go with your subject?!

Abstract

We here discuss the evaluation of the paper prototype we developed. This prototype is explained in the previous blogpost. The evaluation was done in order to get a first view of how a user would look at the interface of the application. We evaluated the application by having the user est the paper prototype as if it was the real application on his/her laptop or desktop. During this user test, he/she had to say their thoughts out loud and tell what it was he/she was seeing. This way, we could figure out where difficulties with the interface might lie.

Afterwards we made the test users fill in a SUS (System Usability Scale) questionnaire. This was done in order to finally put a number on the usability of our application. We specifically chose this questionnaire type, because it tests the usability of the design. After all these testing our hope is to discover the weaknesses of the application before building it, so that the outcome can become a useful interface.

During the user tests the main thing we discovered is that the user has difficulties with the ‘search’ function. We will certainly have to look into the location and look of this functionality.

Methodology

For the evaluation for our paper prototype of our application we’ve chosen to work in two steps: athink-aloud user testing with regular users (that have no experience with evaluating user interfaces) who study in a scientific field. These users were also asked to fill in a SUS questionnaire afterwards. We’ve chosen a SUS questionnaire because it’s the most common usability test and we could easily compare our test results with standard results.

By think-aloud testing we wanted to find out the learnability of our application and by the SUS questionnaire the usability. We wanted to test these two factors to know what the hurdles of our application are to make it more user friendly in the next iteration.

Practical elaboration

To recruit test users we addressed our acquaintances that are familiar with scientific conferences.
We have opted to work with 3 students: two students in their bachelor mathematics and one in his bachelor computer science. This is done since these students have some experience with scientific information and have an idea of what users of the application might want to see.

For our physical setting we mainly used a students dorm, since the test users would feel most comfortable in that setting.

Results and discussions

Approach

We’ve recorded the comments that were given during the user tests and summed up comments.
For the SUS questionnaire we calculated the SUS score for each participant with the following method.

Scoring SUS

For odd items: subtract one from the user response.
For even-numbered items: subtract the user responses from 5
This scales all values from 0 to 4 (with four being the most positive response).
Add up the converted responses for each user and multiply that total by 2.5. This converts the range of possible values from 0 to 100 instead of from 0 to 40.
Also, an average of these SUS scores was calculated and compared to a standard average score.

Results

User Comments

We have recorded the following comments from users:

  • ‘Compare’ button and ‘Search’ field are placed too closely together. They seem like one unit. As if you can search for 2 things to be compared.
  • The dots on the map might be mistaken for capital cities (in stead of being associations)
  • In the comparison popup the axis should be calibrated.
  • Make sure you can only push the compare button if (more than) one association is selected.
  • Can you compare more than two associations?

SUS data

We evaluated the SUS score as mentioned above. For the individual participants we found the following SUS scores: 67,5; 75; 80. The average of these three scores is 74. The results are shown in the graph below.

SUS
In this graph we can see that the systems appears easy to use. However, most users might not want to use the system that frequently. Maybe this is due to the fact that bachelor students are not highly interested in the data that is provided by the application.

SUSscore

On the scale we see, that on average the application is well perceived by our test users.

Conclusion

Concluding our study we can certainly say that our interface did seem like a success. Mostly, once the user discovered all the functionalities, the interface did seem to become more easy.

We especially learned a lot from the think-aloud user tests. They revealed some important remarks that we will certainly take into account when we continue working on the interface. One very important thing we will remember is that we have to consider allocating the compare and search functionality.

Paper prototype – Where to go with your subject?!

The past week, we have created a paper prototype to test the usability of our idea of the application and to see if adjustments are needed. In this blogpost we will give you an overview of the prototype itself. The evaluation of the prototype will follow later.

Upon starting the application, the user would get the following view:BeginschermZonderZoek

This screen visualises the ratio between the papers published for the LAK conference and the papers published for the EDM conference for the different participating countries.

For the prototype we assume the user wants to look for papers concerning ‘social network’. Therefore, he/she will search for that term:

BeginschermMetZoekThe screen will change accordingly: the countries in which an association has written a (or more) paper(s) about social networking, will have changed color accordingly.

Next, the user could zoom into for example Belgium and the UK:

IngezoomdNow, markers will appear for each of the associations that join one of the conferences. In our example, the user would like to know more about the KULeuven and thus clicks on the dot in Leuven:

IngezoomdKULEUVENNext, the user would like to compare the KULeuven to the Carnegie Mellon University in de US. The next images visualize this.

IngezoomdKULEUVENandCompare

IngezoomdUSA

IngezoomdUSASelectedIngezoomdUSASelectedCOMPARETo finally compare both associations, the user will have to click the ‘Compare’ button on the top of the sceen.

Since we were not yet sure how to visualize the comparing, we made two visualizations

Comparison1

Comparison2

First experiences with Unfolding and the LAK data

This semester started out with trying out some things in Unfolding Maps (http://unfoldingmaps.org/). Together with that we were asked to include the LAK data into it. Therefore Greet and Anne sat together and came up with a basic map idea that places a marker on the location of the organisation that has people attending the conference.

Schermafbeelding 2013-03-17 om 16.33.49

 

Also, a marker for the location of the conference is added.

Schermafbeelding 2013-03-17 om 16.34.49The red markers are used for the conference of 2011. With a switch mechanism (pressing ’2′ on the keyboard), you can look at the 2012 data, where the locations are marked with a blue marker.

Schermafbeelding 2013-03-17 om 16.40.55We did not include the data in one map, since this would overload the map with markers. We will certainly look into trying out some more visible visualisations in the future.

PS: the code of this visualisation can be found at: https://github.com/anneEverars/LAK_Unfolding/

 

 

Entry Visualisation Global Marathon

Onze inzending voor de Visualisation Global Marathon kan je hier vinden.

thumbnail

We hebben gekozen om te werken met de dataset van de disease alerts. We hebben het aantal alerts van 8 belangrijke ziektes voor elk continent geplot ten opzichte van het aantal doden veroorzaakt door deze ziektes in de continenten. De data van het aantal doden hebben we gevonden op de website van WHO, de World Health Organisation, de visualisatie hebben we gemaakt met behulp van de d3 library. Uit onze visualisatie valt vooral op dat er enkele zeer dodelijke ziektes zijn waar weinig over wordt gerapporteerd, terwijl er zeer veel wordt gerapporteerd over ander, minder dodelijke ziektes. Check het zelf!

Ward’s eerste ervaringen met d3

In de eerste les van Capita Selecta werd vermeld dat we voor dit vak data-visualisaties moesten creëren met behulp van d3. In deze les werd ook gemeld dat alvorens men met d3 aan de slag kon, men best eerst wat leerde over HTML, CSS, JavaScript en SVG. Ik was redelijk nieuw met al deze concepten, maar aangezien ik dit ook al moest bekijken voor het vak Multimedia, kon ik 2 vliegen vangen in 1 klap. Ik volgde vooral de tutorials van w3schools om hier meer inzicht in te krijgen. Vervolgens heb ik enkele tutorials over d3 bekeken. Vooral deze tutorial vond ik erg nuttig om d3 onder de knie te krijgen.

Ik maakte eerst een staafdiagram met een willekeurige dataset, vervolgens ging ik aan de slag met de dataset die ons werd aangereikt. Ik zette eerst de data handmatig over in een grote array (ik had er nog niet aan gedacht om deze met een live-feed uit de spreadsheet te halen). Vervolgens creëerde ik volgende plot voor deze dataset gebruik makende van d3:

 

Hier werd de x-waarde van de bollen bepaald daar de grootte van de personen in de dataset, de y-waarde door de schoenmaat, de bol is gekleurd volgens de favoriete kleur van de personen, de straal van de bol wordt bepaald door de typsnelheid van de persoon en de helderheid door het gewicht.

Achteraf bekeken is d3 een handige tool om snel visualisaties te verkrijgen, zeker voor mensen die ook goed weg zijn met JavaScript. Ondertussen heb ik ook al wat geëxperimenteerd met animaties, die eigenlijk zeer simpel kunnen worden toegevoegd. Het rechtstreeks laden van de data bv met behulp van een JSON connectie is me nog niet gelukt.

Uiteindelijk kan ik besloten dat dit wel een visualisatie van de data is, maar de waarde ervan is niet zeer groot. Er kan niet direct veel informatie uit worden afgeleid. Dit zou verbeterd kunnen worden door meer Gestalt-principes toe te passen.

 

Follow

Get every new post delivered to your Inbox.