This post contains the tutorials for my presentation at Digital journalism days in Warsaw, Poland. MAP WITH GOOGLE FUSION TABLES
This excercise is to make interactive map with Google Fusion Tables. The idea is to get data on life expectancy from World Bank, merge the data with country borders and style it.
1) Go to world bank website: data.worldbank.org. Get data Life expectancy at birth, total (years) Direct link. You have to download the excel file.
2) Remove all empty years from the data with Excel.
3) Open Google Fusion tables here. Upload the data you have saved to your computer.
4) Next you have to merge the World bank data with country borders. Do the following:
– Choose File / Find a table to merge with
– Select World AEM borders
– Select Country code and ISO3 (Country code as well) Check the match and click next
– Click merge, and click view table
5) Add a map (Click on the red + sign) and open the Map tab
6) To change map colors, do the following:
– Choose Tools / Change map styles
– Choose Polygon and Fill Color
– Go to Buckets-tab. Select Divide into buckets and choose 2010 as the variable.
– Click use this range to select range based on data
7) To style popup, do the following:
– Choose Tools / Change info window layout
– Select country name and 2010 to be only active fields
– You can style the popup more, if you know HTML
8) To publish the map, you must make it public. Use Share-button on the upper right corner.
2) With Excel, make data that contains 10 countries and their life expectancies (Use the data from previous excercise). First row must contain headlines Country and Life Expectancy
3) Go to datawrapper. Click Create chart
4) Paste your data to the field. Click Upload and continue
5) Describe your data in tab 2. Put the link to the world bank data here.
6) Click visualize and style your graph.
7) Click publish and get the iframe code.
MAKE A TIMELINE WITH TIMELINEJS
This is tutorial for making interactive timeline with TimelineJS. You’ll need a Google account for this.
2) Go to “Make a timeline”. Click on the button that says Google Spreadsheet Template
3) When the window has opened, click “Use this template”. You will see a Google Spreadsheet document. This document contains the content of the timeline. One row is one slide.
4) Remove rows 5 to 9 from the file.
5) Go to row 2. In the cell “Headline”, write the headline for the timeline. To cell “Text”, write content for the cell. If you wish, you can include a picture as well. Add this link to cell “Media”: “http://www.esamakinen.fi/e/wp-content/uploads/2013/02/robo-by-freevectorsdaily.jpg”
7) Repeat part 5 for rows 3 and 4. Just make up some content
8) Click “Publish to the web” from pull down menu “File”. When a dialog opens, click “Start publishing”
9) An url will appear to the bottom of dialog window. Copy it to clipboard. The URL looks like this: https://docs.google.com/spreadsheet…
10) Go back to TimelineJS page. Paste the link you copied to field “Google Spreadsheet URL”
11) Click “Link to preview”. You’ll be seeing a working timeline.
12) You can add rows to Google Spreadsheet. When you reload the timeline, it should reflect the changes.
GOOGLE FORMS
This is an excercise to make small crowdsourcing project with Google Forms.
Remember, that Google won’t accept too large datas: size limit is 400 000 cells.
1) Go to Google Drive and select Create Form
2) Enter name and select the default theme
3) To Form Description enter the headline and some explanation, what you are asking
4) Enter the first question and add more questions.
5) Edit the confirmation page to reflect what the user will see when he or she sends the form.
Our data desk uses templates to make News Apps quickly. We have a Style Book that contains a set of News App templates we can modify and publish very fast.
One problem of this approach has been how to get the data from the journalist to an app template smoothly. Journalists usually don’t code, so we needed some easy, flexible tool for this.
Our solution is to use Google Docs and TabletopJS as CMS for News Apps. Basically we try to separate News App code and content from each other.
When journalist wants to make a News App from a template, he or she enters the data to a preformatted Google Spreadsheet (with our help). The app then gets the data from Google Docs. Journalists can concentrate on the content and coders can make any twists to template that might be needed.
Benefits for this approach are tangible. Journalists can do their work in their own pace and they see instantly the preview of the changes they make. This also reduces our work, as we don’t need to hardcode the content. Plus, the the journalist can make as many revisions as they please just until the deadline. Many people can work on one spreadsheet, so it makes work faster and there are no problems with version control.
Technically, an app fetches data from Google Spreadsheets using TabletopJS by Jonathan Soma. Data is in JSON and later an array in Javascript. When we push the app to production, we pull the data from Google Docs to a local proxy. This is done by simple Ruby program from Tabletop package. Sometimes we also have a cron script updating the proxy if the data is changing regularly.
Using proxy is important, as Google Docs API has rate limits. Before we implemented proxy, one very popular app failed during the first rush after it was published.
Google Docs and TabletopJS work best with numeric data and short texts. For example our quiz template stores all question texts in Google Docs. With longer texts this approach is not very flexible. Texts in our web layouts (like this) are still hard-coded. We are still looking for a solution that would allow us to use texts in similar way.
2) Siirry sivulla Make a timeline -kohtaan. Klikkaa nappia, jossa lukee Google Spreadsheet template.
3) Avautuvasta ikkunasta klikkaa Use this template -nappia. Google Docsiin avautuu taulukkolaskentatiedosto, johon kirjoitetaan aikajanan sisältö. Yhdellä rivillä on aina yhden sliden sisältö
4) Poista avautuvasta tiedostosta rivit 4-9
5) Mene riville 2. Kirjoita Headline-kohtaan aikajanan otsikko ja Text-kohtaan selitystä aikajanan sisällöstä. Media-kohtaan voit kopioida haluamasi kuvan URL-osoitteen, eli esimerkiksi tämän: “http://www.esamakinen.fi/e/wp-content/uploads/2013/02/robo-by-freevectorsdaily.jpg”
6) Edelleen rivillä 2: Kirjoita Media Credit -kenttää kuvaajan nimi ja Media Caption -kenttään kuvateksti
7) Toista kohdat 5-6 riville 3. Keksi jotain sisältöä.
8) Valitse File-valikosta kohta Publish to the web. Avautuvasta ikkunasta paina nappia Start publishing.
9) Ikkunan alareunaan ilmestyy nettiosoite. Kopioi se talteen. (Osoite on muotoa: https://docs.google.com/spreadsheet….)
10) Palaa takaisin TimelineJS:n sivulle. Liitä äsken kopioimasi osoite Google Spreadsheet URL-kohtaan.
11) Klikkaa link to preview -näppäintä. Ihaile lopputulosta.
12) Lisää Googlen taulukkolaskentaan yksi rivi, ja keksi sille sisältöä. Mene aikajanaan ja lataa se uudestaan. Uuden sliden pitäisi nyt näkyä aikajanalla.
Tämä harjoitus käy vaihe vaiheelta läpi sen, miten tehdään toimiva verkkokartta Google Fusion Tablesilla.
Harjoituksessa haetaan työttömyysdata TTL:n tietopankista ja Suomen kuntien rajat Teemo Tebestin nettisivuilta. Ne yhdistetään toisiinsa ja lopuksi muokataan kartan ulkoasua.
1) Avaa Teemo Tebestin blogista kuntarajat KML-muodossa. Tee niistä kopio omaan Google Driveen (File / Make a copy). Sinulla pitää olla Google-tunnukset käyttääksesi driveä.
2) Hae Sotkanet-tietopankista Excel-tiedosto nuorisotyöttömistä kaikissa Suomen kunnissa. Tallenna tiedosto koneellesi.
3) Puhdista dataa: Muotoile tiedosto niin, että ylimmällä rivillä on sarakkeiden otsikot. A-sarakkeessa on kunnan nimi ja B-sarakkeessa nuorisotyöttömyysprosentti.
7) Yhdistä työttömyysdata kuntien rajat sisältävään tiedostoon. Eli
– Valitse File / Merge
– Avautuvasta valikosta valitse kuntarajat sisältävä tiedosto (todennäköisesti Copy of kuntarajat 2013)
– Seuraavaksi valitaan yhdistämisperuste. Vasemmalla ja oikealla puolella pitäisi olla kunnan suomenkielinen nimi.
– Valitse View table, jotta saat näkyviin yhdistetyn datan
9) Avaa Map of geometry -välilehti. Näet Suomen kartan, jossa on kuntia
10) Muokkaa väritystä Tools / Change map styles. Eli:
– Valitse Tools / Change map styles
– Valitse kohta Polygon ja Fill Color
– Buckets-välilehdeltä voit määritellä rajat väritykselle. Valitse Divide into buckets aktiiviseksi ja alasvetovalikosta Työttömät yhteensä.
– Kokeile rajoiksi lukuja 0, 15, 100
11) Muokkaa kunnan infoikkuna sellaiseksi, että siinä näkyy vain nimi ja työttömyysprosentti. Eli:
– Valitse Tools / Change info window layout
– Valitse ikkunasta aktiiviseksi vain Kunta ja Työttömät yhteensä
– Custom -välilehdeltä voit lisätä tyylejä HTML-koodin avulla
12) Julkaistaksesi kartan sinun täytyy määritellä se julkiseksi. Se tapahtuu oikean yläkulman Share -napilla. Hyvä näkyvyys on Anyone with the link. Linkin karttaan tai upotuskoodin saat Tools -valikosta kohdasta Publish.
Tämän ohjeen perusteella tehty esimerkki näyttää tältä.
Coding is expensive and slow, journalism should be cheap and fast. This is the main problem I face as a data journalism producer.
My responsibility is to produce news apps for Helsingin Sanomat, a main daily newspaper in Finland. When there is a breaking news event, we have about five hours to come up with an idea, get the data and publish the news app.
In most cases it would be too slow to start from scratch.
To overcome this problem, we have been creating kind of a Style Book for data journalists. The Style Book contains a set of News App templates we can modify and publish very fast.
Ideally, we just insert new set of data to template and publish it. This can be done in five minutes, although it usually takes more time.
Common example of this approach is a map made with Google Fusion Tables. You can put your data into Fusion Table and have a working interactive map in less than ten minutes.
The templates we use are mainly built by our data desk. We try to make every new News App so generic that we can use it again as a template.
The Style Book is currently a page on our internal Wiki. All our journalists can access it from our intranet. It lists some 20 templates at this point.
Below, I’ve listed some of the templates we use. Links are to live versions of News Apps we’ve made using the templates.
Animated graph. Based on the Hype tool, this is a Flash-like animation to show almost any content. This particular example is the results about our questionnaire to racism scholars: how many of you have received threats because of your work.
Fourfold table. This is a tool to get opinions from our readers. We ask two dimensional question: Is the new Music Centre beautiful or ugly, necessary or unnecessary. If the question is good, this really gets audience. This example is about new stadium planned to be built in Helsinki.
Graphs. For standard graphs we use Datawrapper, Infogr.am and Tableau Public. Each has their merits and problems. All are quite fast to use. This example is about comparing supercomputers.
Forms. To ask questions from our readers. Google forms are good. We also use custom made tools when we want to have more contol over the visual side and time is not an issue. This example asks what kind of razor you use.
Special layouts for web. The Helsingin Sanomat magazine has large features each month, and we publish some of them in web with special layouts. We use all of the templates we have in these versions. This example is about living a month as muslim.
If you are interested in our work, all our news apps can be found here:
Kantokorpi ilmoittaa kitkerässä tekstissään, että hän lopettaa kirjoittamisen lehtiin, koska jutut julkaistaan monessa paikassa, lyhyemmistä jutuista maksetaan vähemmän kuin pitkistä ja on tämä kapitalismi.
Teksti on ottanut kierroksia sosiaalisessa mediassa, Ylessä ja saanut osakseen hyväksyvää hymistelyä. En ymmärrä miksi. Irtisanoutuminen on vahva viesti, mutta perusteet sille ovat aika löysää heittelyä – tavallista valitusta aikojen huononemisesta.
Kantokorpi syyttää Alma Aluemediaa niistä asioista, jotka johtuvat median murroksesta – netin jättiläisten (Google, Facebook) voittokulusta, tilausten vähenemisestä, talousvaikeuksista. Kantokorpi kuittaa tämän ison, kiistattoman murroksen “trendikkäiksi säästöpaineiksi”. Talousvaikeudet ohitetaan tekstissä parilla maininnalla. Kantokorpi ei varsinkaan esitä tilanteeseen mitään parannusta. Paitsi sen, että asiat pitäisi tehdä niin kuin ennenkin.
Kantokorpi voisi katsella ympärilleen. Se mitä mediassa tapahtuu, ei kosketa vain häntä, vaan kaikkia toimittajia. Se, että asioita ei tehdä samalla tavalla kuin 1990-luvulla, johtuu siitä että maailma on muuttunut.
1990-luvulla oli mahdollinen ajatus, että saman tekstin useista julkaisuista sai lisää rahaa. Sitä tapahtui sen verran harvoin, että kustantajille sillä ei ollut kaupallista merkitystä. Nykyisin monikanavaisuus ja saman sisällön julkaiseminen monissa välineissä on kaupallisesti järkevää.
Joillekin tiedotusvälineille juttujen paketoiminen moneen eri muotoon on olemassaolon elinehto. Minua ei häiritse, että juttuni monessa eri paikassa. Parempi se, kuin että niitä ei julkaistaisi ollenkaan. Maailma on muuttunut sellaiseksi, että korvaus monijulkaisusta ei ole enää järkevä vaatimus.
Kantokorven mukaan monijulkaisu kaventaa oleellisesti suomalaista kulttuurijournalismia. Niin kaventaakin, mutta ilmiö ei liity pelkkään kulttuurijournalismiin. Ihmiset, lukijat eivät enää halua maksaa yhtä monelle medialle niiden tuottamasta sisällöstä. Kapenisiko kulttuurijournalismi vähemmän siitä, että juttuja ei julkaistaisi lainkaan?
Tilattujen juttujen lyheneminen johtuu osittain siitä, että kaikki jutut ovat lyhentyneet, ainakin paperilla julkaistavat. Joutuu tiivistämään sanottavansa ja ajattelemaan paremmin. Ei kuulosta huonolta asialta.
Etenkin kriitikoille tuntuu olevan kova paikka, että ei voi julkaista enää saman mittaisia ruodintoja kuin 1990-luvulla. Mutta ehkä kritiikin olisi aika muuttua maailman mukana. Usein valitetaan kritiikin ahdingosta, mutta aika vähän tehdään ahdingon lopettamiseksi. Miten olisi tällainen ohjenuora: sen minkä voi sanoa, voi sanoa kiinnostavasti, lyhyesti ja ymmärrettävästi?
Kolmas kantokorven kritiikeistä on epämääräinen viittaus kapitalismiin. Kapitalistisessa yhteiskunnassa jonkun asian kritisoiminen kapitalistiseksi on aika tyhjää. Termin käytön kultaisina vuosina se ei vaatinut muuta perustetta tuekseen, mutta nyt Kantokorvelta toivoisi, että hän avaisi asiaa. Onko kritiikin ja kapitalismin suhde muuttunut sitten 1990-luvun, kun tekstit olivat pitkiä ja ne julkaistiin vain yhdessä paikassa?
Kantokorven päätös lopettaa sanomalehtiin kirjoittaminen on toki kunnioitettava. Hän tekee niin kuin saarnaa. Mutta mitä jatkossa? Ehkä Kantokorpi voisi jatkossa tarjota Yleisradiolle kritiikkejään, niin ei tarvitsisi olla tekemisissä kaupallisen, kapitalisen median kanssa.
Ongelma on tosin se, että julkaistujen kritiikkien määrässä Yleisradio jää kauas kapitalistisen median taakse.
Tämä harjoitus käy läpi kyselyn tekemisen Google Docsin avulla.
Kyselyillä voi tehdä yksinkertaisia joukkoistuksia, mielipidetiedusteluita ja testejä. Kannattaa muistaa, että kyselyn vastausten kokorajoitus on 400 000 solua. 8 kysymystä, johon vastaa 50 000 ihmistä, riittää täyttämään sen.
1) Mene Google Driveen ja valitse Create Form
2) Syötä lomakkeelle nimi ja valitse teemaksi Default
3) Syötä Form Description kenttään kyselyn selitys – mitä kysytään ja miksi.
4) Syötä ensimmäinen monivalintakysymys.
5) Kun olet syöttänyt tämän, voit syöttää lisää kysymyksiä. Syötä kaikki eri kysymysvaihtoehdot läpi nähdäksesi, mitä on tarjolla.
6) Muokkaa Confirmation page -kohtaan teksti, jonka käyttäjä näkee vastattuaan kyselyyn.
7) Send Form -kohdasta saat linkin kyselyysi. Tätä voit jakaa lukijoille. Painamalla Embed-nappia saat sivuun upotettavan kyselyn.
Tämä postaus on harjoitustyön ohjeet Tampereen yliopiston datajournalismin kurssille 15.3.2013.
Datajuttujen tekeminen juttumallien pohjalta tarkoittaa sitä, että valmista koodia muokataan uuden lopputuloksen luomiseksi. Tässä harjoituksessa muokataan olemassaolevaa laskuria laskemaan jokin uusi asia. Tarkoitus ei ole oppia ohjelmoimaan, vaan ymmärtää valmiiden pohjien muokkauksen helppous.
Tässä esimerkissä muokataan laskuri, joka laskee kokonaispalkan koko työuran ajalta.
2) Avaa muokattava laskurikoodi JSFiddle-ohjelmassa tästä linkistä. Eteesi tulee sivu, jossa on vasemmassa yläkulmassa laskurin tekstit (HTML), vasemmassa alakulmassa laskelmat tekevä koodinpätkä ja oikeassa alareunassa lopputulos.
3) Vaihda HTML-kentässä ensimmäinen kysymys muotoon: “Kuinka monta kuukautta olet vuodessa töissä?”
4) Vaihda HTML-kentässä toinen kysymys muotoon: “Kuinka monta vuotta olet töissä”?
5) Vaihda Javascript-kentässä (vasen alakulma) oleva laskukaava muotoon “hinta = palkka * toka_vastaus * kolmas_vastaus;”
6) Paina Update-nappia oikeasta yläreunasta ja kokeile lopputulosta.
7) Jos laskuri toimii haluamallasi tavalla, vaihda otsikko HTML-kentässä vastaamaan sitä mitä lasket. Eli “Laske työurasi palkka”
8) Tee kohdat 3-7 uudestaan, mutta laske jotain muuta kuukausipalkasta. Esimerkiksi: Kahden peräkkäisen palkankorotuksen vaikutukset.
Tämä data on peräisin Twittercensus Finlandin julkaisemasta aineistosta. Vaikka aineisto on mielenkiintoinen, tähän listaan tulee suhtautua melko suurella varauksella. Se ei ole ehdoton totuus.
Twittercensuksen listasta puuttuu Heikki Kovalaisen ja Mikko Hyppösen kaltaisia olennaisia, suosittuja suomalaisia twiittaajia. Syynä on ilmeisesti se, että he twiittaavat englanniksi ja Twittercensus on etsinyt nimen omaan suomenkielisiä twiittaajia.
Lisäksi Twitterin rajoitusten takia Twittercensuksen data on kerätty pitkän ajan kuluessa vuodenvaihteen tienoilla. Kaikki seuraajaluvut ovat todennäköisesti sen jälkeen muuttuneet, eivätkä luvut ole keskenään vertailukelpoisia. Esimerkiksi Ilta-Sanomilla on nykyisin jo yli 36 000 seuraajaa. Silti lista on mielenkiintoinen:
Päivitys 26.2.: Twittercensus kertoi, että heidän 25.2. julkaisemansa datasetti on virheellinen. Siitä puuttui puolet nimistä. Siksi aiemmin julkaisemani lista oli myös osittain virheellinen. Tässä on korjattu lista. Terävin kärki pysyi samana, mutta paljon tuli uusia nimiä. Joukkoon tuli uusia virheitä: Pari japanilaista on päässyt Twittercensuksen aineistoon.
Entrepreneur, CEO Founder of New Era Resort TAURISOL S.L. Mijas Spain http://t.co/VosTPV1Y Finnish Author of INSPIRE ME -book now free at http://t.co/AubNsSGD
World\’s Premier All-Round Sports Guru. Father & The Godfather from Finland. Man in love. Champion. Better, TV Host. James Bond role under consideration.
Olen Tiina-Rakel Liekki. Julkisesti Rakel Liekki, kuvataiteilija, toimittaja. Arkena juonnan Metro FM:n iltapäivää klo: 14-18. Täällä urpoilen omissa nimissäni.
Journalist, publisher and dad. Among YLE\’s 100 most interesting tweeters in Finland. Interests include anticapatory, social and innovative leadership.
I connect people and ideas / Work: Finnish Public Broadcaster Yle @Yleisradio / Seuraan digimediaa työkseni ja huvikseni / @avoimuus @loydykirja @nettielamaa
Tweets of HRH Lotta M. Backlund, Queen of Fucking Everything (but I have to moonlight as a comedian, writer and TV producer). http://lottabacklund.wordpress.com
Helsingin Jokereiden virallinen Twitter-kanava. Kuusinkertainen jääkiekon Suomen mestari, perustettu 1967.\r\nOfficial Twitter account of Jokerit Helsinki HC.
NHL correspondent for Ilta-Sanomat & Veikkaaja in Finland. English/Finnish. All opinions are my own, not I-S policy. Email: juha.hiitela(a)http://gmail.com
Suomessa Greenpeace ehdottaa ratkaisuja energiakysymyksiin ja kampanjoi metsien suojelemiseksi. Lahjoita twiitti päivässä! http://justcoz.org/greenpeacesuomi
Otso Kantokorpi julkaisi blogissaan tilityksen otsikolla 