Stack Overflow Data Dump

Stack Overflow ist eine großartige Plattform zum Austausch von Informationen für IT Experten, die weltweit von Menschen rund um das Thema Computer und Software Entwicklung genutzt wird.

Dabei bietet die Website http://stackoverflow.com/ die optimale Anlaufstelle bei Fragen und Problemen. Doch neben der Webseite gibt es noch andere Möglichkeiten auf die Informationen zuzugreifen. Z.B. gibt es eine SQL ähnliche Abfragesprache, mit der man die Grenzen der Web-Oberfläche überwinden kann und viele weitere Informationen erhält.

Abfrage: How many upvotes do I have for each tag?

 DECLARE @UserId int = ##UserId##

 SELECT --TOP 20 
     TagName,
     COUNT(*) AS UpVotes 
 FROM Tags
     INNER JOIN PostTags ON PostTags.TagId = Tags.id
     INNER JOIN Posts ON Posts.ParentId = PostTags.PostId
     INNER JOIN Votes ON Votes.PostId = Posts.Id and VoteTypeId = 2
 WHERE 
     Posts.OwnerUserId = @UserId
 GROUP BY TagName 
 ORDER BY UpVotes DESC

http://data.stackexchange.com/stackoverflow/query/785/how-many-upvotes-do-i-have-for-each-tag

Stack Overflow Data Dump ClearBits Torrent

Aber auch diese Lösung passt nicht für alle Belange des IT-Alltags. Daher hatte man bisher die Möglichkeit, einen kompletten Abzug der Daten bei ClearBits als XML Dateien herunterzuladen um damit allen möglichen Quatsch anstellen zu können.

Rechtlich unbedenklich war der Download auch, da die Inhalte alle unter der CC BY-SA 3.0 Lizenz stehen. D.H. man darf das Material für beliebige Zwecke (auch kommerziell) in jedwedem Format oder Medium vervielfältigen und weiterverbreiten, remixen, verändern und darauf aufbauen. Der Lizenzgeber darf diese Freiheiten nicht widerrufen solange Sie die Urheberschaft ausreichend deutlich benennen, einen Link zur Lizenz beifügen und angeben, ob sie Änderungen an den Inhalten vorgenommen haben. Diese Angaben dürfen in jeder angemessenen Art und Weise gemacht werden, allerdings nicht so, dass der Eindruck entsteht, der Lizenzgeber unterstütze gerade Sie oder Ihre Nutzung des Werks besonders.

Alle Details der Lizenz können unter http://1br.de/ccbysa nachgelesen werden.

Der ClearBits Data Dump der Stack Overflow Daten war bisher immer eine sehr gute Möglichkeit, sich die Daten auf einen lokalen Datenträger zu kopieren um auch Offline darauf Zugriff zu haben.

Ich schreibe deshalb „war“, da ClearBits seit Ende-Dezember 2013 nicht mehr erreichbar ist. Das ist nicht nur mir aufgefallen, sondern auch anderen Nutzern der Daten.

Unter http://meta.stackoverflow.com/questions/213670/is-there-a-problem-with-the-clearbits-data-dump kann man den Verlauf der Diskussion nachverfolgen.

Archive.org ist die Lösung

Nachdem Geoff Dalgas einige Zeit nach einer Lösung für das Problem gesucht hat, ist er am 23.01.2014 fündig geworden und hat sich für archive.org entschieden. Die Webseite bietet die nötige Infrastruktur und kann auf einige Jahre zurückblicken. Im Gegensatz zu ClearBits ist bei archive.org nicht zu erwarten, dass die Webseite nach ein paar Jahren wieder offline geht.

Der Stack Overflow Data Dump ist nun also umgezogen und unterhttps://archive.org/details/stackexchange zu erreichen. Ich habe mir mal die aktuelle Version der Datei stackoverflow.com-Posts.7z heruntergeladen (4,62 GB) entpackt (22,7 GB) und mit einem SAX Parser analysiert.

Aktuell enthält der Dump 1.099.869 Posts und ist damit eine unglaublich große Wissensdatenbank für Entwickler, die nicht jedes Mal das Rad neu erfinden wollen.

Hinweis:

Neben den Stack Overflow Dumps gibt es noch eine Reihe anderer Dateien, die nicht weniger Interessant sind und alle auch per BitTorrent heruntergeladen werden können.

Der Aufbau aller Dateien ist (mehr oder weniger) identisch. Alle Dateien sind mit 7-Zip (http://www.7-zip.de/) gepackt und enthalten eine Reihe von XML Dateien:

• **badges**.xml
• **comments**.xml
• **posts**.xml
• **posthistory**.xml
• **postlinks**.xml
• **users**.xml
• **votes**.xml

Wer das Prinzip von Stack Overflow kennt (Frage, Antwort, Kommentar, Vote, etc.) kennt, kommt schnell hinter das Prinzip der XML Dateien. Wer es dennoch gemauer wissen möchte, kann unter https://archive.org/details/stackexchange in die dort verlinkte readme.txt Datei schauen. Dort sind alle Details zu den unterschiedlichen XML Dateien aufgeführt.

Hier am Beispiel der „**votes**.xml Datei kurz erklärt.

Jeder Vote enthält eine Zeile in der votes.xml Datei. Jeder Eintrag enthält die Spalten Id, PostId, VoteTypeId, CreationDate, UserId und BountyAmount. Über die PostId und die UserId können die Votes dem Jeweiligen Beitrag und Nutzer zugeordnet werden.

   - **votes**.xml

     - Id

     - PostId

     - VoteTypeId

        - ` 1`: AcceptedByOriginator

        - ` 2`: UpMod

        - ` 3`: DownMod

        - ` 4`: Offensive

        - ` 5`: Favorite - if VoteTypeId = 5 UserId will be populated

        - ` 6`: Close

        - ` 7`: Reopen

        - ` 8`: BountyStart

        - ` 9`: BountyClose

        - `10`: Deletion

        - `11`: Undeletion

        - `12`: Spam

        - `13`: InformModerator

     - CreationDate

     - UserId (only for VoteTypeId 5)

     - BountyAmount (only for VoteTypeId 9)

BigData lässt grüßen :-).

Nun seid ihr gefragt. Was kann man mit so einer Menge an Daten anfangen?