www.meckerwiese.de.vu

[WrecKer]

Hallo zusammen,

wahrscheinlich habt ihr euch, sofern denn bereits angefangen, auch schon gefragt:
>Wo stehe ich zur Zeit?
>Wie würde sich meine KI gegen andere schlagen?
>Kommt mir das Hin-und-Her-Treiben nur so langsam vor, oder gehts den andern auch so :>

Diese und andere Fragen stellen wir uns mit fortschreitender Programmierungdauer nun immer häufiger.
Darum haben wir uns etwas feines ausgedacht: den SheepMark!

Es geht darum eine ungefähre Vergleichsbasis der KI´s im Vorfeld des Wettbewerbs zu finden, ohne viel Details preisgeben zu müssen.
Vergleichbar mit einem Stimmungsbarometer vor der Wahl :>

So ist es außerdem möglich, Verbesserungen an seiner KI bei Änderung des Codes schneller festzustellen.

aber nun zu der genauen Erläuterung:

Ähnlich gängiger BenchmarkProgramme ermittelt eine von uns eigen erstellte KI, BenchmarkPunkte die zur Einordnung dienen: die SheepMarkPunkte (SMP)

Anleitung zur Duchführung des Tests:

1. installiert die SheepMark_KI in euren SchafKI Ordner
2. ladet eine geeignete map zB "BlacknWhite" oder "SchmidtundMeiers"
3. stellt eure KI auf die 1.Position und die SheepMark_KI auf die 2. Position, bzw. umgekehrt
4. startet, und lasst die Simulation solange laufen bis die KI per MakeLog/systemOut den Test als erfolgreich kennzeichnet:
erfolgreich ist der Benchmark wenn:
a) alle Tasks erfüllt sind,
b) die MaxFrames Zahl erreicht wurde (60000) oder
c) alle Hunde steckengeblieben sind (jeder mind. 5000 Frames)

5. die SheepMark_KI hat nun im "sheep" Ordner eine .txt Datei mit allen wichtigen Testergebnissen erzeugt
-> das wichtigste dabei sind die SMP´s, je höher desto besser
6. Jetzt könnt ihr die Logfiles hier ins Forum posten (1./2. Position; versch. maps) / aktualisieren im Falle von Verbesserungen

Wichtig: In dem Log steht nichts was eure Taktik/Herangehensweise verrät oder gegen euch verwendet werden kann.

Das Ergebnis des SheepMarks sagt wahrscheinlich wenig über die "reale" Schlagkraft eurer KI aus, aber kann durchaus einen groben Überblick verschaffen.

Also viel Spaß noch beim sheepen und viel Glück beim vergleichen :>

Download der KI:

http://www.mwdesign.info/SheepMark.zip

[/url]

[Basti]

Das nenne ich mal eine Erfindung.
Ich wette zum SMP-Posten schreiben alle als "Gast" hier im Forum

---------SHEEPMARK Version 0.3---------
map name: Schmitt und Meier
AI name: testdog
on start pos: 1
SMP achieved: 1,088287
sheep in target: 8
frames needed: 7351
max frames (60000) needed: false
all dogs got stuck: false (each more than 5000 Frames)

Die hier herunterladbare TestAI erreicht nun 1,088287 SMP, aber wie errechnet sich denn diese Zahl bzw. welche Zahl ist erstrebenswert?
Die Ergebnisse mit den KI's von anderen Leuten zu vergleichen wird sicher schwierig, da die SMP's (vermutlich) ja auch von dem System beeinflusst werden auf denen die Simulation läuft.
Ein paar mehr Informationen dazu wären glaube ich noch hilfreich.
Und ein paar Zeilenumbrüche in der Ausgabedatei auch

Aber (um hier mal was Positives loszulassen) ich finde die Idee richtig gut. Wer nicht nur programmiert, um die Zulassung zu bekommen, sondern auch in der Wettbewerbsliste aufsteigen möchte, stand bislang ja wirklich blind da und das hier ist wirklich eine kleine Lichtquelle - insofern denn die Leute mitmachen.

Können wir nicht an der Uni irgendwo einen Server einrichten, an den wir unsere KI's schicken können und dort läuft der Benchmark und man sieht gleich 'ne Liste, wo man sich befindet? Dann wäre das Problem mit den unterschiedlichen Systemen gelöst und man hätte ne gut anonyme Vergleichsmöglichkeit. Wobei der Aufwand dafür etwas zu groß sein dürfte - da muss dann glaube noch ein iPod gezückt werden, bevor das passiert

[WrecKer]

Hi Basti,

also die SheepMarkPunkte berechnen sich nur aus den im Ziel angekommenden Schafen und den dazu benötigten Frames, möglicherweise kommt später noch ein Faktor,der die FPS berücksichtigt dazu.
Ansonsten ist der Test absolut System unabhängig ^^

die genaue Formel für die SMP´s: 1000*Sheeps / Frames :>

Zum Thema Rangliste usw: Lass dich überraschen, möglicherweise wird der SheepMark noch ins Spiel eingebettet....

achja schau dir das log mal mit dem Wordpad an , da sind Umbrüche und Tabs :>

[WrecKer]

ich mach einfach mal den Anfang, damit sich vll. noch mehr trauen

---------SHEEPMARK Version 0.3---------
map name: Schmitt und Meier
AI name: Dolly
on start pos: 1
SMP achieved: 2,272727
sheep in target: 8
frames needed: 3520
max frames (60000) needed: false
all dogs got stuck: false (each more than 5000 Frames)

[Basti]

Also ob nach deinen Zahlen noch jemand seine Log veröffentlicht... O_O
Aber ich kann ja mal die Liste von unten anführen - kann auch nicht jeder:

---------SHEEPMARK Version 0.3---------
map name: Schmitt und Meier
AI name: SKDDog
on start pos: 1
SMP achieved: 1,852281
sheep in target: 8
frames needed: 4319
max frames (60000) needed: false
all dogs got stuck: false (each more than 5000 Frames)

Ich habe da mal noch eine kleine Map erstellt, die ich gerne zu Testzwecken benutze. Die kombiniert so ein klein wenig "Schmitt und Meier" mit der "Black'n'White" Karte.
Künstlerisch ist sie allerdings weniger anspruchsvoll und die Schwierigkeit wird auch erst sichtbar, wenn man 3 Teams benutzt (eigene KI, Gegner KI - z.Bsp. die TestAI die es hier gibt und SheepMark-KI).
Leider spielt hier der Zufall noch eine nicht ganz unerhebliche Rolle, da muss ich mal noch dran arbeiten.
Bin mal neugierig, ob du da auch so gute Werte hast.
Die Map gibt's unter:
http://www.sebastian-kleinau.de/files/meckerwiese/SK-5plus1ObenUnten.zip

---------SHEEPMARK Version 0.3---------
map name: 5+1 SK-Challenge
AI name: SKDDog
on start pos: 1
SMP achieved: 0,975293
sheep in target: 6
frames needed: 6152
max frames (60000) needed: false
all dogs got stuck: false (each more than 5000 Frames)

[WrecKer]

Ja also deine map is ja ziemlich klein und keine Hindernisse, und dann auch noch der Kampf um ein schwarzes Schaf, das is ja fast sinnlos das zu holen, wenn die TestAI das Schaf nach 2 Frames wieder mit 3 Hunden belagert ....

Aber die Idee mit der 3.Position is nich schlecht, darauf haben wir den SheepMark zwar garnicht ausgelegt, aber es funktioniert ja trotzdem (dann kann er aber nur die 1.Position benchmarken...noch) ^^

Mich würde interessieren wie du dem TestDog das schwarze streitig machst :>

[Basti]

Also wie ich das schwarze Schaf bekomme kann ich dir nicht verraten.
Dann würde ich ja mein Geheimnis preisgeben und hier schreiben, dass ich meinem Hund Stöcke mitgebe, die meine Hunde wegschmeißen und sie dann das Schaf holen, während die dumme TestAI Stöckchen apportiert.
Nein mal im ernst - du schreibst "wir", d.h. du arbeitest vermutlich im Team. Setzt euch einfach hin und macht mal Brainstorming.

Was die Karte angeht: Ich habe hier eine ganze Bibliothek an Karten, um die verschiedensten Situationen zu simulieren. Pro Karte eine Situation und dann kann man das recht gut testen beim Programmieren, weil man die gewünschte Situation auch wirklich erhält, wenn man die Karte entsprechend vorgibt. Aber wenn ich alle Karten veröffentlichen würde, würde manch einer eventuell noch Situationen erkennen, mit denen seine KI nicht umgehen kann

Und sorry, dass ich den SheepMark Hund so in den Zaun gesetzt habe - wollte ihn nur nicht auf'm Spielfeld rumstehen haben.

[WrecKer]

ich hab den SheepMark ein wenig angepasst, jetzt misst er auch noch den zurückgelegten Weg der Hunde... der Link ist der gleiche wie oben...