Blenderexporter: Unterschied zwischen den Versionen

Aktuelle Version vom 18. März 2012, 14:21 Uhr

Vorwort

Hier werde ich einige Codeschnipsel zeigen, mit denen man sich einen eigenen Blenderexporter bauen kann. Der Schwerpunkt liegt dabei darauf, die Daten so vorzubereiten, dass sie direkt als Vertexbufferobjekt in die Grafikkarte hochgeladen werden können.

Dieses Tutorial, soll kein festes Format beschreiben. Es ist sowohl möglich die Daten sauber in XML zu kapseln, als auch ganz dreckig mal eben ein includierbares C oder Pascalfile zu erzeugen. Der Compiler wird einen dafür aber mit erheblich längeren Zeiten fürs kompilieren bestrafen.

Prinzipiell bin ich der Meinung, das eine eigene Engine nicht Zwangshaft mit einem Universalformat wie Collada verwendet werden muss. Auch beliebte Formate wie 3DS haben gewaltige Nachteile, da sie nicht alle Daten speichern können, die beim Arbeiten mit Shadern benötigt werden. 3DS ist eine gute Wahl, solang man nicht viel mehr als Vertices, Normals und UV Koordinaten benötigt. Sobald Bones Vertexgruppen, TBN Matrizen und möglicherweise weitere eigene Daten gespeichert werden müssen gibt es große Probleme.

Aufbau eines Exporters

Jeder Blenderexporter verfügt über einen Header, in dem Daten stehen, wie er in die Menüstruktur eingefügt wird. Anschließend folgt der Pythoncode. Näheres dazu steht in den Wikibooks.

#!BPY
"""
Name: 'DGL Wiki'
Blender: 241
Group: 'Export'
Tooltip: 'DGL Wiki Exporter'
"""
import Blender

#Hier werden zusätzliche Funktionen eingefügt, die zum schreiben benötigt werden

def write(filename):
  out = file(filename, 'w')
  obj = Blender.Object.GetSelected()[0]
  msh = obj.getData()

  #hier wird Code eingefügt, der die zu exportierende Daten schreibt

  out.close()
Blender.Window.FileSelector(write, "Export")

code getestet

Wichtig ist, das man bei Python die Einrückungen beachtet. Als erstes wird eine Funktion definiert, die vom Fileexportdialog aus aufgerufen wird. Dabei wird der Filename als Argument übergeben. Die folgenden Zeilen öffnen eine Datei zum schreiben und holen sich die Meshdaten des ersten selektierten Objektes. Starten tut das Script eigendlich erst in der letzten Zeile, die den Exportdialog aufruft.

Vorbereiten der Daten

Da OpenGL nicht gut auf die gemischten Quads und Triangles klar kommt ist es sehr sinnvoll sie gleich am Anfang vor dem Exportieren umzuwandeln:

def quad2tri(msh):
  flist=[]
  for face in msh.faces:
    if (len(face.v)==3):
      flist += [face]
    else:
      d1 =(msh.verts[face.v[0].index].co.x - msh.verts[face.v[2].index].co.x) ** 2 
      d1+=(msh.verts[face.v[0].index].co.y - msh.verts[face.v[2].index].co.y) ** 2 
      d1+=(msh.verts[face.v[0].index].co.z - msh.verts[face.v[2].index].co.z) ** 2 
      d2 =(msh.verts[face.v[1].index].co.x - msh.verts[face.v[3].index].co.x) ** 2 
      d2+=(msh.verts[face.v[1].index].co.y - msh.verts[face.v[3].index].co.y) ** 2 
      d2+=(msh.verts[face.v[1].index].co.z - msh.verts[face.v[3].index].co.z) ** 2 
      if (d1<d2):
        flist += [Blender.NMesh.Face([face.v[0],face.v[1],face.v[2]])]
	flist[len(flist)-1].uv=[face.uv[0],face.uv[1],face.uv[2]]
	flist[len(flist)-1].col=[face.col[0],face.col[1],face.col[2]]
        flist[len(flist)-1].smooth=face.smooth
	
	flist += [Blender.NMesh.Face([face.v[0],face.v[2],face.v[3]])]
        flist[len(flist)-1].uv=[face.uv[0],face.uv[2],face.uv[3]]
	flist[len(flist)-1].col=[face.col[0],face.col[1],face.col[2]]
	flist[len(flist)-1].smooth=face.smooth
      else:
	flist += [Blender.NMesh.Face([face.v[0],face.v[1],face.v[3]])]
        flist[len(flist)-1].uv=[face.uv[0],face.uv[1],face.uv[3]]
	flist[len(flist)-1].col=[face.col[0],face.col[1],face.col[3]]
	flist[len(flist)-1].smooth=face.smooth
	
	flist += [Blender.NMesh.Face([face.v[1],face.v[2],face.v[3]])]
        flist[len(flist)-1].uv=[face.uv[1],face.uv[2],face.uv[3]]
	flist[len(flist)-1].col=[face.col[1],face.col[2],face.col[3]]
	flist[len(flist)-1].smooth=face.smooth
  msh.faces=flist
  return msh

Das Prinzip ist relativ leicht zu verstehen. "flist" ist eine Liste in der die neuen Dreiecke zwischengespeichert werden. Dreiecke werden einfach kopiert. Bei Quads wird die kürzere Diagonale zum Teilen gesucht und aus den Daten des Quads zwei neue Triangles erzeugt. Zum Schluss wird noch die temporäre Liste im Mesh gespeichert und das ganze zurückgegeben.

Exportieren der Daten

Hier beschreibe ich wie man die wichtigsten Daten exportieren kann. Um ein anderes Format zu erhalten, müssen die Strings entsprechend angepasst werden. Eine neue Zeile erhält man durch "\n" In den Beispielen werde ich mich weitgehend an Werten gekapselt in einem XML-Format halten. Durch simple Modifikationen sind auch andere Formate kein Problem.

Es gibt zwei Möglichkeiten die Vertexdaten zu speichern: Interleaved oder getrennte Blöcke. Beim interleaved Format verliert man die Flexibilität und die Daten werden noch unübersichtlicher. Ein Geschwindigkeitsgewinn ist auch nicht zu erwarten.

In einigen Codestücken wird auffallen, das die Konvertierung von Quads nach Triangles immer wieder vorgenommen wird. In einem komplettem Exporten macht es durchaus Sinn, alle Daten erst zu sammeln, dann zu sortieren, umzuwandeln und erst zum Schluss zu schreiben. Dabei wäre es allerdings nicht mehr möglich einzelne Beispiele zu liefern.

Eine besondere Problematik ist, dass Blender Quads bevorzugt, jedoch Quads und Dreiecke gemischt vorliegen können. Um diese Mischung zu vermeiden sollte man entweder den Exporter so schreiben, dass er die Quads in 2 Dreiecke zerlegt oder vor dem Exportieren alle Quads in Dreiecke umwandelt und Speichert (Intern bleiben die Daten sonst anscheined immer noch Quads)

Einfachen Text, der keine zu exportierenden Daten enhält lässt sich so in die Datei schreiben. Hier ein möglicher Beginn der XML-Datei:

  out.write('<?xml version="1.0" encoding="UTF-8" standalone="yes"?>\n')

Wichtig ist hier wieder die Einrückung. Sie muss genauso weit Eingerückt sein wie die vorherige Zeile, oder weiter Eingerück werden wenn es sich um eine Schleife handelt.

Eine kleines Problem kann entstehen, wenn die letzte Zeile eines Datensatzes kein Komma enthalten darf. Der einfachste Weg ist eine Dummyzeile mit Nullwerten anzuhängen.

Name des Objektes und Anzahl der Vertices

In einem XML-Format ist es nicht allzu wichtig den Objektnamen aus Blender beizubehalten. Jedoch kann es sehr nützlich sein, wenn man andere Formate schreibt oder mehrere Objekte in einer Datei speichert. Wir bringen diese Daten einfach im VBO-Tag unter, welches alle unsere Vertexdaten kapseln wird:

 out.write('<vbo name="%s" verts="%i" type="GL_TRIANGLE">\n' % (msh.name, len(msh.faces)*3))

Zum Schluss sollte noch folgende Zeile angehängt werden um den VBO tag wieder zu schließen:

  out.write('</vbo>')

Vertices

Da man den Index eines Vertexarray nicht in einem VBO verpacken kann, ist es besser die Triangles nicht zu indizieren und in einem VBO zu speichern. Der Speicherbedarf ist hier allerdings ein wenig höher. Trotz der erhöhten Datenmenge scheint diese Variante schneller zu sein, da hier keine Arrays vom Prozessor abgearbeitet werden müssen. Unter der Annahme, dass nur Triangles vorhanden sind, reicht dieser Code:

 out.write('<vertices comp="3">\n')
  for face in msh.faces:
    for vert in face.v:
      out.write( ' %f %f %f' % (msh.verts[vert.index].co.x, msh.verts[vert.index].co.y, msh.verts[vert.index].co.z))
    out.write('\n')
  out.write('</vertices>\n')

Texturkoordinaten

Kaum schwerer als die Vertexdaten sind die Texturkoordinaten zu exportieren. Da die Texturkoordinaten innerhalb der Faces gespeichert werden. Sinnvollerweise überprüfen wir voher noch, ob überhaupt Texturdaten vorhanden sind:

  if (msh.hasFaceUV()==1):
    out.write('<texturecoords comp="2">\n')
    for face in msh.faces:
      for vert in face.v:
        out.write( ' %f %f %f %f %f %f\n' % (face.uv[0][0],face.uv[0][1],face.uv[1][0],face.uv[1][1],face.uv[2][0],face.uv[2][1]) )
    out.write('</texturecoords>\n')

Normalen

Normalvektoren sind in Blender sowohl per Vertex als auch per Face abgespeichert. Abhängig davon, ob eine Fläche als Smooth (per Vertex) oder Solid (per Face) dargestellt wird, werden die die entsprechenden Normalvektoren ausgewählt. Damit auch Klötze mit Kanten dargestellt werden können müssen beide Fälle berücksichtigt werden. Im Fall Solid müssen für alle Vertices der Fläche der Normalvektor der Fläche verwendet werden. Im Fall Smooth muss hier der Normalvektor der Vertices benutz werden. Auf keinen Fall sollte man nun die Vervielfachung der Vertices als Problem ansehen, da die verschiedenen Normalvektoren, diesen Nachteil wieder vollkommen ausgleichen.

Tipp: Da ganze Flächen als Solid keinerlei optische Rundungen zulassen, ist der einzige Weg, echte Kanten an runden Objekten zu erzeugen in dem man das Mesh an der Stelle aufteilt. Leider muss man zum aufteilen einen vollständigen Edgeloop auswählen. An Stellen die nicht kantig sein sollen muss man dann beide Vertices markieren und mit "remove doubles" vereinen.

Auch hier erst einmal ein einfaches Beispiel was häufig schon genügen sollte:

  out.write('<normals>\n')
  for face in msh.faces:
     for vert in face.v:
        out.write( ' %f, %f, %f,' % (msh.verts[vert.index].no.x, msh.verts[vert.index].no.y, msh.verts[vert.index].no.z) )
     out.write('\n')
  out.write('</normals>\n')

Besser wird es, wenn Smooth/Solid berücksichtigt wird.

  out.write('<normals>\n')
  for face in msh.faces:
    if (face.smooth==1):
      for vert in face.v:
        out.write( ' %f %f %f' % (msh.verts[vert.index].no.x, msh.verts[vert.index].no.y, msh.verts[vert.index].no.z))
      out.write('\n')
    else:
      for vert in range(0,3):
        out.write( ' %f, %f, %f,' % (face.no.x, face.no.y, face.no.z))
      out.write('\n')
  out.write('</normals>\n')

Tangenvektor / TBN-Matrix

Ohne die TBN-Matrix lässt sich in Shadern kein sinnvolles Bumpmapping durchführen. Weder Dot3, Offset, Parallax noch Reliefmapping sind ohne TBN-Matrix möglich. Eine TBN-Matrix besteht aus drei Vektoren, die den Texturespace aufspannen:

Normale

Er steht immer senkrecht zur Oberfläche. Er entspricht genau dem Normalvektor wie wir ihn kennen. Beim Paralax- und Reliefmapping repräsentiert seine Länge den Masstab für die dritte Texturkoordinate (Im Editor wäre sie W, auch wenn die Texturkoordinaten in OpenGL s, t, p und q sind).

Tangente

Er liegt tangential auf der Textur und ist dort zur U Achse ausgerichtet. Wieder einmal kann man überlegen, ob es nun bedeutet senkrecht zum Normal oder parallel zur Fläche des Dreiecks. Wer keine Kopfschmerzen hat macht sich welche.

Bitangente

Häufig wird er auch Binormale genannt, jedoch beschreibt Bitangente die Funktion besser. Er ist wie der Tangent tangential zur V Achse der Textur ausgerichtet. Wer meint, die Bitangente lässt sich durch das Kreuzprodukt von Normal und Tangend berechnen, hat nur Recht, wenn die Textur keine Scherung enthält.

Solange die Textur nicht verzerrt wird, ist eine normalisierte TBN-Matrix problemlos verwendbar, wenn jedoch die Tiefenkomponente der Textur nicht auf kubischen Texeln basiert, ist es sinnvoller die Korrektur im Shader vorzunehmen, als die Komponenten der TBN- Matrix zu verzerren.

Da wir es jetzt anscheinend verstanden haben, wie wir den zusätzlichen Komponenten der TBN-Matrix berechnen können, kommt hier der Code zum Erzeugen der Tangent und Bitangentvektoren pro Face und Vertex:

def createFaceTan(msh):
  ftan = []
  for face in msh.faces:
    tan = msh.verts[face.v[2].index].co - msh.verts[face.v[0].index].co
    if (face.uv[2][1] != face.uv[1][1]):
      m = (face.uv[2][1]-face.uv[0][1])/(face.uv[2][1]-face.uv[1][1])
      tan += (msh.verts[face.v[1].index].co - msh.verts[face.v[2].index].co) * m
    tan.normalize()
    ftan += [tan]
  return ftan

def createFaceBit(msh):
  fbit = []
  for face in msh.faces:
    bit = msh.verts[face.v[1].index].co - msh.verts[face.v[0].index].co
    if (face.uv[1][0] != face.uv[2][0]):
      m = (face.uv[1][0]-face.uv[0][0])/(face.uv[1][0]-face.uv[2][0])
      bit += (msh.verts[face.v[2].index].co - msh.verts[face.v[1].index].co) * m
    bit.normalize()
    fbit += [bit]
  return fbit

def interpolate(msh,ftan):
  vtan = []
  for vert in msh.verts:
    vtan += [Blender.NMesh.Vert().co]
  for face in msh.faces:
    if (face.smooth == 1):
      for vert in face.v:
        vtan[vert.index] += ftan[vert.index]
  for i in range(0,len(msh.verts)):
    vtan[i].normalize()
  return vtan	

ftan = createFaceTan(msh)
vtan = interpolate(msh,ftan)
fbit = createFaceBit(msh)
vbit = interpolate(msh,fbit)

Hier noch der Link zum Artikel wo ich die Berechnung erkläre: http://wiki.delphigl.com/index.php/TBN_Matrix

Mit folgenden Codeschnipseln lassen sich Tangente, Bitangete und die TBN-Matrix ausgeben. Sinnvoll ist es natürlich nur die Einzelkomponenten zusätzlich zum Normalvektor zu schreiben oder die TBN-Matrix ohne Normalen zu verwenden.

  out.write('<tan>\n')
  for i in range(0,len(msh.faces)):
    face = msh.faces[i]
    if (face.smooth==1):
      for vert in face.v:
        out.write( ' %f %f %f' % (vtan[vert.index].x, vtan[vert.index].y, vtan[vert.index].z))
      out.write('\n')
    else:
      for vert in range(0,3):
        out.write( ' %f %f %f' % (ftan[i].x, ftan[i].y, ftan[i].z))
      out.write('\n')
  out.write('</tan>\n')
  
  out.write('<bit>\n')
  for i in range(0,len(msh.faces)):
    face = msh.faces[i]
    if (face.smooth==1):
      for vert in face.v:
        out.write( ' %f %f %f' % (vbit[vert.index].x, vbit[vert.index].y, vbit[vert.index].z))
      out.write('\n')
    else:
      for vert in range(0,3):
        out.write( ' %f %f %f' % (fbit[i].x, fbit[i].y, fbit[i].z))
      out.write('\n')
  out.write('</bit>\n')
  
  out.write('<tbn>\n')
  for i in range(0,len(msh.faces)):
    face = msh.faces[i]
    if (face.smooth==1):
      for vert in face.v:
	out.write( ' %f %f %f' % (vtan[vert.index].x, vtan[vert.index].y, vtan[vert.index].z))
        out.write( ' %f %f %f' % (vbit[vert.index].x, vbit[vert.index].y, vbit[vert.index].z))
        out.write( ' %f %f %f\n' % (msh.verts[vert.index].no.x, msh.verts[vert.index].no.y, msh.verts[vert.index].no.z))
    else:
      for vert in range(0,3):
        out.write( ' %f %f %f' % (ftan[i].x, ftan[i].y, ftan[i].z))
        out.write( ' %f %f %f' % (fbit[i].x, fbit[i].y, fbit[i].z))
	out.write( ' %f %f %f\n' % (face.no[0], face.no[1], face.no[2]))
  out.write('</tbn>\n')

Die Vektoren scheinen alle Senkrecht zu einander zu stehen, jedoch ist noch nicht überprüft, ob die Matrizen wirklich brauchbar sind. Es wäre durchaus möglich, dass noch Komponenten verdreht oder gespiegelt sind.

Aufgrund des Mangels an Attributevariablen, ist es nicht sehr sinnvoll die volle TBN-Matrix zu übergeben. Sinnvoller ist es, nur den Tangendvektor (Bitangent kann durch ein Kreuzprodukt neu berechnet werden) oder den Tangentvektor zusammen mit dem Bitangentvektor als Attribute zu übergeben.

Vertuxgruppen / Bones

Ohne Vertexgruppen und Bones lassen sich keine Animationen mit Hilfe des Vertexshaders realisieren. Diesen Teil können alle überspringen, die keine Vertexshader zum Animieren benutzen wollen. Die Daten liegen in Blender in einer für Vertexshader ungünstigen Form vor und müssen etwas aufbereitet werden. In jeder Vertexgruppe, auf die man auch noch über Ihren Namen zugreifen muss, liegt eine Liste mit der Vertexnummer und der Gewichtung. Für einen Vertexshader benötigen wir pro Vertex einen Index, der die Vertexgruppe/Bone beschreibt und die Gewichtung. Außerdem müssen wir uns voher entscheiden, wie viele Bones wir maximal pro Vertex berücksichtigen.

Bei Mangel an "attribute"-Variablen macht es Sinn, die Gewichtung (muss kleiner als 1 sein) mit den Indizes zu addieren. Im Shader könnte man die dann wieder herausrechnen. Auf heutiger Hardware sind 16 Attribute-Variablen möglich.

Als erstes den Codeblock zum Aufbereiten der Daten. Es ist wichtig, dass die Variable num_of_vertexgroups.val die gewünschte Anzahl von Vertexgruppen enthält:

  vertGroupData = []
  groups = msh.getVertGroupNames()
  for vert in msh.verts:
    list = []
    count = 1
    for group in groups:
      if (len(msh.getVertsFromGroup(group,0,[vert.index]))==1):
        list += [(msh.getVertsFromGroup(group,1,[vert.index])[0][1],count)]
      count += 1
      list.sort()
      list.reverse()
      for i in range(0,num_of_vertexgroups.val):
        list += [(0.0, 0)]
      vertGroupData += [(list[0:num_of_vertexgroups.val])]

Hinweis: Es gibt mit getVertexInfluences() eine noch bessere Methode, um zu ermitteln, welche Vertexgruppe zu einem Vertex gehört. Dann wäre jedoch der Einsatz eines Dictonarys nötig.

Nun noch der Code zum schreiben:

  out.write('<vertexgroups comp="%i">\n<weight>\n' % num_of_vertexgroups.val)
  for face in msh.faces:
    for vert in face.v:
      for group in vertGroupData[vert.index]:
        out.write( ' %f' % (group[0]))
    out.write('\n')
  out.write('</weight>\n<index>\n')
  for face in msh.faces:
    for vert in face.v:
      for group in vertGroupData[vert.index]:
        out.write( ' %i' % (group[1]))
    out.write('\n')
  out.write('</index>\n</vertexgroups>\n')

Optimierung der Daten

Bisher haben wir uns hauptsächlich damit beschäftig, wie wir die Daten aus der Blenderstruktur auslesen und in VBO-kompatible Daten umformen. Wenn die Modelle größer werden oder komplette Level in Blender realisiert werden sollen macht es Sinn die Daten so umzusortieren, das Triangles mit ähnlichen Eigenschaften wie Ort oder Ausrichtung nah im Vertexbufferobjekt beieinander liegen.

Octree

Beim Octree werden nur die Teile gerendert, bei denen voher bekannt ist, dass sie sichtbar sind, leider ist die Baumstruktur eines Octrees auf dem erstem Blick völlig inkompatibel zu dem linearen Verlauf des Vertexbuffersobjektes.

Um die Faces in den Octree einzusortieren, muss von jedem der Schwerpunkt berechnet werden. Die Position im Octree wird mit einer Art Hashfunktion berechnet, die erst aus den X Y und Z Koordinaten Integerwerte von 0 bis 1023 bildet und deren Bits so zusammensortiert, dass ein einziger Wert von 0 bis 2^30-1 entsteht, nach dem die Faces sortiert werden:

def octree(msh):
  # Boundingbox for Octree. 
  # Warnung: bei mehreren VBOs sollte die gleiche Boundingbox verwendet werden,
  # damit nur einmal auf sichbarkeit überprüft werden muss
  mini = msh.verts[0].co * 1.0
  maxi = msh.verts[0].co * 1.0
  for vert in msh.verts:
    mini.x = minimum (mini.x,vert.co.x)
    mini.y = minimum (mini.y,vert.co.y)
    mini.z = minimum (mini.z,vert.co.z)
    maxi.x = maximum (maxi.x,vert.co.x)
    maxi.y = maximum (maxi.y,vert.co.y)
    maxi.z = maximum (maxi.z,vert.co.z)
  size = max (maxi.x-mini.x,maxi.y-mini.y,maxi.z-mini.z)
  #Hashberechnung
  optindex = []
  count = 0
  for face in msh.faces:
    center = msh.verts[0].co * 0.0
    for vert in face.v:
       center += msh.verts[vert.index].co
    #range 0.0 ... 1.0
    center *= 1.0 /( len(face.v) * size * 2.0)
    center.x += 0.5
    center.y += 0.5
    center.z += 0.5
    ix = int (center.x * 1023)
    iy = int (center.y * 1023)
    iz = int (center.z * 1023)
    sortby  = (ix&512)<<18 | (ix&256)<<16 |(ix&128)<<14 | (ix&64)<<12 |(ix&32)<<10 | (ix&16)<<8 |(ix&8)<<6 | (ix&4)<<4 |(ix&2)<<2 | (ix&1)<<0
    sortby |= (iy&512)<<19 | (iy&256)<<17 |(iy&128)<<15 | (iy&64)<<13 |(iy&32)<<11 | (iy&16)<<9 |(iy&8)<<7 | (iy&4)<<5 |(iy&2)<<3 | (iy&1)<<1
    sortby |= (iz&512)<<20 | (iz&256)<<18 |(iz&128)<<16 | (iz&64)<<14 |(iz&32)<<12 | (iz&16)<<10|(iz&8)<<8 | (iz&4)<<6 |(iz&2)<<4 | (iz&1)<<2
    optindex += [(sortby,count)]
    count += 1
  #Umsortierung der Daten
  optindex.sort()
  flist=[]
  for i in optindex:
    flist += [msh.faces[i[1]]]
  msh.faces=flist
  #Hier sollten noch die Verwaltungsdaten für den Octree geschrieben werden
  #Diese Code fehl allderings noch

  return msh