OpenCL/m06212.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _RIPEMD160_
   7
   8 #include "inc_vendor.cl"
   9 #include "inc_hash_constants.h"
  10 #include "inc_hash_functions.cl"
  11 #include "inc_types.cl"
  12 #include "inc_common.cl"
  13
  14 #include "inc_cipher_aes256.cl"
  15 #include "inc_cipher_twofish256.cl"
  16 #include "inc_cipher_serpent256.cl"
  17
  18 void ripemd160_transform (const u32 w[16], u32 dgst[5])
  19 {
  20   u32 a1 = dgst[0];
  21   u32 b1 = dgst[1];
  22   u32 c1 = dgst[2];
  23   u32 d1 = dgst[3];
  24   u32 e1 = dgst[4];
  25
  26   RIPEMD160_STEP (RIPEMD160_F , a1, b1, c1, d1, e1, w[ 0], RIPEMD160C00, RIPEMD160S00);
  27   RIPEMD160_STEP (RIPEMD160_F , e1, a1, b1, c1, d1, w[ 1], RIPEMD160C00, RIPEMD160S01);
  28   RIPEMD160_STEP (RIPEMD160_F , d1, e1, a1, b1, c1, w[ 2], RIPEMD160C00, RIPEMD160S02);
  29   RIPEMD160_STEP (RIPEMD160_F , c1, d1, e1, a1, b1, w[ 3], RIPEMD160C00, RIPEMD160S03);
  30   RIPEMD160_STEP (RIPEMD160_F , b1, c1, d1, e1, a1, w[ 4], RIPEMD160C00, RIPEMD160S04);
  31   RIPEMD160_STEP (RIPEMD160_F , a1, b1, c1, d1, e1, w[ 5], RIPEMD160C00, RIPEMD160S05);
  32   RIPEMD160_STEP (RIPEMD160_F , e1, a1, b1, c1, d1, w[ 6], RIPEMD160C00, RIPEMD160S06);
  33   RIPEMD160_STEP (RIPEMD160_F , d1, e1, a1, b1, c1, w[ 7], RIPEMD160C00, RIPEMD160S07);
  34   RIPEMD160_STEP (RIPEMD160_F , c1, d1, e1, a1, b1, w[ 8], RIPEMD160C00, RIPEMD160S08);
  35   RIPEMD160_STEP (RIPEMD160_F , b1, c1, d1, e1, a1, w[ 9], RIPEMD160C00, RIPEMD160S09);
  36   RIPEMD160_STEP (RIPEMD160_F , a1, b1, c1, d1, e1, w[10], RIPEMD160C00, RIPEMD160S0A);
  37   RIPEMD160_STEP (RIPEMD160_F , e1, a1, b1, c1, d1, w[11], RIPEMD160C00, RIPEMD160S0B);
  38   RIPEMD160_STEP (RIPEMD160_F , d1, e1, a1, b1, c1, w[12], RIPEMD160C00, RIPEMD160S0C);
  39   RIPEMD160_STEP (RIPEMD160_F , c1, d1, e1, a1, b1, w[13], RIPEMD160C00, RIPEMD160S0D);
  40   RIPEMD160_STEP (RIPEMD160_F , b1, c1, d1, e1, a1, w[14], RIPEMD160C00, RIPEMD160S0E);
  41   RIPEMD160_STEP (RIPEMD160_F , a1, b1, c1, d1, e1, w[15], RIPEMD160C00, RIPEMD160S0F);
  42
  43   RIPEMD160_STEP (RIPEMD160_Go, e1, a1, b1, c1, d1, w[ 7], RIPEMD160C10, RIPEMD160S10);
  44   RIPEMD160_STEP (RIPEMD160_Go, d1, e1, a1, b1, c1, w[ 4], RIPEMD160C10, RIPEMD160S11);
  45   RIPEMD160_STEP (RIPEMD160_Go, c1, d1, e1, a1, b1, w[13], RIPEMD160C10, RIPEMD160S12);
  46   RIPEMD160_STEP (RIPEMD160_Go, b1, c1, d1, e1, a1, w[ 1], RIPEMD160C10, RIPEMD160S13);
  47   RIPEMD160_STEP (RIPEMD160_Go, a1, b1, c1, d1, e1, w[10], RIPEMD160C10, RIPEMD160S14);
  48   RIPEMD160_STEP (RIPEMD160_Go, e1, a1, b1, c1, d1, w[ 6], RIPEMD160C10, RIPEMD160S15);
  49   RIPEMD160_STEP (RIPEMD160_Go, d1, e1, a1, b1, c1, w[15], RIPEMD160C10, RIPEMD160S16);
  50   RIPEMD160_STEP (RIPEMD160_Go, c1, d1, e1, a1, b1, w[ 3], RIPEMD160C10, RIPEMD160S17);
  51   RIPEMD160_STEP (RIPEMD160_Go, b1, c1, d1, e1, a1, w[12], RIPEMD160C10, RIPEMD160S18);
  52   RIPEMD160_STEP (RIPEMD160_Go, a1, b1, c1, d1, e1, w[ 0], RIPEMD160C10, RIPEMD160S19);
  53   RIPEMD160_STEP (RIPEMD160_Go, e1, a1, b1, c1, d1, w[ 9], RIPEMD160C10, RIPEMD160S1A);
  54   RIPEMD160_STEP (RIPEMD160_Go, d1, e1, a1, b1, c1, w[ 5], RIPEMD160C10, RIPEMD160S1B);
  55   RIPEMD160_STEP (RIPEMD160_Go, c1, d1, e1, a1, b1, w[ 2], RIPEMD160C10, RIPEMD160S1C);
  56   RIPEMD160_STEP (RIPEMD160_Go, b1, c1, d1, e1, a1, w[14], RIPEMD160C10, RIPEMD160S1D);
  57   RIPEMD160_STEP (RIPEMD160_Go, a1, b1, c1, d1, e1, w[11], RIPEMD160C10, RIPEMD160S1E);
  58   RIPEMD160_STEP (RIPEMD160_Go, e1, a1, b1, c1, d1, w[ 8], RIPEMD160C10, RIPEMD160S1F);
  59
  60   RIPEMD160_STEP (RIPEMD160_H , d1, e1, a1, b1, c1, w[ 3], RIPEMD160C20, RIPEMD160S20);
  61   RIPEMD160_STEP (RIPEMD160_H , c1, d1, e1, a1, b1, w[10], RIPEMD160C20, RIPEMD160S21);
  62   RIPEMD160_STEP (RIPEMD160_H , b1, c1, d1, e1, a1, w[14], RIPEMD160C20, RIPEMD160S22);
  63   RIPEMD160_STEP (RIPEMD160_H , a1, b1, c1, d1, e1, w[ 4], RIPEMD160C20, RIPEMD160S23);
  64   RIPEMD160_STEP (RIPEMD160_H , e1, a1, b1, c1, d1, w[ 9], RIPEMD160C20, RIPEMD160S24);
  65   RIPEMD160_STEP (RIPEMD160_H , d1, e1, a1, b1, c1, w[15], RIPEMD160C20, RIPEMD160S25);
  66   RIPEMD160_STEP (RIPEMD160_H , c1, d1, e1, a1, b1, w[ 8], RIPEMD160C20, RIPEMD160S26);
  67   RIPEMD160_STEP (RIPEMD160_H , b1, c1, d1, e1, a1, w[ 1], RIPEMD160C20, RIPEMD160S27);
  68   RIPEMD160_STEP (RIPEMD160_H , a1, b1, c1, d1, e1, w[ 2], RIPEMD160C20, RIPEMD160S28);
  69   RIPEMD160_STEP (RIPEMD160_H , e1, a1, b1, c1, d1, w[ 7], RIPEMD160C20, RIPEMD160S29);
  70   RIPEMD160_STEP (RIPEMD160_H , d1, e1, a1, b1, c1, w[ 0], RIPEMD160C20, RIPEMD160S2A);
  71   RIPEMD160_STEP (RIPEMD160_H , c1, d1, e1, a1, b1, w[ 6], RIPEMD160C20, RIPEMD160S2B);
  72   RIPEMD160_STEP (RIPEMD160_H , b1, c1, d1, e1, a1, w[13], RIPEMD160C20, RIPEMD160S2C);
  73   RIPEMD160_STEP (RIPEMD160_H , a1, b1, c1, d1, e1, w[11], RIPEMD160C20, RIPEMD160S2D);
  74   RIPEMD160_STEP (RIPEMD160_H , e1, a1, b1, c1, d1, w[ 5], RIPEMD160C20, RIPEMD160S2E);
  75   RIPEMD160_STEP (RIPEMD160_H , d1, e1, a1, b1, c1, w[12], RIPEMD160C20, RIPEMD160S2F);
  76
  77   RIPEMD160_STEP (RIPEMD160_Io, c1, d1, e1, a1, b1, w[ 1], RIPEMD160C30, RIPEMD160S30);
  78   RIPEMD160_STEP (RIPEMD160_Io, b1, c1, d1, e1, a1, w[ 9], RIPEMD160C30, RIPEMD160S31);
  79   RIPEMD160_STEP (RIPEMD160_Io, a1, b1, c1, d1, e1, w[11], RIPEMD160C30, RIPEMD160S32);
  80   RIPEMD160_STEP (RIPEMD160_Io, e1, a1, b1, c1, d1, w[10], RIPEMD160C30, RIPEMD160S33);
  81   RIPEMD160_STEP (RIPEMD160_Io, d1, e1, a1, b1, c1, w[ 0], RIPEMD160C30, RIPEMD160S34);
  82   RIPEMD160_STEP (RIPEMD160_Io, c1, d1, e1, a1, b1, w[ 8], RIPEMD160C30, RIPEMD160S35);
  83   RIPEMD160_STEP (RIPEMD160_Io, b1, c1, d1, e1, a1, w[12], RIPEMD160C30, RIPEMD160S36);
  84   RIPEMD160_STEP (RIPEMD160_Io, a1, b1, c1, d1, e1, w[ 4], RIPEMD160C30, RIPEMD160S37);
  85   RIPEMD160_STEP (RIPEMD160_Io, e1, a1, b1, c1, d1, w[13], RIPEMD160C30, RIPEMD160S38);
  86   RIPEMD160_STEP (RIPEMD160_Io, d1, e1, a1, b1, c1, w[ 3], RIPEMD160C30, RIPEMD160S39);
  87   RIPEMD160_STEP (RIPEMD160_Io, c1, d1, e1, a1, b1, w[ 7], RIPEMD160C30, RIPEMD160S3A);
  88   RIPEMD160_STEP (RIPEMD160_Io, b1, c1, d1, e1, a1, w[15], RIPEMD160C30, RIPEMD160S3B);
  89   RIPEMD160_STEP (RIPEMD160_Io, a1, b1, c1, d1, e1, w[14], RIPEMD160C30, RIPEMD160S3C);
  90   RIPEMD160_STEP (RIPEMD160_Io, e1, a1, b1, c1, d1, w[ 5], RIPEMD160C30, RIPEMD160S3D);
  91   RIPEMD160_STEP (RIPEMD160_Io, d1, e1, a1, b1, c1, w[ 6], RIPEMD160C30, RIPEMD160S3E);
  92   RIPEMD160_STEP (RIPEMD160_Io, c1, d1, e1, a1, b1, w[ 2], RIPEMD160C30, RIPEMD160S3F);
  93
  94   RIPEMD160_STEP (RIPEMD160_J , b1, c1, d1, e1, a1, w[ 4], RIPEMD160C40, RIPEMD160S40);
  95   RIPEMD160_STEP (RIPEMD160_J , a1, b1, c1, d1, e1, w[ 0], RIPEMD160C40, RIPEMD160S41);
  96   RIPEMD160_STEP (RIPEMD160_J , e1, a1, b1, c1, d1, w[ 5], RIPEMD160C40, RIPEMD160S42);
  97   RIPEMD160_STEP (RIPEMD160_J , d1, e1, a1, b1, c1, w[ 9], RIPEMD160C40, RIPEMD160S43);
  98   RIPEMD160_STEP (RIPEMD160_J , c1, d1, e1, a1, b1, w[ 7], RIPEMD160C40, RIPEMD160S44);
  99   RIPEMD160_STEP (RIPEMD160_J , b1, c1, d1, e1, a1, w[12], RIPEMD160C40, RIPEMD160S45);
 100   RIPEMD160_STEP (RIPEMD160_J , a1, b1, c1, d1, e1, w[ 2], RIPEMD160C40, RIPEMD160S46);
 101   RIPEMD160_STEP (RIPEMD160_J , e1, a1, b1, c1, d1, w[10], RIPEMD160C40, RIPEMD160S47);
 102   RIPEMD160_STEP (RIPEMD160_J , d1, e1, a1, b1, c1, w[14], RIPEMD160C40, RIPEMD160S48);
 103   RIPEMD160_STEP (RIPEMD160_J , c1, d1, e1, a1, b1, w[ 1], RIPEMD160C40, RIPEMD160S49);
 104   RIPEMD160_STEP (RIPEMD160_J , b1, c1, d1, e1, a1, w[ 3], RIPEMD160C40, RIPEMD160S4A);
 105   RIPEMD160_STEP (RIPEMD160_J , a1, b1, c1, d1, e1, w[ 8], RIPEMD160C40, RIPEMD160S4B);
 106   RIPEMD160_STEP (RIPEMD160_J , e1, a1, b1, c1, d1, w[11], RIPEMD160C40, RIPEMD160S4C);
 107   RIPEMD160_STEP (RIPEMD160_J , d1, e1, a1, b1, c1, w[ 6], RIPEMD160C40, RIPEMD160S4D);
 108   RIPEMD160_STEP (RIPEMD160_J , c1, d1, e1, a1, b1, w[15], RIPEMD160C40, RIPEMD160S4E);
 109   RIPEMD160_STEP (RIPEMD160_J , b1, c1, d1, e1, a1, w[13], RIPEMD160C40, RIPEMD160S4F);
 110
 111   u32 a2 = dgst[0];
 112   u32 b2 = dgst[1];
 113   u32 c2 = dgst[2];
 114   u32 d2 = dgst[3];
 115   u32 e2 = dgst[4];
 116
 117   RIPEMD160_STEP_WORKAROUND_BUG (RIPEMD160_J , a2, b2, c2, d2, e2, w[ 5], RIPEMD160C50, RIPEMD160S50);
 118   RIPEMD160_STEP (RIPEMD160_J , e2, a2, b2, c2, d2, w[14], RIPEMD160C50, RIPEMD160S51);
 119   RIPEMD160_STEP (RIPEMD160_J , d2, e2, a2, b2, c2, w[ 7], RIPEMD160C50, RIPEMD160S52);
 120   RIPEMD160_STEP (RIPEMD160_J , c2, d2, e2, a2, b2, w[ 0], RIPEMD160C50, RIPEMD160S53);
 121   RIPEMD160_STEP (RIPEMD160_J , b2, c2, d2, e2, a2, w[ 9], RIPEMD160C50, RIPEMD160S54);
 122   RIPEMD160_STEP (RIPEMD160_J , a2, b2, c2, d2, e2, w[ 2], RIPEMD160C50, RIPEMD160S55);
 123   RIPEMD160_STEP (RIPEMD160_J , e2, a2, b2, c2, d2, w[11], RIPEMD160C50, RIPEMD160S56);
 124   RIPEMD160_STEP (RIPEMD160_J , d2, e2, a2, b2, c2, w[ 4], RIPEMD160C50, RIPEMD160S57);
 125   RIPEMD160_STEP (RIPEMD160_J , c2, d2, e2, a2, b2, w[13], RIPEMD160C50, RIPEMD160S58);
 126   RIPEMD160_STEP (RIPEMD160_J , b2, c2, d2, e2, a2, w[ 6], RIPEMD160C50, RIPEMD160S59);
 127   RIPEMD160_STEP (RIPEMD160_J , a2, b2, c2, d2, e2, w[15], RIPEMD160C50, RIPEMD160S5A);
 128   RIPEMD160_STEP (RIPEMD160_J , e2, a2, b2, c2, d2, w[ 8], RIPEMD160C50, RIPEMD160S5B);
 129   RIPEMD160_STEP (RIPEMD160_J , d2, e2, a2, b2, c2, w[ 1], RIPEMD160C50, RIPEMD160S5C);
 130   RIPEMD160_STEP (RIPEMD160_J , c2, d2, e2, a2, b2, w[10], RIPEMD160C50, RIPEMD160S5D);
 131   RIPEMD160_STEP (RIPEMD160_J , b2, c2, d2, e2, a2, w[ 3], RIPEMD160C50, RIPEMD160S5E);
 132   RIPEMD160_STEP (RIPEMD160_J , a2, b2, c2, d2, e2, w[12], RIPEMD160C50, RIPEMD160S5F);
 133
 134   RIPEMD160_STEP (RIPEMD160_Io, e2, a2, b2, c2, d2, w[ 6], RIPEMD160C60, RIPEMD160S60);
 135   RIPEMD160_STEP (RIPEMD160_Io, d2, e2, a2, b2, c2, w[11], RIPEMD160C60, RIPEMD160S61);
 136   RIPEMD160_STEP (RIPEMD160_Io, c2, d2, e2, a2, b2, w[ 3], RIPEMD160C60, RIPEMD160S62);
 137   RIPEMD160_STEP (RIPEMD160_Io, b2, c2, d2, e2, a2, w[ 7], RIPEMD160C60, RIPEMD160S63);
 138   RIPEMD160_STEP (RIPEMD160_Io, a2, b2, c2, d2, e2, w[ 0], RIPEMD160C60, RIPEMD160S64);
 139   RIPEMD160_STEP (RIPEMD160_Io, e2, a2, b2, c2, d2, w[13], RIPEMD160C60, RIPEMD160S65);
 140   RIPEMD160_STEP (RIPEMD160_Io, d2, e2, a2, b2, c2, w[ 5], RIPEMD160C60, RIPEMD160S66);
 141   RIPEMD160_STEP (RIPEMD160_Io, c2, d2, e2, a2, b2, w[10], RIPEMD160C60, RIPEMD160S67);
 142   RIPEMD160_STEP (RIPEMD160_Io, b2, c2, d2, e2, a2, w[14], RIPEMD160C60, RIPEMD160S68);
 143   RIPEMD160_STEP (RIPEMD160_Io, a2, b2, c2, d2, e2, w[15], RIPEMD160C60, RIPEMD160S69);
 144   RIPEMD160_STEP (RIPEMD160_Io, e2, a2, b2, c2, d2, w[ 8], RIPEMD160C60, RIPEMD160S6A);
 145   RIPEMD160_STEP (RIPEMD160_Io, d2, e2, a2, b2, c2, w[12], RIPEMD160C60, RIPEMD160S6B);
 146   RIPEMD160_STEP (RIPEMD160_Io, c2, d2, e2, a2, b2, w[ 4], RIPEMD160C60, RIPEMD160S6C);
 147   RIPEMD160_STEP (RIPEMD160_Io, b2, c2, d2, e2, a2, w[ 9], RIPEMD160C60, RIPEMD160S6D);
 148   RIPEMD160_STEP (RIPEMD160_Io, a2, b2, c2, d2, e2, w[ 1], RIPEMD160C60, RIPEMD160S6E);
 149   RIPEMD160_STEP (RIPEMD160_Io, e2, a2, b2, c2, d2, w[ 2], RIPEMD160C60, RIPEMD160S6F);
 150
 151   RIPEMD160_STEP (RIPEMD160_H , d2, e2, a2, b2, c2, w[15], RIPEMD160C70, RIPEMD160S70);
 152   RIPEMD160_STEP (RIPEMD160_H , c2, d2, e2, a2, b2, w[ 5], RIPEMD160C70, RIPEMD160S71);
 153   RIPEMD160_STEP (RIPEMD160_H , b2, c2, d2, e2, a2, w[ 1], RIPEMD160C70, RIPEMD160S72);
 154   RIPEMD160_STEP (RIPEMD160_H , a2, b2, c2, d2, e2, w[ 3], RIPEMD160C70, RIPEMD160S73);
 155   RIPEMD160_STEP (RIPEMD160_H , e2, a2, b2, c2, d2, w[ 7], RIPEMD160C70, RIPEMD160S74);
 156   RIPEMD160_STEP (RIPEMD160_H , d2, e2, a2, b2, c2, w[14], RIPEMD160C70, RIPEMD160S75);
 157   RIPEMD160_STEP (RIPEMD160_H , c2, d2, e2, a2, b2, w[ 6], RIPEMD160C70, RIPEMD160S76);
 158   RIPEMD160_STEP (RIPEMD160_H , b2, c2, d2, e2, a2, w[ 9], RIPEMD160C70, RIPEMD160S77);
 159   RIPEMD160_STEP (RIPEMD160_H , a2, b2, c2, d2, e2, w[11], RIPEMD160C70, RIPEMD160S78);
 160   RIPEMD160_STEP (RIPEMD160_H , e2, a2, b2, c2, d2, w[ 8], RIPEMD160C70, RIPEMD160S79);
 161   RIPEMD160_STEP (RIPEMD160_H , d2, e2, a2, b2, c2, w[12], RIPEMD160C70, RIPEMD160S7A);
 162   RIPEMD160_STEP (RIPEMD160_H , c2, d2, e2, a2, b2, w[ 2], RIPEMD160C70, RIPEMD160S7B);
 163   RIPEMD160_STEP (RIPEMD160_H , b2, c2, d2, e2, a2, w[10], RIPEMD160C70, RIPEMD160S7C);
 164   RIPEMD160_STEP (RIPEMD160_H , a2, b2, c2, d2, e2, w[ 0], RIPEMD160C70, RIPEMD160S7D);
 165   RIPEMD160_STEP (RIPEMD160_H , e2, a2, b2, c2, d2, w[ 4], RIPEMD160C70, RIPEMD160S7E);
 166   RIPEMD160_STEP (RIPEMD160_H , d2, e2, a2, b2, c2, w[13], RIPEMD160C70, RIPEMD160S7F);
 167
 168   RIPEMD160_STEP (RIPEMD160_Go, c2, d2, e2, a2, b2, w[ 8], RIPEMD160C80, RIPEMD160S80);
 169   RIPEMD160_STEP (RIPEMD160_Go, b2, c2, d2, e2, a2, w[ 6], RIPEMD160C80, RIPEMD160S81);
 170   RIPEMD160_STEP (RIPEMD160_Go, a2, b2, c2, d2, e2, w[ 4], RIPEMD160C80, RIPEMD160S82);
 171   RIPEMD160_STEP (RIPEMD160_Go, e2, a2, b2, c2, d2, w[ 1], RIPEMD160C80, RIPEMD160S83);
 172   RIPEMD160_STEP (RIPEMD160_Go, d2, e2, a2, b2, c2, w[ 3], RIPEMD160C80, RIPEMD160S84);
 173   RIPEMD160_STEP (RIPEMD160_Go, c2, d2, e2, a2, b2, w[11], RIPEMD160C80, RIPEMD160S85);
 174   RIPEMD160_STEP (RIPEMD160_Go, b2, c2, d2, e2, a2, w[15], RIPEMD160C80, RIPEMD160S86);
 175   RIPEMD160_STEP (RIPEMD160_Go, a2, b2, c2, d2, e2, w[ 0], RIPEMD160C80, RIPEMD160S87);
 176   RIPEMD160_STEP (RIPEMD160_Go, e2, a2, b2, c2, d2, w[ 5], RIPEMD160C80, RIPEMD160S88);
 177   RIPEMD160_STEP (RIPEMD160_Go, d2, e2, a2, b2, c2, w[12], RIPEMD160C80, RIPEMD160S89);
 178   RIPEMD160_STEP (RIPEMD160_Go, c2, d2, e2, a2, b2, w[ 2], RIPEMD160C80, RIPEMD160S8A);
 179   RIPEMD160_STEP (RIPEMD160_Go, b2, c2, d2, e2, a2, w[13], RIPEMD160C80, RIPEMD160S8B);
 180   RIPEMD160_STEP (RIPEMD160_Go, a2, b2, c2, d2, e2, w[ 9], RIPEMD160C80, RIPEMD160S8C);
 181   RIPEMD160_STEP (RIPEMD160_Go, e2, a2, b2, c2, d2, w[ 7], RIPEMD160C80, RIPEMD160S8D);
 182   RIPEMD160_STEP (RIPEMD160_Go, d2, e2, a2, b2, c2, w[10], RIPEMD160C80, RIPEMD160S8E);
 183   RIPEMD160_STEP (RIPEMD160_Go, c2, d2, e2, a2, b2, w[14], RIPEMD160C80, RIPEMD160S8F);
 184
 185   RIPEMD160_STEP (RIPEMD160_F , b2, c2, d2, e2, a2, w[12], RIPEMD160C90, RIPEMD160S90);
 186   RIPEMD160_STEP (RIPEMD160_F , a2, b2, c2, d2, e2, w[15], RIPEMD160C90, RIPEMD160S91);
 187   RIPEMD160_STEP (RIPEMD160_F , e2, a2, b2, c2, d2, w[10], RIPEMD160C90, RIPEMD160S92);
 188   RIPEMD160_STEP (RIPEMD160_F , d2, e2, a2, b2, c2, w[ 4], RIPEMD160C90, RIPEMD160S93);
 189   RIPEMD160_STEP (RIPEMD160_F , c2, d2, e2, a2, b2, w[ 1], RIPEMD160C90, RIPEMD160S94);
 190   RIPEMD160_STEP (RIPEMD160_F , b2, c2, d2, e2, a2, w[ 5], RIPEMD160C90, RIPEMD160S95);
 191   RIPEMD160_STEP (RIPEMD160_F , a2, b2, c2, d2, e2, w[ 8], RIPEMD160C90, RIPEMD160S96);
 192   RIPEMD160_STEP (RIPEMD160_F , e2, a2, b2, c2, d2, w[ 7], RIPEMD160C90, RIPEMD160S97);
 193   RIPEMD160_STEP (RIPEMD160_F , d2, e2, a2, b2, c2, w[ 6], RIPEMD160C90, RIPEMD160S98);
 194   RIPEMD160_STEP (RIPEMD160_F , c2, d2, e2, a2, b2, w[ 2], RIPEMD160C90, RIPEMD160S99);
 195   RIPEMD160_STEP (RIPEMD160_F , b2, c2, d2, e2, a2, w[13], RIPEMD160C90, RIPEMD160S9A);
 196   RIPEMD160_STEP (RIPEMD160_F , a2, b2, c2, d2, e2, w[14], RIPEMD160C90, RIPEMD160S9B);
 197   RIPEMD160_STEP (RIPEMD160_F , e2, a2, b2, c2, d2, w[ 0], RIPEMD160C90, RIPEMD160S9C);
 198   RIPEMD160_STEP (RIPEMD160_F , d2, e2, a2, b2, c2, w[ 3], RIPEMD160C90, RIPEMD160S9D);
 199   RIPEMD160_STEP (RIPEMD160_F , c2, d2, e2, a2, b2, w[ 9], RIPEMD160C90, RIPEMD160S9E);
 200   RIPEMD160_STEP (RIPEMD160_F , b2, c2, d2, e2, a2, w[11], RIPEMD160C90, RIPEMD160S9F);
 201
 202   const u32 a = dgst[1] + c1 + d2;
 203   const u32 b = dgst[2] + d1 + e2;
 204   const u32 c = dgst[3] + e1 + a2;
 205   const u32 d = dgst[4] + a1 + b2;
 206   const u32 e = dgst[0] + b1 + c2;
 207
 208   dgst[0] = a;
 209   dgst[1] = b;
 210   dgst[2] = c;
 211   dgst[3] = d;
 212   dgst[4] = e;
 213 }
 214
 215 void hmac_run2 (const u32 w1[16], const u32 w2[16], const u32 ipad[5], const u32 opad[5], u32 dgst[5])
 216 {
 217   dgst[0] = ipad[0];
 218   dgst[1] = ipad[1];
 219   dgst[2] = ipad[2];
 220   dgst[3] = ipad[3];
 221   dgst[4] = ipad[4];
 222
 223   ripemd160_transform (w1, dgst);
 224   ripemd160_transform (w2, dgst);
 225
 226   u32 w[16];
 227
 228   w[ 0] = dgst[0];
 229   w[ 1] = dgst[1];
 230   w[ 2] = dgst[2];
 231   w[ 3] = dgst[3];
 232   w[ 4] = dgst[4];
 233   w[ 5] = 0x80;
 234   w[ 6] = 0;
 235   w[ 7] = 0;
 236   w[ 8] = 0;
 237   w[ 9] = 0;
 238   w[10] = 0;
 239   w[11] = 0;
 240   w[12] = 0;
 241   w[13] = 0;
 242   w[14] = (64 + 20) * 8;
 243   w[15] = 0;
 244
 245   dgst[0] = opad[0];
 246   dgst[1] = opad[1];
 247   dgst[2] = opad[2];
 248   dgst[3] = opad[3];
 249   dgst[4] = opad[4];
 250
 251   ripemd160_transform (w, dgst);
 252 }
 253
 254 void hmac_run (u32 w[16], const u32 ipad[5], const u32 opad[5], u32 dgst[5])
 255 {
 256   dgst[0] = ipad[0];
 257   dgst[1] = ipad[1];
 258   dgst[2] = ipad[2];
 259   dgst[3] = ipad[3];
 260   dgst[4] = ipad[4];
 261
 262   ripemd160_transform (w, dgst);
 263
 264   w[ 0] = dgst[0];
 265   w[ 1] = dgst[1];
 266   w[ 2] = dgst[2];
 267   w[ 3] = dgst[3];
 268   w[ 4] = dgst[4];
 269   w[ 5] = 0x80;
 270   w[ 6] = 0;
 271   w[ 7] = 0;
 272   w[ 8] = 0;
 273   w[ 9] = 0;
 274   w[10] = 0;
 275   w[11] = 0;
 276   w[12] = 0;
 277   w[13] = 0;
 278   w[14] = (64 + 20) * 8;
 279   w[15] = 0;
 280
 281   dgst[0] = opad[0];
 282   dgst[1] = opad[1];
 283   dgst[2] = opad[2];
 284   dgst[3] = opad[3];
 285   dgst[4] = opad[4];
 286
 287   ripemd160_transform (w, dgst);
 288 }
 289
 290 void hmac_init (u32 w[16], u32 ipad[5], u32 opad[5])
 291 {
 292   w[ 0] ^= 0x36363636;
 293   w[ 1] ^= 0x36363636;
 294   w[ 2] ^= 0x36363636;
 295   w[ 3] ^= 0x36363636;
 296   w[ 4] ^= 0x36363636;
 297   w[ 5] ^= 0x36363636;
 298   w[ 6] ^= 0x36363636;
 299   w[ 7] ^= 0x36363636;
 300   w[ 8] ^= 0x36363636;
 301   w[ 9] ^= 0x36363636;
 302   w[10] ^= 0x36363636;
 303   w[11] ^= 0x36363636;
 304   w[12] ^= 0x36363636;
 305   w[13] ^= 0x36363636;
 306   w[14] ^= 0x36363636;
 307   w[15] ^= 0x36363636;
 308
 309   ipad[0] = RIPEMD160M_A;
 310   ipad[1] = RIPEMD160M_B;
 311   ipad[2] = RIPEMD160M_C;
 312   ipad[3] = RIPEMD160M_D;
 313   ipad[4] = RIPEMD160M_E;
 314
 315   ripemd160_transform (w, ipad);
 316
 317   w[ 0] ^= 0x6a6a6a6a;
 318   w[ 1] ^= 0x6a6a6a6a;
 319   w[ 2] ^= 0x6a6a6a6a;
 320   w[ 3] ^= 0x6a6a6a6a;
 321   w[ 4] ^= 0x6a6a6a6a;
 322   w[ 5] ^= 0x6a6a6a6a;
 323   w[ 6] ^= 0x6a6a6a6a;
 324   w[ 7] ^= 0x6a6a6a6a;
 325   w[ 8] ^= 0x6a6a6a6a;
 326   w[ 9] ^= 0x6a6a6a6a;
 327   w[10] ^= 0x6a6a6a6a;
 328   w[11] ^= 0x6a6a6a6a;
 329   w[12] ^= 0x6a6a6a6a;
 330   w[13] ^= 0x6a6a6a6a;
 331   w[14] ^= 0x6a6a6a6a;
 332   w[15] ^= 0x6a6a6a6a;
 333
 334   opad[0] = RIPEMD160M_A;
 335   opad[1] = RIPEMD160M_B;
 336   opad[2] = RIPEMD160M_C;
 337   opad[3] = RIPEMD160M_D;
 338   opad[4] = RIPEMD160M_E;
 339
 340   ripemd160_transform (w, opad);
 341 }
 342
 343 u32 u8add (const u32 a, const u32 b)
 344 {
 345   const u32 a1 = (a >>  0) & 0xff;
 346   const u32 a2 = (a >>  8) & 0xff;
 347   const u32 a3 = (a >> 16) & 0xff;
 348   const u32 a4 = (a >> 24) & 0xff;
 349
 350   const u32 b1 = (b >>  0) & 0xff;
 351   const u32 b2 = (b >>  8) & 0xff;
 352   const u32 b3 = (b >> 16) & 0xff;
 353   const u32 b4 = (b >> 24) & 0xff;
 354
 355   const u32 r1 = (a1 + b1) & 0xff;
 356   const u32 r2 = (a2 + b2) & 0xff;
 357   const u32 r3 = (a3 + b3) & 0xff;
 358   const u32 r4 = (a4 + b4) & 0xff;
 359
 360   const u32 r = r1 <<  0
 361                | r2 <<  8
 362                | r3 << 16
 363                | r4 << 24;
 364
 365   return r;
 366 }
 367
 368 __kernel void m06212_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global tc_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global tc_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 369 {
 370   /**
 371    * base
 372    */
 373
 374   const u32 gid = get_global_id (0);
 375
 376   if (gid >= gid_max) return;
 377
 378   u32 w0[4];
 379
 380   w0[0] = pws[gid].i[ 0];
 381   w0[1] = pws[gid].i[ 1];
 382   w0[2] = pws[gid].i[ 2];
 383   w0[3] = pws[gid].i[ 3];
 384
 385   u32 w1[4];
 386
 387   w1[0] = pws[gid].i[ 4];
 388   w1[1] = pws[gid].i[ 5];
 389   w1[2] = pws[gid].i[ 6];
 390   w1[3] = pws[gid].i[ 7];
 391
 392   u32 w2[4];
 393
 394   w2[0] = pws[gid].i[ 8];
 395   w2[1] = pws[gid].i[ 9];
 396   w2[2] = pws[gid].i[10];
 397   w2[3] = pws[gid].i[11];
 398
 399   u32 w3[4];
 400
 401   w3[0] = pws[gid].i[12];
 402   w3[1] = pws[gid].i[13];
 403   w3[2] = pws[gid].i[14];
 404   w3[3] = pws[gid].i[15];
 405
 406   /**
 407    * keyfile
 408    */
 409
 410   w0[0] = u8add (w0[0], esalt_bufs[salt_pos].keyfile_buf[ 0]);
 411   w0[1] = u8add (w0[1], esalt_bufs[salt_pos].keyfile_buf[ 1]);
 412   w0[2] = u8add (w0[2], esalt_bufs[salt_pos].keyfile_buf[ 2]);
 413   w0[3] = u8add (w0[3], esalt_bufs[salt_pos].keyfile_buf[ 3]);
 414   w1[0] = u8add (w1[0], esalt_bufs[salt_pos].keyfile_buf[ 4]);
 415   w1[1] = u8add (w1[1], esalt_bufs[salt_pos].keyfile_buf[ 5]);
 416   w1[2] = u8add (w1[2], esalt_bufs[salt_pos].keyfile_buf[ 6]);
 417   w1[3] = u8add (w1[3], esalt_bufs[salt_pos].keyfile_buf[ 7]);
 418   w2[0] = u8add (w2[0], esalt_bufs[salt_pos].keyfile_buf[ 8]);
 419   w2[1] = u8add (w2[1], esalt_bufs[salt_pos].keyfile_buf[ 9]);
 420   w2[2] = u8add (w2[2], esalt_bufs[salt_pos].keyfile_buf[10]);
 421   w2[3] = u8add (w2[3], esalt_bufs[salt_pos].keyfile_buf[11]);
 422   w3[0] = u8add (w3[0], esalt_bufs[salt_pos].keyfile_buf[12]);
 423   w3[1] = u8add (w3[1], esalt_bufs[salt_pos].keyfile_buf[13]);
 424   w3[2] = u8add (w3[2], esalt_bufs[salt_pos].keyfile_buf[14]);
 425   w3[3] = u8add (w3[3], esalt_bufs[salt_pos].keyfile_buf[15]);
 426
 427   /**
 428    * salt
 429    */
 430
 431   u32 salt_buf1[16];
 432
 433   salt_buf1[ 0] = esalt_bufs[salt_pos].salt_buf[ 0];
 434   salt_buf1[ 1] = esalt_bufs[salt_pos].salt_buf[ 1];
 435   salt_buf1[ 2] = esalt_bufs[salt_pos].salt_buf[ 2];
 436   salt_buf1[ 3] = esalt_bufs[salt_pos].salt_buf[ 3];
 437   salt_buf1[ 4] = esalt_bufs[salt_pos].salt_buf[ 4];
 438   salt_buf1[ 5] = esalt_bufs[salt_pos].salt_buf[ 5];
 439   salt_buf1[ 6] = esalt_bufs[salt_pos].salt_buf[ 6];
 440   salt_buf1[ 7] = esalt_bufs[salt_pos].salt_buf[ 7];
 441   salt_buf1[ 8] = esalt_bufs[salt_pos].salt_buf[ 8];
 442   salt_buf1[ 9] = esalt_bufs[salt_pos].salt_buf[ 9];
 443   salt_buf1[10] = esalt_bufs[salt_pos].salt_buf[10];
 444   salt_buf1[11] = esalt_bufs[salt_pos].salt_buf[11];
 445   salt_buf1[12] = esalt_bufs[salt_pos].salt_buf[12];
 446   salt_buf1[13] = esalt_bufs[salt_pos].salt_buf[13];
 447   salt_buf1[14] = esalt_bufs[salt_pos].salt_buf[14];
 448   salt_buf1[15] = esalt_bufs[salt_pos].salt_buf[15];
 449
 450   u32 salt_buf2[16];
 451
 452   salt_buf2[ 0] = 0;
 453   salt_buf2[ 1] = 0x80;
 454   salt_buf2[ 2] = 0;
 455   salt_buf2[ 3] = 0;
 456   salt_buf2[ 4] = 0;
 457   salt_buf2[ 5] = 0;
 458   salt_buf2[ 6] = 0;
 459   salt_buf2[ 7] = 0;
 460   salt_buf2[ 8] = 0;
 461   salt_buf2[ 9] = 0;
 462   salt_buf2[10] = 0;
 463   salt_buf2[11] = 0;
 464   salt_buf2[12] = 0;
 465   salt_buf2[13] = 0;
 466   salt_buf2[14] = (64 + 64 + 4) * 8;
 467   salt_buf2[15] = 0;
 468
 469   const u32 truecrypt_mdlen = salt_bufs[0].truecrypt_mdlen;
 470
 471   u32 w[16];
 472
 473   w[ 0] = w0[0];
 474   w[ 1] = w0[1];
 475   w[ 2] = w0[2];
 476   w[ 3] = w0[3];
 477   w[ 4] = w1[0];
 478   w[ 5] = w1[1];
 479   w[ 6] = w1[2];
 480   w[ 7] = w1[3];
 481   w[ 8] = w2[0];
 482   w[ 9] = w2[1];
 483   w[10] = w2[2];
 484   w[11] = w2[3];
 485   w[12] = w3[0];
 486   w[13] = w3[1];
 487   w[14] = w3[2];
 488   w[15] = w3[3];
 489
 490   u32 ipad[5];
 491   u32 opad[5];
 492
 493   hmac_init (w, ipad, opad);
 494
 495   tmps[gid].ipad[0] = ipad[0];
 496   tmps[gid].ipad[1] = ipad[1];
 497   tmps[gid].ipad[2] = ipad[2];
 498   tmps[gid].ipad[3] = ipad[3];
 499   tmps[gid].ipad[4] = ipad[4];
 500
 501   tmps[gid].opad[0] = opad[0];
 502   tmps[gid].opad[1] = opad[1];
 503   tmps[gid].opad[2] = opad[2];
 504   tmps[gid].opad[3] = opad[3];
 505   tmps[gid].opad[4] = opad[4];
 506
 507   for (u32 i = 0, j = 1; i < (truecrypt_mdlen / 8 / 4); i += 5, j += 1)
 508   {
 509     salt_buf2[0] = swap32 (j);
 510
 511     u32 dgst[5];
 512
 513     hmac_run2 (salt_buf1, salt_buf2, ipad, opad, dgst);
 514
 515     tmps[gid].dgst[i + 0] = dgst[0];
 516     tmps[gid].dgst[i + 1] = dgst[1];
 517     tmps[gid].dgst[i + 2] = dgst[2];
 518     tmps[gid].dgst[i + 3] = dgst[3];
 519     tmps[gid].dgst[i + 4] = dgst[4];
 520
 521     tmps[gid].out[i + 0] = dgst[0];
 522     tmps[gid].out[i + 1] = dgst[1];
 523     tmps[gid].out[i + 2] = dgst[2];
 524     tmps[gid].out[i + 3] = dgst[3];
 525     tmps[gid].out[i + 4] = dgst[4];
 526   }
 527 }
 528
 529 __kernel void m06212_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global tc_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global tc_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 530 {
 531   const u32 truecrypt_mdlen = salt_bufs[0].truecrypt_mdlen;
 532
 533   const u32 gid = get_global_id (0);
 534
 535   if (gid >= gid_max) return;
 536
 537   u32 ipad[5];
 538   u32 opad[5];
 539
 540   ipad[0] = tmps[gid].ipad[0];
 541   ipad[1] = tmps[gid].ipad[1];
 542   ipad[2] = tmps[gid].ipad[2];
 543   ipad[3] = tmps[gid].ipad[3];
 544   ipad[4] = tmps[gid].ipad[4];
 545
 546   opad[0] = tmps[gid].opad[0];
 547   opad[1] = tmps[gid].opad[1];
 548   opad[2] = tmps[gid].opad[2];
 549   opad[3] = tmps[gid].opad[3];
 550   opad[4] = tmps[gid].opad[4];
 551
 552   for (u32 i = 0; i < (truecrypt_mdlen / 8 / 4); i += 5)
 553   {
 554     u32 dgst[5];
 555     u32 out[5];
 556
 557     dgst[0] = tmps[gid].dgst[i + 0];
 558     dgst[1] = tmps[gid].dgst[i + 1];
 559     dgst[2] = tmps[gid].dgst[i + 2];
 560     dgst[3] = tmps[gid].dgst[i + 3];
 561     dgst[4] = tmps[gid].dgst[i + 4];
 562
 563     out[0] = tmps[gid].out[i + 0];
 564     out[1] = tmps[gid].out[i + 1];
 565     out[2] = tmps[gid].out[i + 2];
 566     out[3] = tmps[gid].out[i + 3];
 567     out[4] = tmps[gid].out[i + 4];
 568
 569     for (u32 j = 0; j < loop_cnt; j++)
 570     {
 571       u32 w[16];
 572
 573       w[ 0] = dgst[0];
 574       w[ 1] = dgst[1];
 575       w[ 2] = dgst[2];
 576       w[ 3] = dgst[3];
 577       w[ 4] = dgst[4];
 578       w[ 5] = 0x80;
 579       w[ 6] = 0;
 580       w[ 7] = 0;
 581       w[ 8] = 0;
 582       w[ 9] = 0;
 583       w[10] = 0;
 584       w[11] = 0;
 585       w[12] = 0;
 586       w[13] = 0;
 587       w[14] = (64 + 20) * 8;
 588       w[15] = 0;
 589
 590       hmac_run (w, ipad, opad, dgst);
 591
 592       out[0] ^= dgst[0];
 593       out[1] ^= dgst[1];
 594       out[2] ^= dgst[2];
 595       out[3] ^= dgst[3];
 596       out[4] ^= dgst[4];
 597     }
 598
 599     tmps[gid].dgst[i + 0] = dgst[0];
 600     tmps[gid].dgst[i + 1] = dgst[1];
 601     tmps[gid].dgst[i + 2] = dgst[2];
 602     tmps[gid].dgst[i + 3] = dgst[3];
 603     tmps[gid].dgst[i + 4] = dgst[4];
 604
 605     tmps[gid].out[i + 0] = out[0];
 606     tmps[gid].out[i + 1] = out[1];
 607     tmps[gid].out[i + 2] = out[2];
 608     tmps[gid].out[i + 3] = out[3];
 609     tmps[gid].out[i + 4] = out[4];
 610   }
 611 }
 612
 613 __kernel void m06212_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global tc_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global tc_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 614 {
 615   /**
 616    * base
 617    */
 618
 619   const u32 gid = get_global_id (0);
 620   const u32 lid = get_local_id (0);
 621
 622   if (gid >= gid_max) return;
 623
 624   u32 ukey1[8];
 625
 626   ukey1[0] = tmps[gid].out[ 0];
 627   ukey1[1] = tmps[gid].out[ 1];
 628   ukey1[2] = tmps[gid].out[ 2];
 629   ukey1[3] = tmps[gid].out[ 3];
 630   ukey1[4] = tmps[gid].out[ 4];
 631   ukey1[5] = tmps[gid].out[ 5];
 632   ukey1[6] = tmps[gid].out[ 6];
 633   ukey1[7] = tmps[gid].out[ 7];
 634
 635   u32 ukey2[8];
 636
 637   ukey2[0] = tmps[gid].out[ 8];
 638   ukey2[1] = tmps[gid].out[ 9];
 639   ukey2[2] = tmps[gid].out[10];
 640   ukey2[3] = tmps[gid].out[11];
 641   ukey2[4] = tmps[gid].out[12];
 642   ukey2[5] = tmps[gid].out[13];
 643   ukey2[6] = tmps[gid].out[14];
 644   ukey2[7] = tmps[gid].out[15];
 645
 646   u32 data[4];
 647
 648   data[0] = esalt_bufs[0].data_buf[0];
 649   data[1] = esalt_bufs[0].data_buf[1];
 650   data[2] = esalt_bufs[0].data_buf[2];
 651   data[3] = esalt_bufs[0].data_buf[3];
 652
 653   const u32 signature = esalt_bufs[0].signature;
 654
 655   u32 tmp[4];
 656
 657   {
 658     tmp[0] = data[0];
 659     tmp[1] = data[1];
 660     tmp[2] = data[2];
 661     tmp[3] = data[3];
 662
 663     aes256_decrypt_xts (ukey1, ukey2, tmp, tmp);
 664
 665     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 666     {
 667       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 668     }
 669   }
 670
 671   {
 672     tmp[0] = data[0];
 673     tmp[1] = data[1];
 674     tmp[2] = data[2];
 675     tmp[3] = data[3];
 676
 677     serpent256_decrypt_xts (ukey1, ukey2, tmp, tmp);
 678
 679     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 680     {
 681       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 682     }
 683   }
 684
 685   {
 686     tmp[0] = data[0];
 687     tmp[1] = data[1];
 688     tmp[2] = data[2];
 689     tmp[3] = data[3];
 690
 691     twofish256_decrypt_xts (ukey1, ukey2, tmp, tmp);
 692
 693     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 694     {
 695       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 696     }
 697   }
 698
 699   u32 ukey3[8];
 700
 701   ukey3[0] = tmps[gid].out[16];
 702   ukey3[1] = tmps[gid].out[17];
 703   ukey3[2] = tmps[gid].out[18];
 704   ukey3[3] = tmps[gid].out[19];
 705   ukey3[4] = tmps[gid].out[20];
 706   ukey3[5] = tmps[gid].out[21];
 707   ukey3[6] = tmps[gid].out[22];
 708   ukey3[7] = tmps[gid].out[23];
 709
 710   u32 ukey4[8];
 711
 712   ukey4[0] = tmps[gid].out[24];
 713   ukey4[1] = tmps[gid].out[25];
 714   ukey4[2] = tmps[gid].out[26];
 715   ukey4[3] = tmps[gid].out[27];
 716   ukey4[4] = tmps[gid].out[28];
 717   ukey4[5] = tmps[gid].out[29];
 718   ukey4[6] = tmps[gid].out[30];
 719   ukey4[7] = tmps[gid].out[31];
 720
 721   {
 722     tmp[0] = data[0];
 723     tmp[1] = data[1];
 724     tmp[2] = data[2];
 725     tmp[3] = data[3];
 726
 727     aes256_decrypt_xts     (ukey2, ukey4, tmp, tmp);
 728     twofish256_decrypt_xts (ukey1, ukey3, tmp, tmp);
 729
 730     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 731     {
 732       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 733     }
 734   }
 735
 736   {
 737     tmp[0] = data[0];
 738     tmp[1] = data[1];
 739     tmp[2] = data[2];
 740     tmp[3] = data[3];
 741
 742     serpent256_decrypt_xts (ukey2, ukey4, tmp, tmp);
 743     aes256_decrypt_xts     (ukey1, ukey3, tmp, tmp);
 744
 745     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 746     {
 747       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 748     }
 749   }
 750
 751   {
 752     tmp[0] = data[0];
 753     tmp[1] = data[1];
 754     tmp[2] = data[2];
 755     tmp[3] = data[3];
 756
 757     twofish256_decrypt_xts (ukey2, ukey4, tmp, tmp);
 758     serpent256_decrypt_xts (ukey1, ukey3, tmp, tmp);
 759
 760     if (((tmp[0] == signature) && (tmp[3] == 0)) || ((tmp[0] == signature) && ((tmp[1] >> 16) <= 5)))
 761     {
 762       mark_hash (plains_buf, d_return_buf, salt_pos, 0, 0, gid, 0);
 763     }
 764   }
 765 }