OpenCL/m03100_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  65     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  66     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  67     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  68     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  69     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  70     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  71     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  72     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  73     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  74     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  75     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  76     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  77     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  78     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  79     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  80   },
  81   {
  82     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  83     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  84     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  85     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  86     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  87     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  88     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  89     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  90     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  91     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  92     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  93     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  94     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  95     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  96     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  97     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  98   },
  99   {
 100     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 101     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 102     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 103     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 104     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 105     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 106     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 107     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 108     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 109     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 110     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 111     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 112     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 113     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 114     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 115     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 116   },
 117   {
 118     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 119     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 120     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 121     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 122     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 123     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 124     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 125     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 126     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 127     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 128     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 129     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 130     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 131     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 132     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 133     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 134   },
 135   {
 136     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 137     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 138     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 139     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 140     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 141     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 142     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 143     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 144     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 145     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 146     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 147     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 148     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 149     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 150     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 151     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 152   },
 153   {
 154     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 155     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 156     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 157     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 158     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 159     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 160     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 161     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 162     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 163     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 164     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 165     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 166     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 167     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 168     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 169     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 170   },
 171   {
 172     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 173     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 174     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 175     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 176     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 177     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 178     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 179     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 180     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 181     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 182     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 183     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 184     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 185     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 186     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 187     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 188   },
 189   {
 190     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 191     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 192     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 193     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 194     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 195     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 196     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 197     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 198     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 199     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 200     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 201     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 202     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 203     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 204     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 205     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 206   }
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   }
 355 };
 356
 357 #define BOX(i,n,S) (S)[(n)][(i)]
 358
 359 static void _des_crypt_encrypt (u32 iv[2], u32 data[2], u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 360 {
 361   u32 tt;
 362
 363   u32 r = data[0];
 364   u32 l = data[1];
 365
 366   IP (r, l, tt);
 367
 368   r = rotl32 (r, 3u);
 369   l = rotl32 (l, 3u);
 370
 371   #pragma unroll 16
 372   for (u32 i = 0; i < 16; i += 2)
 373   {
 374     u32 u;
 375     u32 t;
 376
 377     u = Kc[i + 0] ^ r;
 378     t = Kd[i + 0] ^ rotl32 (r, 28u);
 379
 380     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 381        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 382        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 383        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 384        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 385        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 386        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 387        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 388
 389     u = Kc[i + 1] ^ l;
 390     t = Kd[i + 1] ^ rotl32 (l, 28u);
 391
 392     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 393        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 394        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 395        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 396        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 397        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 398        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 399        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 400   }
 401
 402   l = rotl32 (l, 29u);
 403   r = rotl32 (r, 29u);
 404
 405   FP (r, l, tt);
 406
 407   iv[0] = l;
 408   iv[1] = r;
 409 }
 410
 411 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 412 {
 413   u32 tt;
 414
 415   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 416   HPERM_OP (c,    tt, 2, 0xcccc0000);
 417   HPERM_OP (d,    tt, 2, 0xcccc0000);
 418   PERM_OP  (d, c, tt, 1, 0x55555555);
 419   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 420   PERM_OP  (d, c, tt, 1, 0x55555555);
 421
 422   d = ((d & 0x000000ff) << 16)
 423     | ((d & 0x0000ff00) <<  0)
 424     | ((d & 0x00ff0000) >> 16)
 425     | ((c & 0xf0000000) >>  4);
 426
 427   c = c & 0x0fffffff;
 428
 429   #pragma unroll 16
 430   for (u32 i = 0; i < 16; i++)
 431   {
 432     if ((i < 2) || (i == 8) || (i == 15))
 433     {
 434       c = ((c >> 1) | (c << 27));
 435       d = ((d >> 1) | (d << 27));
 436     }
 437     else
 438     {
 439       c = ((c >> 2) | (c << 26));
 440       d = ((d >> 2) | (d << 26));
 441     }
 442
 443     c = c & 0x0fffffff;
 444     d = d & 0x0fffffff;
 445
 446     const u32 c00 = (c >>  0) & 0x0000003f;
 447     const u32 c06 = (c >>  6) & 0x00383003;
 448     const u32 c07 = (c >>  7) & 0x0000003c;
 449     const u32 c13 = (c >> 13) & 0x0000060f;
 450     const u32 c20 = (c >> 20) & 0x00000001;
 451
 452     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 453           | BOX (((c06 >>  0) & 0xff)
 454                 |((c07 >>  0) & 0xff), 1, s_skb)
 455           | BOX (((c13 >>  0) & 0xff)
 456                 |((c06 >>  8) & 0xff), 2, s_skb)
 457           | BOX (((c20 >>  0) & 0xff)
 458                 |((c13 >>  8) & 0xff)
 459                 |((c06 >> 16) & 0xff), 3, s_skb);
 460
 461     const u32 d00 = (d >>  0) & 0x00003c3f;
 462     const u32 d07 = (d >>  7) & 0x00003f03;
 463     const u32 d21 = (d >> 21) & 0x0000000f;
 464     const u32 d22 = (d >> 22) & 0x00000030;
 465
 466     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 467           | BOX (((d07 >>  0) & 0xff)
 468                 |((d00 >>  8) & 0xff), 5, s_skb)
 469           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 470           | BOX (((d21 >>  0) & 0xff)
 471                 |((d22 >>  0) & 0xff), 7, s_skb);
 472
 473     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 474     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 475
 476     Kc[i] = rotl32 (Kc[i], 2u);
 477     Kd[i] = rotl32 (Kd[i], 2u);
 478   }
 479 }
 480
 481 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 482 {
 483   /**
 484    * modifier
 485    */
 486
 487   const u32 gid = get_global_id (0);
 488   const u32 lid = get_local_id (0);
 489   const u32 lsz = get_local_size (0);
 490
 491   /**
 492    * sbox, kbox
 493    */
 494
 495   __local u32 s_SPtrans[8][64];
 496   __local u32 s_skb[8][64];
 497
 498   for (u32 i = lid; i < 64; i += lsz)
 499   {
 500     s_SPtrans[0][i] = c_SPtrans[0][i];
 501     s_SPtrans[1][i] = c_SPtrans[1][i];
 502     s_SPtrans[2][i] = c_SPtrans[2][i];
 503     s_SPtrans[3][i] = c_SPtrans[3][i];
 504     s_SPtrans[4][i] = c_SPtrans[4][i];
 505     s_SPtrans[5][i] = c_SPtrans[5][i];
 506     s_SPtrans[6][i] = c_SPtrans[6][i];
 507     s_SPtrans[7][i] = c_SPtrans[7][i];
 508
 509     s_skb[0][i] = c_skb[0][i];
 510     s_skb[1][i] = c_skb[1][i];
 511     s_skb[2][i] = c_skb[2][i];
 512     s_skb[3][i] = c_skb[3][i];
 513     s_skb[4][i] = c_skb[4][i];
 514     s_skb[5][i] = c_skb[5][i];
 515     s_skb[6][i] = c_skb[6][i];
 516     s_skb[7][i] = c_skb[7][i];
 517   }
 518
 519   barrier (CLK_LOCAL_MEM_FENCE);
 520
 521   if (gid >= gid_max) return;
 522
 523   /**
 524    * base
 525    */
 526
 527   u32 wordl0[4];
 528
 529   wordl0[0] = pws[gid].i[ 0];
 530   wordl0[1] = pws[gid].i[ 1];
 531   wordl0[2] = pws[gid].i[ 2];
 532   wordl0[3] = pws[gid].i[ 3];
 533
 534   u32 wordl1[4];
 535
 536   wordl1[0] = pws[gid].i[ 4];
 537   wordl1[1] = pws[gid].i[ 5];
 538   wordl1[2] = pws[gid].i[ 6];
 539   wordl1[3] = pws[gid].i[ 7];
 540
 541   u32 wordl2[4];
 542
 543   wordl2[0] = 0;
 544   wordl2[1] = 0;
 545   wordl2[2] = 0;
 546   wordl2[3] = 0;
 547
 548   u32 wordl3[4];
 549
 550   wordl3[0] = 0;
 551   wordl3[1] = 0;
 552   wordl3[2] = 0;
 553   wordl3[3] = 0;
 554
 555   const u32 pw_l_len = pws[gid].pw_len;
 556
 557   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 558   {
 559     switch_buffer_by_offset_le (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 560   }
 561
 562   /**
 563    * salt
 564    */
 565
 566   u32 salt_buf0[4];
 567
 568   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 569   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 570   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 571   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 572
 573   u32 salt_buf1[4];
 574
 575   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 576   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 577   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 578   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 579
 580   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 581
 582   /**
 583    * loop
 584    */
 585
 586   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 587   {
 588     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 589
 590     const u32 pw_len = pw_l_len + pw_r_len;
 591
 592     const u32 salt_word_len = (salt_len + pw_len) * 2;
 593
 594     u32 wordr0[4];
 595
 596     wordr0[0] = combs_buf[il_pos].i[0];
 597     wordr0[1] = combs_buf[il_pos].i[1];
 598     wordr0[2] = combs_buf[il_pos].i[2];
 599     wordr0[3] = combs_buf[il_pos].i[3];
 600
 601     u32 wordr1[4];
 602
 603     wordr1[0] = combs_buf[il_pos].i[4];
 604     wordr1[1] = combs_buf[il_pos].i[5];
 605     wordr1[2] = combs_buf[il_pos].i[6];
 606     wordr1[3] = combs_buf[il_pos].i[7];
 607
 608     u32 wordr2[4];
 609
 610     wordr2[0] = 0;
 611     wordr2[1] = 0;
 612     wordr2[2] = 0;
 613     wordr2[3] = 0;
 614
 615     u32 wordr3[4];
 616
 617     wordr3[0] = 0;
 618     wordr3[1] = 0;
 619     wordr3[2] = 0;
 620     wordr3[3] = 0;
 621
 622     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 623     {
 624       switch_buffer_by_offset_le (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 625     }
 626
 627     u32 w0[4];
 628
 629     w0[0] = wordl0[0] | wordr0[0];
 630     w0[1] = wordl0[1] | wordr0[1];
 631     w0[2] = wordl0[2] | wordr0[2];
 632     w0[3] = wordl0[3] | wordr0[3];
 633
 634     u32 w1[4];
 635
 636     w1[0] = wordl1[0] | wordr1[0];
 637     w1[1] = wordl1[1] | wordr1[1];
 638     w1[2] = wordl1[2] | wordr1[2];
 639     w1[3] = wordl1[3] | wordr1[3];
 640
 641     u32 w2[4];
 642
 643     w2[0] = wordl2[0] | wordr2[0];
 644     w2[1] = wordl2[1] | wordr2[1];
 645     w2[2] = wordl2[2] | wordr2[2];
 646     w2[3] = wordl2[3] | wordr2[3];
 647
 648     u32 w3[4];
 649
 650     w3[0] = wordl3[0] | wordr3[0];
 651     w3[1] = wordl3[1] | wordr3[1];
 652     w3[2] = wordl3[2] | wordr3[2];
 653     w3[3] = wordl3[3] | wordr3[3];
 654
 655     /**
 656      * prepend salt
 657      */
 658
 659     u32 w0_t[4];
 660     u32 w1_t[4];
 661     u32 w2_t[4];
 662     u32 w3_t[4];
 663
 664     w0_t[0] = w0[0];
 665     w0_t[1] = w0[1];
 666     w0_t[2] = w0[2];
 667     w0_t[3] = w0[3];
 668     w1_t[0] = w1[0];
 669     w1_t[1] = w1[1];
 670     w1_t[2] = w1[2];
 671     w1_t[3] = w1[3];
 672     w2_t[0] = w2[0];
 673     w2_t[1] = w2[1];
 674     w2_t[2] = w2[2];
 675     w2_t[3] = w2[3];
 676     w3_t[0] = w3[0];
 677     w3_t[1] = w3[1];
 678     w3_t[2] = w3[2];
 679     w3_t[3] = w3[3];
 680
 681     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
 682
 683     w0_t[0] |= salt_buf0[0];
 684     w0_t[1] |= salt_buf0[1];
 685     w0_t[2] |= salt_buf0[2];
 686     w0_t[3] |= salt_buf0[3];
 687     w1_t[0] |= salt_buf1[0];
 688     w1_t[1] |= salt_buf1[1];
 689     w1_t[2] |= salt_buf1[2];
 690     w1_t[3] |= salt_buf1[3];
 691
 692     u32 dst[16];
 693
 694     dst[ 0] = w0_t[0];
 695     dst[ 1] = w0_t[1];
 696     dst[ 2] = w0_t[2];
 697     dst[ 3] = w0_t[3];
 698     dst[ 4] = w1_t[0];
 699     dst[ 5] = w1_t[1];
 700     dst[ 6] = w1_t[2];
 701     dst[ 7] = w1_t[3];
 702     dst[ 8] = w2_t[0];
 703     dst[ 9] = w2_t[1];
 704     dst[10] = w2_t[2];
 705     dst[11] = w2_t[3];
 706     dst[12] = 0;
 707     dst[13] = 0;
 708     dst[14] = 0;
 709     dst[15] = 0;
 710
 711     /**
 712      * precompute key1 since key is static: 0x0123456789abcdef
 713      * plus LEFT_ROTATE by 2
 714      */
 715
 716     u32 Kc[16];
 717
 718     Kc[ 0] = 0x64649040;
 719     Kc[ 1] = 0x14909858;
 720     Kc[ 2] = 0xc4b44888;
 721     Kc[ 3] = 0x9094e438;
 722     Kc[ 4] = 0xd8a004f0;
 723     Kc[ 5] = 0xa8f02810;
 724     Kc[ 6] = 0xc84048d8;
 725     Kc[ 7] = 0x68d804a8;
 726     Kc[ 8] = 0x0490e40c;
 727     Kc[ 9] = 0xac183024;
 728     Kc[10] = 0x24c07c10;
 729     Kc[11] = 0x8c88c038;
 730     Kc[12] = 0xc048c824;
 731     Kc[13] = 0x4c0470a8;
 732     Kc[14] = 0x584020b4;
 733     Kc[15] = 0x00742c4c;
 734
 735     u32 Kd[16];
 736
 737     Kd[ 0] = 0xa42ce40c;
 738     Kd[ 1] = 0x64689858;
 739     Kd[ 2] = 0x484050b8;
 740     Kd[ 3] = 0xe8184814;
 741     Kd[ 4] = 0x405cc070;
 742     Kd[ 5] = 0xa010784c;
 743     Kd[ 6] = 0x6074a800;
 744     Kd[ 7] = 0x80701c1c;
 745     Kd[ 8] = 0x9cd49430;
 746     Kd[ 9] = 0x4c8ce078;
 747     Kd[10] = 0x5c18c088;
 748     Kd[11] = 0x28a8a4c8;
 749     Kd[12] = 0x3c180838;
 750     Kd[13] = 0xb0b86c20;
 751     Kd[14] = 0xac84a094;
 752     Kd[15] = 0x4ce0c0c4;
 753
 754     /**
 755      * key1 (generate key)
 756      */
 757
 758     u32 iv[2];
 759
 760     iv[0] = 0;
 761     iv[1] = 0;
 762
 763     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 764     {
 765       u32 data[2];
 766
 767       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 768       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 769
 770       data[0] ^= iv[0];
 771       data[1] ^= iv[1];
 772
 773       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 774     }
 775
 776     /**
 777      * key2 (generate hash)
 778      */
 779
 780     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 781
 782     iv[0] = 0;
 783     iv[1] = 0;
 784
 785     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 786     {
 787       u32 data[2];
 788
 789       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 790       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 791
 792       data[0] ^= iv[0];
 793       data[1] ^= iv[1];
 794
 795       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 796     }
 797
 798     /**
 799      * cmp
 800      */
 801
 802     const u32 r0 = iv[0];
 803     const u32 r1 = iv[1];
 804     const u32 r2 = 0;
 805     const u32 r3 = 0;
 806
 807     #include COMPARE_M
 808   }
 809 }
 810
 811 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 812 {
 813 }
 814
 815 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 816 {
 817 }
 818
 819 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 820 {
 821   /**
 822    * modifier
 823    */
 824
 825   const u32 gid = get_global_id (0);
 826   const u32 lid = get_local_id (0);
 827   const u32 lsz = get_local_size (0);
 828
 829   /**
 830    * sbox, kbox
 831    */
 832
 833   __local u32 s_SPtrans[8][64];
 834   __local u32 s_skb[8][64];
 835
 836   for (u32 i = lid; i < 64; i += lsz)
 837   {
 838     s_SPtrans[0][i] = c_SPtrans[0][i];
 839     s_SPtrans[1][i] = c_SPtrans[1][i];
 840     s_SPtrans[2][i] = c_SPtrans[2][i];
 841     s_SPtrans[3][i] = c_SPtrans[3][i];
 842     s_SPtrans[4][i] = c_SPtrans[4][i];
 843     s_SPtrans[5][i] = c_SPtrans[5][i];
 844     s_SPtrans[6][i] = c_SPtrans[6][i];
 845     s_SPtrans[7][i] = c_SPtrans[7][i];
 846
 847     s_skb[0][i] = c_skb[0][i];
 848     s_skb[1][i] = c_skb[1][i];
 849     s_skb[2][i] = c_skb[2][i];
 850     s_skb[3][i] = c_skb[3][i];
 851     s_skb[4][i] = c_skb[4][i];
 852     s_skb[5][i] = c_skb[5][i];
 853     s_skb[6][i] = c_skb[6][i];
 854     s_skb[7][i] = c_skb[7][i];
 855   }
 856
 857   barrier (CLK_LOCAL_MEM_FENCE);
 858
 859   if (gid >= gid_max) return;
 860
 861   /**
 862    * base
 863    */
 864
 865   u32 wordl0[4];
 866
 867   wordl0[0] = pws[gid].i[ 0];
 868   wordl0[1] = pws[gid].i[ 1];
 869   wordl0[2] = pws[gid].i[ 2];
 870   wordl0[3] = pws[gid].i[ 3];
 871
 872   u32 wordl1[4];
 873
 874   wordl1[0] = pws[gid].i[ 4];
 875   wordl1[1] = pws[gid].i[ 5];
 876   wordl1[2] = pws[gid].i[ 6];
 877   wordl1[3] = pws[gid].i[ 7];
 878
 879   u32 wordl2[4];
 880
 881   wordl2[0] = 0;
 882   wordl2[1] = 0;
 883   wordl2[2] = 0;
 884   wordl2[3] = 0;
 885
 886   u32 wordl3[4];
 887
 888   wordl3[0] = 0;
 889   wordl3[1] = 0;
 890   wordl3[2] = 0;
 891   wordl3[3] = 0;
 892
 893   const u32 pw_l_len = pws[gid].pw_len;
 894
 895   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 896   {
 897     switch_buffer_by_offset_le (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 898   }
 899
 900   /**
 901    * salt
 902    */
 903
 904   u32 salt_buf0[4];
 905
 906   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 907   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 908   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 909   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 910
 911   u32 salt_buf1[4];
 912
 913   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 914   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 915   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 916   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 917
 918   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 919
 920   /**
 921    * digest
 922    */
 923
 924   const u32 search[4] =
 925   {
 926     digests_buf[digests_offset].digest_buf[DGST_R0],
 927     digests_buf[digests_offset].digest_buf[DGST_R1],
 928     digests_buf[digests_offset].digest_buf[DGST_R2],
 929     digests_buf[digests_offset].digest_buf[DGST_R3]
 930   };
 931
 932   /**
 933    * loop
 934    */
 935
 936   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 937   {
 938     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 939
 940     const u32 pw_len = pw_l_len + pw_r_len;
 941
 942     const u32 salt_word_len = (salt_len + pw_len) * 2;
 943
 944     u32 wordr0[4];
 945
 946     wordr0[0] = combs_buf[il_pos].i[0];
 947     wordr0[1] = combs_buf[il_pos].i[1];
 948     wordr0[2] = combs_buf[il_pos].i[2];
 949     wordr0[3] = combs_buf[il_pos].i[3];
 950
 951     u32 wordr1[4];
 952
 953     wordr1[0] = combs_buf[il_pos].i[4];
 954     wordr1[1] = combs_buf[il_pos].i[5];
 955     wordr1[2] = combs_buf[il_pos].i[6];
 956     wordr1[3] = combs_buf[il_pos].i[7];
 957
 958     u32 wordr2[4];
 959
 960     wordr2[0] = 0;
 961     wordr2[1] = 0;
 962     wordr2[2] = 0;
 963     wordr2[3] = 0;
 964
 965     u32 wordr3[4];
 966
 967     wordr3[0] = 0;
 968     wordr3[1] = 0;
 969     wordr3[2] = 0;
 970     wordr3[3] = 0;
 971
 972     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 973     {
 974       switch_buffer_by_offset_le (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 975     }
 976
 977     u32 w0[4];
 978
 979     w0[0] = wordl0[0] | wordr0[0];
 980     w0[1] = wordl0[1] | wordr0[1];
 981     w0[2] = wordl0[2] | wordr0[2];
 982     w0[3] = wordl0[3] | wordr0[3];
 983
 984     u32 w1[4];
 985
 986     w1[0] = wordl1[0] | wordr1[0];
 987     w1[1] = wordl1[1] | wordr1[1];
 988     w1[2] = wordl1[2] | wordr1[2];
 989     w1[3] = wordl1[3] | wordr1[3];
 990
 991     u32 w2[4];
 992
 993     w2[0] = wordl2[0] | wordr2[0];
 994     w2[1] = wordl2[1] | wordr2[1];
 995     w2[2] = wordl2[2] | wordr2[2];
 996     w2[3] = wordl2[3] | wordr2[3];
 997
 998     u32 w3[4];
 999
1000     w3[0] = wordl3[0] | wordr3[0];
1001     w3[1] = wordl3[1] | wordr3[1];
1002     w3[2] = wordl3[2] | wordr3[2];
1003     w3[3] = wordl3[3] | wordr3[3];
1004
1005     /**
1006      * prepend salt
1007      */
1008
1009     u32 w0_t[4];
1010     u32 w1_t[4];
1011     u32 w2_t[4];
1012     u32 w3_t[4];
1013
1014     w0_t[0] = w0[0];
1015     w0_t[1] = w0[1];
1016     w0_t[2] = w0[2];
1017     w0_t[3] = w0[3];
1018     w1_t[0] = w1[0];
1019     w1_t[1] = w1[1];
1020     w1_t[2] = w1[2];
1021     w1_t[3] = w1[3];
1022     w2_t[0] = w2[0];
1023     w2_t[1] = w2[1];
1024     w2_t[2] = w2[2];
1025     w2_t[3] = w2[3];
1026     w3_t[0] = w3[0];
1027     w3_t[1] = w3[1];
1028     w3_t[2] = w3[2];
1029     w3_t[3] = w3[3];
1030
1031     switch_buffer_by_offset_le (w0_t, w1_t, w2_t, w3_t, salt_len);
1032
1033     w0_t[0] |= salt_buf0[0];
1034     w0_t[1] |= salt_buf0[1];
1035     w0_t[2] |= salt_buf0[2];
1036     w0_t[3] |= salt_buf0[3];
1037     w1_t[0] |= salt_buf1[0];
1038     w1_t[1] |= salt_buf1[1];
1039     w1_t[2] |= salt_buf1[2];
1040     w1_t[3] |= salt_buf1[3];
1041
1042     u32 dst[16];
1043
1044     dst[ 0] = w0_t[0];
1045     dst[ 1] = w0_t[1];
1046     dst[ 2] = w0_t[2];
1047     dst[ 3] = w0_t[3];
1048     dst[ 4] = w1_t[0];
1049     dst[ 5] = w1_t[1];
1050     dst[ 6] = w1_t[2];
1051     dst[ 7] = w1_t[3];
1052     dst[ 8] = w2_t[0];
1053     dst[ 9] = w2_t[1];
1054     dst[10] = w2_t[2];
1055     dst[11] = w2_t[3];
1056     dst[12] = 0;
1057     dst[13] = 0;
1058     dst[14] = 0;
1059     dst[15] = 0;
1060
1061     /**
1062      * precompute key1 since key is static: 0x0123456789abcdef
1063      * plus LEFT_ROTATE by 2
1064      */
1065
1066     u32 Kc[16];
1067
1068     Kc[ 0] = 0x64649040;
1069     Kc[ 1] = 0x14909858;
1070     Kc[ 2] = 0xc4b44888;
1071     Kc[ 3] = 0x9094e438;
1072     Kc[ 4] = 0xd8a004f0;
1073     Kc[ 5] = 0xa8f02810;
1074     Kc[ 6] = 0xc84048d8;
1075     Kc[ 7] = 0x68d804a8;
1076     Kc[ 8] = 0x0490e40c;
1077     Kc[ 9] = 0xac183024;
1078     Kc[10] = 0x24c07c10;
1079     Kc[11] = 0x8c88c038;
1080     Kc[12] = 0xc048c824;
1081     Kc[13] = 0x4c0470a8;
1082     Kc[14] = 0x584020b4;
1083     Kc[15] = 0x00742c4c;
1084
1085     u32 Kd[16];
1086
1087     Kd[ 0] = 0xa42ce40c;
1088     Kd[ 1] = 0x64689858;
1089     Kd[ 2] = 0x484050b8;
1090     Kd[ 3] = 0xe8184814;
1091     Kd[ 4] = 0x405cc070;
1092     Kd[ 5] = 0xa010784c;
1093     Kd[ 6] = 0x6074a800;
1094     Kd[ 7] = 0x80701c1c;
1095     Kd[ 8] = 0x9cd49430;
1096     Kd[ 9] = 0x4c8ce078;
1097     Kd[10] = 0x5c18c088;
1098     Kd[11] = 0x28a8a4c8;
1099     Kd[12] = 0x3c180838;
1100     Kd[13] = 0xb0b86c20;
1101     Kd[14] = 0xac84a094;
1102     Kd[15] = 0x4ce0c0c4;
1103
1104     /**
1105      * key1 (generate key)
1106      */
1107
1108     u32 iv[2];
1109
1110     iv[0] = 0;
1111     iv[1] = 0;
1112
1113     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1114     {
1115       u32 data[2];
1116
1117       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1118       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1119
1120       data[0] ^= iv[0];
1121       data[1] ^= iv[1];
1122
1123       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1124     }
1125
1126     /**
1127      * key2 (generate hash)
1128      */
1129
1130     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1131
1132     iv[0] = 0;
1133     iv[1] = 0;
1134
1135     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1136     {
1137       u32 data[2];
1138
1139       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1140       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1141
1142       data[0] ^= iv[0];
1143       data[1] ^= iv[1];
1144
1145       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1146     }
1147
1148     /**
1149      * cmp
1150      */
1151
1152     const u32 r0 = iv[0];
1153     const u32 r1 = iv[1];
1154     const u32 r2 = 0;
1155     const u32 r3 = 0;
1156
1157     #include COMPARE_S
1158   }
1159 }
1160
1161 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1162 {
1163 }
1164
1165 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1166 {
1167 }