OpenCL/m03100_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  65     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  66     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  67     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  68     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  69     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  70     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  71     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  72     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  73     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  74     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  75     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  76     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  77     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  78     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  79     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  80   },
  81   {
  82     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  83     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  84     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  85     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  86     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  87     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  88     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  89     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  90     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  91     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  92     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  93     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  94     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  95     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  96     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  97     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  98   },
  99   {
 100     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 101     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 102     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 103     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 104     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 105     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 106     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 107     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 108     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 109     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 110     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 111     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 112     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 113     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 114     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 115     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 116   },
 117   {
 118     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 119     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 120     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 121     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 122     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 123     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 124     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 125     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 126     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 127     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 128     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 129     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 130     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 131     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 132     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 133     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 134   },
 135   {
 136     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 137     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 138     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 139     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 140     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 141     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 142     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 143     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 144     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 145     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 146     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 147     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 148     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 149     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 150     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 151     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 152   },
 153   {
 154     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 155     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 156     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 157     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 158     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 159     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 160     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 161     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 162     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 163     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 164     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 165     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 166     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 167     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 168     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 169     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 170   },
 171   {
 172     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 173     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 174     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 175     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 176     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 177     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 178     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 179     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 180     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 181     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 182     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 183     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 184     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 185     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 186     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 187     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 188   },
 189   {
 190     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 191     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 192     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 193     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 194     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 195     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 196     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 197     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 198     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 199     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 200     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 201     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 202     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 203     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 204     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 205     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 206   }
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   }
 355 };
 356
 357 #define BOX(i,n,S) (S)[(n)][(i)]
 358
 359 static void _des_crypt_encrypt (u32 iv[2], u32 data[2], u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 360 {
 361   u32 tt;
 362
 363   u32 r = data[0];
 364   u32 l = data[1];
 365
 366   IP (r, l, tt);
 367
 368   r = rotl32 (r, 3u);
 369   l = rotl32 (l, 3u);
 370
 371   #pragma unroll 16
 372   for (u32 i = 0; i < 16; i += 2)
 373   {
 374     u32 u;
 375     u32 t;
 376
 377     u = Kc[i + 0] ^ r;
 378     t = Kd[i + 0] ^ rotl32 (r, 28u);
 379
 380     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 381        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 382        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 383        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 384        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 385        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 386        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 387        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 388
 389     u = Kc[i + 1] ^ l;
 390     t = Kd[i + 1] ^ rotl32 (l, 28u);
 391
 392     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 393        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 394        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 395        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 396        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 397        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 398        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 399        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 400   }
 401
 402   l = rotl32 (l, 29u);
 403   r = rotl32 (r, 29u);
 404
 405   FP (r, l, tt);
 406
 407   iv[0] = l;
 408   iv[1] = r;
 409 }
 410
 411 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 412 {
 413   u32 tt;
 414
 415   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 416   HPERM_OP (c,    tt, 2, 0xcccc0000);
 417   HPERM_OP (d,    tt, 2, 0xcccc0000);
 418   PERM_OP  (d, c, tt, 1, 0x55555555);
 419   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 420   PERM_OP  (d, c, tt, 1, 0x55555555);
 421
 422   d = ((d & 0x000000ff) << 16)
 423     | ((d & 0x0000ff00) <<  0)
 424     | ((d & 0x00ff0000) >> 16)
 425     | ((c & 0xf0000000) >>  4);
 426
 427   c = c & 0x0fffffff;
 428
 429   #pragma unroll 16
 430   for (u32 i = 0; i < 16; i++)
 431   {
 432     if ((i < 2) || (i == 8) || (i == 15))
 433     {
 434       c = ((c >> 1) | (c << 27));
 435       d = ((d >> 1) | (d << 27));
 436     }
 437     else
 438     {
 439       c = ((c >> 2) | (c << 26));
 440       d = ((d >> 2) | (d << 26));
 441     }
 442
 443     c = c & 0x0fffffff;
 444     d = d & 0x0fffffff;
 445
 446     const u32 c00 = (c >>  0) & 0x0000003f;
 447     const u32 c06 = (c >>  6) & 0x00383003;
 448     const u32 c07 = (c >>  7) & 0x0000003c;
 449     const u32 c13 = (c >> 13) & 0x0000060f;
 450     const u32 c20 = (c >> 20) & 0x00000001;
 451
 452     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 453           | BOX (((c06 >>  0) & 0xff)
 454                 |((c07 >>  0) & 0xff), 1, s_skb)
 455           | BOX (((c13 >>  0) & 0xff)
 456                 |((c06 >>  8) & 0xff), 2, s_skb)
 457           | BOX (((c20 >>  0) & 0xff)
 458                 |((c13 >>  8) & 0xff)
 459                 |((c06 >> 16) & 0xff), 3, s_skb);
 460
 461     const u32 d00 = (d >>  0) & 0x00003c3f;
 462     const u32 d07 = (d >>  7) & 0x00003f03;
 463     const u32 d21 = (d >> 21) & 0x0000000f;
 464     const u32 d22 = (d >> 22) & 0x00000030;
 465
 466     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 467           | BOX (((d07 >>  0) & 0xff)
 468                 |((d00 >>  8) & 0xff), 5, s_skb)
 469           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 470           | BOX (((d21 >>  0) & 0xff)
 471                 |((d22 >>  0) & 0xff), 7, s_skb);
 472
 473     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 474     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 475
 476     Kc[i] = rotl32 (Kc[i], 2u);
 477     Kd[i] = rotl32 (Kd[i], 2u);
 478   }
 479 }
 480
 481 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 482 {
 483   /**
 484    * modifier
 485    */
 486
 487   const u32 lid = get_local_id (0);
 488
 489   /**
 490    * base
 491    */
 492
 493   const u32 gid = get_global_id (0);
 494
 495   u32 wordl0[4];
 496
 497   wordl0[0] = pws[gid].i[ 0];
 498   wordl0[1] = pws[gid].i[ 1];
 499   wordl0[2] = pws[gid].i[ 2];
 500   wordl0[3] = pws[gid].i[ 3];
 501
 502   u32 wordl1[4];
 503
 504   wordl1[0] = pws[gid].i[ 4];
 505   wordl1[1] = pws[gid].i[ 5];
 506   wordl1[2] = pws[gid].i[ 6];
 507   wordl1[3] = pws[gid].i[ 7];
 508
 509   u32 wordl2[4];
 510
 511   wordl2[0] = 0;
 512   wordl2[1] = 0;
 513   wordl2[2] = 0;
 514   wordl2[3] = 0;
 515
 516   u32 wordl3[4];
 517
 518   wordl3[0] = 0;
 519   wordl3[1] = 0;
 520   wordl3[2] = 0;
 521   wordl3[3] = 0;
 522
 523   const u32 pw_l_len = pws[gid].pw_len;
 524
 525   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 526   {
 527     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 528   }
 529
 530   /**
 531    * sbox, kbox
 532    */
 533
 534   __local u32 s_SPtrans[8][64];
 535
 536   __local u32 s_skb[8][64];
 537
 538   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 539   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 540   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 541   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 542   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 543   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 544   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 545   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 546
 547   s_skb[0][lid] = c_skb[0][lid];
 548   s_skb[1][lid] = c_skb[1][lid];
 549   s_skb[2][lid] = c_skb[2][lid];
 550   s_skb[3][lid] = c_skb[3][lid];
 551   s_skb[4][lid] = c_skb[4][lid];
 552   s_skb[5][lid] = c_skb[5][lid];
 553   s_skb[6][lid] = c_skb[6][lid];
 554   s_skb[7][lid] = c_skb[7][lid];
 555
 556   barrier (CLK_LOCAL_MEM_FENCE);
 557
 558   if (gid >= gid_max) return;
 559
 560   /**
 561    * salt
 562    */
 563
 564   u32 salt_buf0[4];
 565
 566   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 567   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 568   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 569   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 570
 571   u32 salt_buf1[4];
 572
 573   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 574   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 575   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 576   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 577
 578   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 579
 580   /**
 581    * loop
 582    */
 583
 584   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 585   {
 586     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 587
 588     const u32 pw_len = pw_l_len + pw_r_len;
 589
 590     const u32 salt_word_len = (salt_len + pw_len) * 2;
 591
 592     u32 wordr0[4];
 593
 594     wordr0[0] = combs_buf[il_pos].i[0];
 595     wordr0[1] = combs_buf[il_pos].i[1];
 596     wordr0[2] = combs_buf[il_pos].i[2];
 597     wordr0[3] = combs_buf[il_pos].i[3];
 598
 599     u32 wordr1[4];
 600
 601     wordr1[0] = combs_buf[il_pos].i[4];
 602     wordr1[1] = combs_buf[il_pos].i[5];
 603     wordr1[2] = combs_buf[il_pos].i[6];
 604     wordr1[3] = combs_buf[il_pos].i[7];
 605
 606     u32 wordr2[4];
 607
 608     wordr2[0] = 0;
 609     wordr2[1] = 0;
 610     wordr2[2] = 0;
 611     wordr2[3] = 0;
 612
 613     u32 wordr3[4];
 614
 615     wordr3[0] = 0;
 616     wordr3[1] = 0;
 617     wordr3[2] = 0;
 618     wordr3[3] = 0;
 619
 620     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 621     {
 622       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 623     }
 624
 625     u32 w0[4];
 626
 627     w0[0] = wordl0[0] | wordr0[0];
 628     w0[1] = wordl0[1] | wordr0[1];
 629     w0[2] = wordl0[2] | wordr0[2];
 630     w0[3] = wordl0[3] | wordr0[3];
 631
 632     u32 w1[4];
 633
 634     w1[0] = wordl1[0] | wordr1[0];
 635     w1[1] = wordl1[1] | wordr1[1];
 636     w1[2] = wordl1[2] | wordr1[2];
 637     w1[3] = wordl1[3] | wordr1[3];
 638
 639     u32 w2[4];
 640
 641     w2[0] = wordl2[0] | wordr2[0];
 642     w2[1] = wordl2[1] | wordr2[1];
 643     w2[2] = wordl2[2] | wordr2[2];
 644     w2[3] = wordl2[3] | wordr2[3];
 645
 646     u32 w3[4];
 647
 648     w3[0] = wordl3[0] | wordr3[0];
 649     w3[1] = wordl3[1] | wordr3[1];
 650     w3[2] = wordl3[2] | wordr3[2];
 651     w3[3] = wordl3[3] | wordr3[3];
 652
 653     /**
 654      * prepend salt
 655      */
 656
 657     u32 w0_t[4];
 658     u32 w1_t[4];
 659     u32 w2_t[4];
 660     u32 w3_t[4];
 661
 662     w0_t[0] = w0[0];
 663     w0_t[1] = w0[1];
 664     w0_t[2] = w0[2];
 665     w0_t[3] = w0[3];
 666     w1_t[0] = w1[0];
 667     w1_t[1] = w1[1];
 668     w1_t[2] = w1[2];
 669     w1_t[3] = w1[3];
 670     w2_t[0] = w2[0];
 671     w2_t[1] = w2[1];
 672     w2_t[2] = w2[2];
 673     w2_t[3] = w2[3];
 674     w3_t[0] = w3[0];
 675     w3_t[1] = w3[1];
 676     w3_t[2] = w3[2];
 677     w3_t[3] = w3[3];
 678
 679     switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
 680
 681     w0_t[0] |= salt_buf0[0];
 682     w0_t[1] |= salt_buf0[1];
 683     w0_t[2] |= salt_buf0[2];
 684     w0_t[3] |= salt_buf0[3];
 685     w1_t[0] |= salt_buf1[0];
 686     w1_t[1] |= salt_buf1[1];
 687     w1_t[2] |= salt_buf1[2];
 688     w1_t[3] |= salt_buf1[3];
 689
 690     u32 dst[16];
 691
 692     dst[ 0] = w0_t[0];
 693     dst[ 1] = w0_t[1];
 694     dst[ 2] = w0_t[2];
 695     dst[ 3] = w0_t[3];
 696     dst[ 4] = w1_t[0];
 697     dst[ 5] = w1_t[1];
 698     dst[ 6] = w1_t[2];
 699     dst[ 7] = w1_t[3];
 700     dst[ 8] = w2_t[0];
 701     dst[ 9] = w2_t[1];
 702     dst[10] = w2_t[2];
 703     dst[11] = w2_t[3];
 704     dst[12] = 0;
 705     dst[13] = 0;
 706     dst[14] = 0;
 707     dst[15] = 0;
 708
 709     /**
 710      * precompute key1 since key is static: 0x0123456789abcdef
 711      * plus LEFT_ROTATE by 2
 712      */
 713
 714     u32 Kc[16];
 715
 716     Kc[ 0] = 0x64649040;
 717     Kc[ 1] = 0x14909858;
 718     Kc[ 2] = 0xc4b44888;
 719     Kc[ 3] = 0x9094e438;
 720     Kc[ 4] = 0xd8a004f0;
 721     Kc[ 5] = 0xa8f02810;
 722     Kc[ 6] = 0xc84048d8;
 723     Kc[ 7] = 0x68d804a8;
 724     Kc[ 8] = 0x0490e40c;
 725     Kc[ 9] = 0xac183024;
 726     Kc[10] = 0x24c07c10;
 727     Kc[11] = 0x8c88c038;
 728     Kc[12] = 0xc048c824;
 729     Kc[13] = 0x4c0470a8;
 730     Kc[14] = 0x584020b4;
 731     Kc[15] = 0x00742c4c;
 732
 733     u32 Kd[16];
 734
 735     Kd[ 0] = 0xa42ce40c;
 736     Kd[ 1] = 0x64689858;
 737     Kd[ 2] = 0x484050b8;
 738     Kd[ 3] = 0xe8184814;
 739     Kd[ 4] = 0x405cc070;
 740     Kd[ 5] = 0xa010784c;
 741     Kd[ 6] = 0x6074a800;
 742     Kd[ 7] = 0x80701c1c;
 743     Kd[ 8] = 0x9cd49430;
 744     Kd[ 9] = 0x4c8ce078;
 745     Kd[10] = 0x5c18c088;
 746     Kd[11] = 0x28a8a4c8;
 747     Kd[12] = 0x3c180838;
 748     Kd[13] = 0xb0b86c20;
 749     Kd[14] = 0xac84a094;
 750     Kd[15] = 0x4ce0c0c4;
 751
 752     /**
 753      * key1 (generate key)
 754      */
 755
 756     u32 iv[2];
 757
 758     iv[0] = 0;
 759     iv[1] = 0;
 760
 761     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 762     {
 763       u32 data[2];
 764
 765       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 766       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 767
 768       data[0] ^= iv[0];
 769       data[1] ^= iv[1];
 770
 771       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 772     }
 773
 774     /**
 775      * key2 (generate hash)
 776      */
 777
 778     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 779
 780     iv[0] = 0;
 781     iv[1] = 0;
 782
 783     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 784     {
 785       u32 data[2];
 786
 787       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 788       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 789
 790       data[0] ^= iv[0];
 791       data[1] ^= iv[1];
 792
 793       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 794     }
 795
 796     /**
 797      * cmp
 798      */
 799
 800     const u32 r0 = iv[0];
 801     const u32 r1 = iv[1];
 802     const u32 r2 = 0;
 803     const u32 r3 = 0;
 804
 805     #include COMPARE_M
 806   }
 807 }
 808
 809 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 810 {
 811 }
 812
 813 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 814 {
 815 }
 816
 817 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 818 {
 819   /**
 820    * modifier
 821    */
 822
 823   const u32 lid = get_local_id (0);
 824
 825   /**
 826    * base
 827    */
 828
 829   const u32 gid = get_global_id (0);
 830
 831   u32 wordl0[4];
 832
 833   wordl0[0] = pws[gid].i[ 0];
 834   wordl0[1] = pws[gid].i[ 1];
 835   wordl0[2] = pws[gid].i[ 2];
 836   wordl0[3] = pws[gid].i[ 3];
 837
 838   u32 wordl1[4];
 839
 840   wordl1[0] = pws[gid].i[ 4];
 841   wordl1[1] = pws[gid].i[ 5];
 842   wordl1[2] = pws[gid].i[ 6];
 843   wordl1[3] = pws[gid].i[ 7];
 844
 845   u32 wordl2[4];
 846
 847   wordl2[0] = 0;
 848   wordl2[1] = 0;
 849   wordl2[2] = 0;
 850   wordl2[3] = 0;
 851
 852   u32 wordl3[4];
 853
 854   wordl3[0] = 0;
 855   wordl3[1] = 0;
 856   wordl3[2] = 0;
 857   wordl3[3] = 0;
 858
 859   const u32 pw_l_len = pws[gid].pw_len;
 860
 861   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 862   {
 863     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 864   }
 865
 866   /**
 867    * sbox, kbox
 868    */
 869
 870   __local u32 s_SPtrans[8][64];
 871
 872   __local u32 s_skb[8][64];
 873
 874   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 875   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 876   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 877   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 878   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 879   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 880   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 881   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 882
 883   s_skb[0][lid] = c_skb[0][lid];
 884   s_skb[1][lid] = c_skb[1][lid];
 885   s_skb[2][lid] = c_skb[2][lid];
 886   s_skb[3][lid] = c_skb[3][lid];
 887   s_skb[4][lid] = c_skb[4][lid];
 888   s_skb[5][lid] = c_skb[5][lid];
 889   s_skb[6][lid] = c_skb[6][lid];
 890   s_skb[7][lid] = c_skb[7][lid];
 891
 892   barrier (CLK_LOCAL_MEM_FENCE);
 893
 894   if (gid >= gid_max) return;
 895
 896   /**
 897    * salt
 898    */
 899
 900   u32 salt_buf0[4];
 901
 902   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 903   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 904   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 905   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 906
 907   u32 salt_buf1[4];
 908
 909   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 910   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 911   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 912   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 913
 914   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 915
 916   /**
 917    * digest
 918    */
 919
 920   const u32 search[4] =
 921   {
 922     digests_buf[digests_offset].digest_buf[DGST_R0],
 923     digests_buf[digests_offset].digest_buf[DGST_R1],
 924     digests_buf[digests_offset].digest_buf[DGST_R2],
 925     digests_buf[digests_offset].digest_buf[DGST_R3]
 926   };
 927
 928   /**
 929    * loop
 930    */
 931
 932   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 933   {
 934     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 935
 936     const u32 pw_len = pw_l_len + pw_r_len;
 937
 938     const u32 salt_word_len = (salt_len + pw_len) * 2;
 939
 940     u32 wordr0[4];
 941
 942     wordr0[0] = combs_buf[il_pos].i[0];
 943     wordr0[1] = combs_buf[il_pos].i[1];
 944     wordr0[2] = combs_buf[il_pos].i[2];
 945     wordr0[3] = combs_buf[il_pos].i[3];
 946
 947     u32 wordr1[4];
 948
 949     wordr1[0] = combs_buf[il_pos].i[4];
 950     wordr1[1] = combs_buf[il_pos].i[5];
 951     wordr1[2] = combs_buf[il_pos].i[6];
 952     wordr1[3] = combs_buf[il_pos].i[7];
 953
 954     u32 wordr2[4];
 955
 956     wordr2[0] = 0;
 957     wordr2[1] = 0;
 958     wordr2[2] = 0;
 959     wordr2[3] = 0;
 960
 961     u32 wordr3[4];
 962
 963     wordr3[0] = 0;
 964     wordr3[1] = 0;
 965     wordr3[2] = 0;
 966     wordr3[3] = 0;
 967
 968     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 969     {
 970       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 971     }
 972
 973     u32 w0[4];
 974
 975     w0[0] = wordl0[0] | wordr0[0];
 976     w0[1] = wordl0[1] | wordr0[1];
 977     w0[2] = wordl0[2] | wordr0[2];
 978     w0[3] = wordl0[3] | wordr0[3];
 979
 980     u32 w1[4];
 981
 982     w1[0] = wordl1[0] | wordr1[0];
 983     w1[1] = wordl1[1] | wordr1[1];
 984     w1[2] = wordl1[2] | wordr1[2];
 985     w1[3] = wordl1[3] | wordr1[3];
 986
 987     u32 w2[4];
 988
 989     w2[0] = wordl2[0] | wordr2[0];
 990     w2[1] = wordl2[1] | wordr2[1];
 991     w2[2] = wordl2[2] | wordr2[2];
 992     w2[3] = wordl2[3] | wordr2[3];
 993
 994     u32 w3[4];
 995
 996     w3[0] = wordl3[0] | wordr3[0];
 997     w3[1] = wordl3[1] | wordr3[1];
 998     w3[2] = wordl3[2] | wordr3[2];
 999     w3[3] = wordl3[3] | wordr3[3];
1000
1001     /**
1002      * prepend salt
1003      */
1004
1005     u32 w0_t[4];
1006     u32 w1_t[4];
1007     u32 w2_t[4];
1008     u32 w3_t[4];
1009
1010     w0_t[0] = w0[0];
1011     w0_t[1] = w0[1];
1012     w0_t[2] = w0[2];
1013     w0_t[3] = w0[3];
1014     w1_t[0] = w1[0];
1015     w1_t[1] = w1[1];
1016     w1_t[2] = w1[2];
1017     w1_t[3] = w1[3];
1018     w2_t[0] = w2[0];
1019     w2_t[1] = w2[1];
1020     w2_t[2] = w2[2];
1021     w2_t[3] = w2[3];
1022     w3_t[0] = w3[0];
1023     w3_t[1] = w3[1];
1024     w3_t[2] = w3[2];
1025     w3_t[3] = w3[3];
1026
1027     switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
1028
1029     w0_t[0] |= salt_buf0[0];
1030     w0_t[1] |= salt_buf0[1];
1031     w0_t[2] |= salt_buf0[2];
1032     w0_t[3] |= salt_buf0[3];
1033     w1_t[0] |= salt_buf1[0];
1034     w1_t[1] |= salt_buf1[1];
1035     w1_t[2] |= salt_buf1[2];
1036     w1_t[3] |= salt_buf1[3];
1037
1038     u32 dst[16];
1039
1040     dst[ 0] = w0_t[0];
1041     dst[ 1] = w0_t[1];
1042     dst[ 2] = w0_t[2];
1043     dst[ 3] = w0_t[3];
1044     dst[ 4] = w1_t[0];
1045     dst[ 5] = w1_t[1];
1046     dst[ 6] = w1_t[2];
1047     dst[ 7] = w1_t[3];
1048     dst[ 8] = w2_t[0];
1049     dst[ 9] = w2_t[1];
1050     dst[10] = w2_t[2];
1051     dst[11] = w2_t[3];
1052     dst[12] = 0;
1053     dst[13] = 0;
1054     dst[14] = 0;
1055     dst[15] = 0;
1056
1057     /**
1058      * precompute key1 since key is static: 0x0123456789abcdef
1059      * plus LEFT_ROTATE by 2
1060      */
1061
1062     u32 Kc[16];
1063
1064     Kc[ 0] = 0x64649040;
1065     Kc[ 1] = 0x14909858;
1066     Kc[ 2] = 0xc4b44888;
1067     Kc[ 3] = 0x9094e438;
1068     Kc[ 4] = 0xd8a004f0;
1069     Kc[ 5] = 0xa8f02810;
1070     Kc[ 6] = 0xc84048d8;
1071     Kc[ 7] = 0x68d804a8;
1072     Kc[ 8] = 0x0490e40c;
1073     Kc[ 9] = 0xac183024;
1074     Kc[10] = 0x24c07c10;
1075     Kc[11] = 0x8c88c038;
1076     Kc[12] = 0xc048c824;
1077     Kc[13] = 0x4c0470a8;
1078     Kc[14] = 0x584020b4;
1079     Kc[15] = 0x00742c4c;
1080
1081     u32 Kd[16];
1082
1083     Kd[ 0] = 0xa42ce40c;
1084     Kd[ 1] = 0x64689858;
1085     Kd[ 2] = 0x484050b8;
1086     Kd[ 3] = 0xe8184814;
1087     Kd[ 4] = 0x405cc070;
1088     Kd[ 5] = 0xa010784c;
1089     Kd[ 6] = 0x6074a800;
1090     Kd[ 7] = 0x80701c1c;
1091     Kd[ 8] = 0x9cd49430;
1092     Kd[ 9] = 0x4c8ce078;
1093     Kd[10] = 0x5c18c088;
1094     Kd[11] = 0x28a8a4c8;
1095     Kd[12] = 0x3c180838;
1096     Kd[13] = 0xb0b86c20;
1097     Kd[14] = 0xac84a094;
1098     Kd[15] = 0x4ce0c0c4;
1099
1100     /**
1101      * key1 (generate key)
1102      */
1103
1104     u32 iv[2];
1105
1106     iv[0] = 0;
1107     iv[1] = 0;
1108
1109     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1110     {
1111       u32 data[2];
1112
1113       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1114       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1115
1116       data[0] ^= iv[0];
1117       data[1] ^= iv[1];
1118
1119       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1120     }
1121
1122     /**
1123      * key2 (generate hash)
1124      */
1125
1126     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1127
1128     iv[0] = 0;
1129     iv[1] = 0;
1130
1131     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1132     {
1133       u32 data[2];
1134
1135       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1136       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1137
1138       data[0] ^= iv[0];
1139       data[1] ^= iv[1];
1140
1141       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1142     }
1143
1144     /**
1145      * cmp
1146      */
1147
1148     const u32 r0 = iv[0];
1149     const u32 r1 = iv[1];
1150     const u32 r2 = 0;
1151     const u32 r3 = 0;
1152
1153     #include COMPARE_S
1154   }
1155 }
1156
1157 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1158 {
1159 }
1160
1161 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1162 {
1163 }