OpenCL/m03100_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  65     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  66     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  67     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  68     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  69     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  70     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  71     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  72     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  73     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  74     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  75     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  76     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  77     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  78     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  79     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  80   },
  81   {
  82     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  83     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  84     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  85     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  86     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  87     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  88     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  89     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  90     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  91     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  92     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  93     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  94     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  95     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  96     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  97     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  98   },
  99   {
 100     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 101     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 102     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 103     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 104     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 105     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 106     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 107     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 108     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 109     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 110     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 111     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 112     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 113     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 114     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 115     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 116   },
 117   {
 118     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 119     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 120     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 121     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 122     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 123     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 124     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 125     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 126     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 127     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 128     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 129     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 130     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 131     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 132     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 133     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 134   },
 135   {
 136     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 137     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 138     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 139     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 140     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 141     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 142     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 143     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 144     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 145     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 146     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 147     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 148     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 149     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 150     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 151     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 152   },
 153   {
 154     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 155     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 156     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 157     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 158     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 159     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 160     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 161     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 162     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 163     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 164     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 165     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 166     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 167     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 168     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 169     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 170   },
 171   {
 172     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 173     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 174     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 175     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 176     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 177     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 178     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 179     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 180     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 181     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 182     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 183     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 184     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 185     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 186     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 187     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 188   },
 189   {
 190     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 191     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 192     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 193     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 194     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 195     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 196     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 197     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 198     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 199     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 200     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 201     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 202     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 203     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 204     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 205     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 206   }
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   }
 355 };
 356
 357 #define BOX(i,n,S) (S)[(n)][(i)]
 358
 359 static void _des_crypt_encrypt (u32 iv[2], u32 data[2], u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 360 {
 361   u32 tt;
 362
 363   u32 r = data[0];
 364   u32 l = data[1];
 365
 366   IP (r, l, tt);
 367
 368   r = rotl32 (r, 3u);
 369   l = rotl32 (l, 3u);
 370
 371   #pragma unroll 16
 372   for (u32 i = 0; i < 16; i += 2)
 373   {
 374     u32 u;
 375     u32 t;
 376
 377     u = Kc[i + 0] ^ r;
 378     t = Kd[i + 0] ^ rotl32 (r, 28u);
 379
 380     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 381        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 382        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 383        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 384        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 385        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 386        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 387        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 388
 389     u = Kc[i + 1] ^ l;
 390     t = Kd[i + 1] ^ rotl32 (l, 28u);
 391
 392     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 393        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 394        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 395        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 396        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 397        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 398        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 399        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 400   }
 401
 402   l = rotl32 (l, 29u);
 403   r = rotl32 (r, 29u);
 404
 405   FP (r, l, tt);
 406
 407   iv[0] = l;
 408   iv[1] = r;
 409 }
 410
 411 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 412 {
 413   u32 tt;
 414
 415   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 416   HPERM_OP (c,    tt, 2, 0xcccc0000);
 417   HPERM_OP (d,    tt, 2, 0xcccc0000);
 418   PERM_OP  (d, c, tt, 1, 0x55555555);
 419   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 420   PERM_OP  (d, c, tt, 1, 0x55555555);
 421
 422   d = ((d & 0x000000ff) << 16)
 423     | ((d & 0x0000ff00) <<  0)
 424     | ((d & 0x00ff0000) >> 16)
 425     | ((c & 0xf0000000) >>  4);
 426
 427   c = c & 0x0fffffff;
 428
 429   #pragma unroll 16
 430   for (u32 i = 0; i < 16; i++)
 431   {
 432     if ((i < 2) || (i == 8) || (i == 15))
 433     {
 434       c = ((c >> 1) | (c << 27));
 435       d = ((d >> 1) | (d << 27));
 436     }
 437     else
 438     {
 439       c = ((c >> 2) | (c << 26));
 440       d = ((d >> 2) | (d << 26));
 441     }
 442
 443     c = c & 0x0fffffff;
 444     d = d & 0x0fffffff;
 445
 446     const u32 c00 = (c >>  0) & 0x0000003f;
 447     const u32 c06 = (c >>  6) & 0x00383003;
 448     const u32 c07 = (c >>  7) & 0x0000003c;
 449     const u32 c13 = (c >> 13) & 0x0000060f;
 450     const u32 c20 = (c >> 20) & 0x00000001;
 451
 452     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 453           | BOX (((c06 >>  0) & 0xff)
 454                 |((c07 >>  0) & 0xff), 1, s_skb)
 455           | BOX (((c13 >>  0) & 0xff)
 456                 |((c06 >>  8) & 0xff), 2, s_skb)
 457           | BOX (((c20 >>  0) & 0xff)
 458                 |((c13 >>  8) & 0xff)
 459                 |((c06 >> 16) & 0xff), 3, s_skb);
 460
 461     const u32 d00 = (d >>  0) & 0x00003c3f;
 462     const u32 d07 = (d >>  7) & 0x00003f03;
 463     const u32 d21 = (d >> 21) & 0x0000000f;
 464     const u32 d22 = (d >> 22) & 0x00000030;
 465
 466     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 467           | BOX (((d07 >>  0) & 0xff)
 468                 |((d00 >>  8) & 0xff), 5, s_skb)
 469           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 470           | BOX (((d21 >>  0) & 0xff)
 471                 |((d22 >>  0) & 0xff), 7, s_skb);
 472
 473     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 474     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 475
 476     Kc[i] = rotl32 (Kc[i], 2u);
 477     Kd[i] = rotl32 (Kd[i], 2u);
 478   }
 479 }
 480
 481 static void overwrite_at (u32 sw[16], const u32 w0, const u32 salt_len)
 482 {
 483   #if defined cl_amd_media_ops
 484   switch (salt_len)
 485   {
 486     case  0:  sw[0] = w0;
 487               break;
 488     case  1:  sw[0] = amd_bytealign (w0, sw[0] << 24, 3);
 489               sw[1] = amd_bytealign (sw[1] >>  8, w0, 3);
 490               break;
 491     case  2:  sw[0] = amd_bytealign (w0, sw[0] << 16, 2);
 492               sw[1] = amd_bytealign (sw[1] >> 16, w0, 2);
 493               break;
 494     case  3:  sw[0] = amd_bytealign (w0, sw[0] <<  8, 1);
 495               sw[1] = amd_bytealign (sw[1] >> 24, w0, 1);
 496               break;
 497     case  4:  sw[1] = w0;
 498               break;
 499     case  5:  sw[1] = amd_bytealign (w0, sw[1] << 24, 3);
 500               sw[2] = amd_bytealign (sw[2] >>  8, w0, 3);
 501               break;
 502     case  6:  sw[1] = amd_bytealign (w0, sw[1] << 16, 2);
 503               sw[2] = amd_bytealign (sw[2] >> 16, w0, 2);
 504               break;
 505     case  7:  sw[1] = amd_bytealign (w0, sw[1] <<  8, 1);
 506               sw[2] = amd_bytealign (sw[2] >> 24, w0, 1);
 507               break;
 508     case  8:  sw[2] = w0;
 509               break;
 510     case  9:  sw[2] = amd_bytealign (w0, sw[2] << 24, 3);
 511               sw[3] = amd_bytealign (sw[3] >>  8, w0, 3);
 512               break;
 513     case 10:  sw[2] = amd_bytealign (w0, sw[2] << 16, 2);
 514               sw[3] = amd_bytealign (sw[3] >> 16, w0, 2);
 515               break;
 516     case 11:  sw[2] = amd_bytealign (w0, sw[2] <<  8, 1);
 517               sw[3] = amd_bytealign (sw[3] >> 24, w0, 1);
 518               break;
 519     case 12:  sw[3] = w0;
 520               break;
 521     case 13:  sw[3] = amd_bytealign (w0, sw[3] << 24, 3);
 522               sw[4] = amd_bytealign (sw[4] >>  8, w0, 3);
 523               break;
 524     case 14:  sw[3] = amd_bytealign (w0, sw[3] << 16, 2);
 525               sw[4] = amd_bytealign (sw[4] >> 16, w0, 2);
 526               break;
 527     case 15:  sw[3] = amd_bytealign (w0, sw[3] <<  8, 1);
 528               sw[4] = amd_bytealign (sw[4] >> 24, w0, 1);
 529               break;
 530     case 16:  sw[4] = w0;
 531               break;
 532     case 17:  sw[4] = amd_bytealign (w0, sw[4] << 24, 3);
 533               sw[5] = amd_bytealign (sw[5] >>  8, w0, 3);
 534               break;
 535     case 18:  sw[4] = amd_bytealign (w0, sw[4] << 16, 2);
 536               sw[5] = amd_bytealign (sw[5] >> 16, w0, 2);
 537               break;
 538     case 19:  sw[4] = amd_bytealign (w0, sw[4] <<  8, 1);
 539               sw[5] = amd_bytealign (sw[5] >> 24, w0, 1);
 540               break;
 541     case 20:  sw[5] = w0;
 542               break;
 543     case 21:  sw[5] = amd_bytealign (w0, sw[5] << 24, 3);
 544               sw[6] = amd_bytealign (sw[6] >>  8, w0, 3);
 545               break;
 546     case 22:  sw[5] = amd_bytealign (w0, sw[5] << 16, 2);
 547               sw[6] = amd_bytealign (sw[6] >> 16, w0, 2);
 548               break;
 549     case 23:  sw[5] = amd_bytealign (w0, sw[5] <<  8, 1);
 550               sw[6] = amd_bytealign (sw[6] >> 24, w0, 1);
 551               break;
 552     case 24:  sw[6] = w0;
 553               break;
 554     case 25:  sw[6] = amd_bytealign (w0, sw[6] << 24, 3);
 555               sw[7] = amd_bytealign (sw[7] >>  8, w0, 3);
 556               break;
 557     case 26:  sw[6] = amd_bytealign (w0, sw[6] << 16, 2);
 558               sw[7] = amd_bytealign (sw[7] >> 16, w0, 2);
 559               break;
 560     case 27:  sw[6] = amd_bytealign (w0, sw[6] <<  8, 1);
 561               sw[7] = amd_bytealign (sw[7] >> 24, w0, 1);
 562               break;
 563     case 28:  sw[7] = w0;
 564               break;
 565     case 29:  sw[7] = amd_bytealign (w0, sw[7] << 24, 3);
 566               sw[8] = amd_bytealign (sw[8] >>  8, w0, 3);
 567               break;
 568     case 30:  sw[7] = amd_bytealign (w0, sw[7] << 16, 2);
 569               sw[8] = amd_bytealign (sw[8] >> 16, w0, 2);
 570               break;
 571     case 31:  sw[7] = amd_bytealign (w0, sw[7] <<  8, 1);
 572               sw[8] = amd_bytealign (sw[8] >> 24, w0, 1);
 573               break;
 574   }
 575   #else
 576   switch (salt_len)
 577   {
 578     case  0:  sw[0] =  w0;
 579               break;
 580     case  1:  sw[0] = (sw[0] & 0x000000ff) | (w0 <<  8);
 581               sw[1] = (sw[1] & 0xffffff00) | (w0 >> 24);
 582               break;
 583     case  2:  sw[0] = (sw[0] & 0x0000ffff) | (w0 << 16);
 584               sw[1] = (sw[1] & 0xffff0000) | (w0 >> 16);
 585               break;
 586     case  3:  sw[0] = (sw[0] & 0x00ffffff) | (w0 << 24);
 587               sw[1] = (sw[1] & 0xff000000) | (w0 >>  8);
 588               break;
 589     case  4:  sw[1] =  w0;
 590               break;
 591     case  5:  sw[1] = (sw[1] & 0x000000ff) | (w0 <<  8);
 592               sw[2] = (sw[2] & 0xffffff00) | (w0 >> 24);
 593               break;
 594     case  6:  sw[1] = (sw[1] & 0x0000ffff) | (w0 << 16);
 595               sw[2] = (sw[2] & 0xffff0000) | (w0 >> 16);
 596               break;
 597     case  7:  sw[1] = (sw[1] & 0x00ffffff) | (w0 << 24);
 598               sw[2] = (sw[2] & 0xff000000) | (w0 >>  8);
 599               break;
 600     case  8:  sw[2] =  w0;
 601               break;
 602     case  9:  sw[2] = (sw[2] & 0x000000ff) | (w0 <<  8);
 603               sw[3] = (sw[3] & 0xffffff00) | (w0 >> 24);
 604               break;
 605     case 10:  sw[2] = (sw[2] & 0x0000ffff) | (w0 << 16);
 606               sw[3] = (sw[3] & 0xffff0000) | (w0 >> 16);
 607               break;
 608     case 11:  sw[2] = (sw[2] & 0x00ffffff) | (w0 << 24);
 609               sw[3] = (sw[3] & 0xff000000) | (w0 >>  8);
 610               break;
 611     case 12:  sw[3] =  w0;
 612               break;
 613     case 13:  sw[3] = (sw[3] & 0x000000ff) | (w0 <<  8);
 614               sw[4] = (sw[4] & 0xffffff00) | (w0 >> 24);
 615               break;
 616     case 14:  sw[3] = (sw[3] & 0x0000ffff) | (w0 << 16);
 617               sw[4] = (sw[4] & 0xffff0000) | (w0 >> 16);
 618               break;
 619     case 15:  sw[3] = (sw[3] & 0x00ffffff) | (w0 << 24);
 620               sw[4] = (sw[4] & 0xff000000) | (w0 >>  8);
 621               break;
 622     case 16:  sw[4] =  w0;
 623               break;
 624     case 17:  sw[4] = (sw[4] & 0x000000ff) | (w0 <<  8);
 625               sw[5] = (sw[5] & 0xffffff00) | (w0 >> 24);
 626               break;
 627     case 18:  sw[4] = (sw[4] & 0x0000ffff) | (w0 << 16);
 628               sw[5] = (sw[5] & 0xffff0000) | (w0 >> 16);
 629               break;
 630     case 19:  sw[4] = (sw[4] & 0x00ffffff) | (w0 << 24);
 631               sw[5] = (sw[5] & 0xff000000) | (w0 >>  8);
 632               break;
 633     case 20:  sw[5] =  w0;
 634               break;
 635     case 21:  sw[5] = (sw[5] & 0x000000ff) | (w0 <<  8);
 636               sw[6] = (sw[6] & 0xffffff00) | (w0 >> 24);
 637               break;
 638     case 22:  sw[5] = (sw[5] & 0x0000ffff) | (w0 << 16);
 639               sw[6] = (sw[6] & 0xffff0000) | (w0 >> 16);
 640               break;
 641     case 23:  sw[5] = (sw[5] & 0x00ffffff) | (w0 << 24);
 642               sw[6] = (sw[6] & 0xff000000) | (w0 >>  8);
 643               break;
 644     case 24:  sw[6] =  w0;
 645               break;
 646     case 25:  sw[6] = (sw[6] & 0x000000ff) | (w0 <<  8);
 647               sw[7] = (sw[7] & 0xffffff00) | (w0 >> 24);
 648               break;
 649     case 26:  sw[6] = (sw[6] & 0x0000ffff) | (w0 << 16);
 650               sw[7] = (sw[7] & 0xffff0000) | (w0 >> 16);
 651               break;
 652     case 27:  sw[6] = (sw[6] & 0x00ffffff) | (w0 << 24);
 653               sw[7] = (sw[7] & 0xff000000) | (w0 >>  8);
 654               break;
 655     case 28:  sw[7] =  w0;
 656               break;
 657     case 29:  sw[7] = (sw[7] & 0x000000ff) | (w0 <<  8);
 658               sw[8] = (sw[8] & 0xffffff00) | (w0 >> 24);
 659               break;
 660     case 30:  sw[7] = (sw[7] & 0x0000ffff) | (w0 << 16);
 661               sw[8] = (sw[8] & 0xffff0000) | (w0 >> 16);
 662               break;
 663     case 31:  sw[7] = (sw[7] & 0x00ffffff) | (w0 << 24);
 664               sw[8] = (sw[8] & 0xff000000) | (w0 >>  8);
 665               break;
 666   }
 667   #endif
 668 }
 669
 670 static void m03100m (__local u32 s_SPtrans[8][64], __local u32 s_skb[8][64], u32 w[16], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 671 {
 672   /**
 673    * modifier
 674    */
 675
 676   const u32 gid = get_global_id (0);
 677   const u32 lid = get_local_id (0);
 678
 679   /**
 680    * salt
 681    */
 682
 683   u32 salt_buf0[4];
 684
 685   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 686   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 687   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 688   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 689
 690   u32 salt_buf1[4];
 691
 692   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 693   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 694   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 695   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 696
 697   u32 salt_buf2[4];
 698
 699   salt_buf2[0] = 0;
 700   salt_buf2[1] = 0;
 701   salt_buf2[2] = 0;
 702   salt_buf2[3] = 0;
 703
 704   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 705
 706   const u32 salt_word_len = (salt_len + pw_len) * 2;
 707
 708   /**
 709    * prepend salt
 710    */
 711
 712   u32 w0_t[4];
 713   u32 w1_t[4];
 714   u32 w2_t[4];
 715   u32 w3_t[4];
 716
 717   w0_t[0] = w[ 0];
 718   w0_t[1] = w[ 1];
 719   w0_t[2] = w[ 2];
 720   w0_t[3] = w[ 3];
 721   w1_t[0] = w[ 4];
 722   w1_t[1] = w[ 5];
 723   w1_t[2] = w[ 6];
 724   w1_t[3] = w[ 7];
 725   w2_t[0] = w[ 8];
 726   w2_t[1] = w[ 9];
 727   w2_t[2] = w[10];
 728   w2_t[3] = w[11];
 729   w3_t[0] = w[12];
 730   w3_t[1] = w[13];
 731   w3_t[2] = w[14];
 732   w3_t[3] = w[15];
 733
 734   switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
 735
 736   w0_t[0] |= salt_buf0[0];
 737   w0_t[1] |= salt_buf0[1];
 738   w0_t[2] |= salt_buf0[2];
 739   w0_t[3] |= salt_buf0[3];
 740   w1_t[0] |= salt_buf1[0];
 741   w1_t[1] |= salt_buf1[1];
 742   w1_t[2] |= salt_buf1[2];
 743   w1_t[3] |= salt_buf1[3];
 744   w2_t[0] |= salt_buf2[0];
 745   w2_t[1] |= salt_buf2[1];
 746   w2_t[2] |= salt_buf2[2];
 747   w2_t[3] |= salt_buf2[3];
 748   w3_t[0] = 0;
 749   w3_t[1] = 0;
 750   w3_t[2] = 0;
 751   w3_t[3] = 0;
 752
 753   u32 dst[16];
 754
 755   dst[ 0] = w0_t[0];
 756   dst[ 1] = w0_t[1];
 757   dst[ 2] = w0_t[2];
 758   dst[ 3] = w0_t[3];
 759   dst[ 4] = w1_t[0];
 760   dst[ 5] = w1_t[1];
 761   dst[ 6] = w1_t[2];
 762   dst[ 7] = w1_t[3];
 763   dst[ 8] = w2_t[0];
 764   dst[ 9] = w2_t[1];
 765   dst[10] = w2_t[2];
 766   dst[11] = w2_t[3];
 767   dst[12] = w3_t[0];
 768   dst[13] = w3_t[1];
 769   dst[14] = w3_t[2];
 770   dst[15] = w3_t[3];
 771
 772   /**
 773    * loop
 774    */
 775
 776   u32 w0l = w[0];
 777
 778   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 779   {
 780     const u32 w0r = words_buf_r[il_pos];
 781
 782     const u32 w0 = w0l | w0r;
 783
 784     overwrite_at (dst, w0, salt_len);
 785
 786     /**
 787      * precompute key1 since key is static: 0x0123456789abcdef
 788      * plus LEFT_ROTATE by 2
 789      */
 790
 791     u32 Kc[16];
 792
 793     Kc[ 0] = 0x64649040;
 794     Kc[ 1] = 0x14909858;
 795     Kc[ 2] = 0xc4b44888;
 796     Kc[ 3] = 0x9094e438;
 797     Kc[ 4] = 0xd8a004f0;
 798     Kc[ 5] = 0xa8f02810;
 799     Kc[ 6] = 0xc84048d8;
 800     Kc[ 7] = 0x68d804a8;
 801     Kc[ 8] = 0x0490e40c;
 802     Kc[ 9] = 0xac183024;
 803     Kc[10] = 0x24c07c10;
 804     Kc[11] = 0x8c88c038;
 805     Kc[12] = 0xc048c824;
 806     Kc[13] = 0x4c0470a8;
 807     Kc[14] = 0x584020b4;
 808     Kc[15] = 0x00742c4c;
 809
 810     u32 Kd[16];
 811
 812     Kd[ 0] = 0xa42ce40c;
 813     Kd[ 1] = 0x64689858;
 814     Kd[ 2] = 0x484050b8;
 815     Kd[ 3] = 0xe8184814;
 816     Kd[ 4] = 0x405cc070;
 817     Kd[ 5] = 0xa010784c;
 818     Kd[ 6] = 0x6074a800;
 819     Kd[ 7] = 0x80701c1c;
 820     Kd[ 8] = 0x9cd49430;
 821     Kd[ 9] = 0x4c8ce078;
 822     Kd[10] = 0x5c18c088;
 823     Kd[11] = 0x28a8a4c8;
 824     Kd[12] = 0x3c180838;
 825     Kd[13] = 0xb0b86c20;
 826     Kd[14] = 0xac84a094;
 827     Kd[15] = 0x4ce0c0c4;
 828
 829     /**
 830      * key1 (generate key)
 831      */
 832
 833     u32 iv[2];
 834
 835     iv[0] = 0;
 836     iv[1] = 0;
 837
 838     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 839     {
 840       u32 data[2];
 841
 842       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 843       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 844
 845       data[0] ^= iv[0];
 846       data[1] ^= iv[1];
 847
 848       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 849     }
 850
 851     /**
 852      * key2 (generate hash)
 853      */
 854
 855     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 856
 857     iv[0] = 0;
 858     iv[1] = 0;
 859
 860     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 861     {
 862       u32 data[2];
 863
 864       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 865       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 866
 867       data[0] ^= iv[0];
 868       data[1] ^= iv[1];
 869
 870       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 871     }
 872
 873     /**
 874      * cmp
 875      */
 876
 877     const u32 r0 = iv[0];
 878     const u32 r1 = iv[1];
 879     const u32 r2 = 0;
 880     const u32 r3 = 0;
 881
 882     #include COMPARE_M
 883   }
 884 }
 885
 886 static void m03100s (__local u32 s_SPtrans[8][64], __local u32 s_skb[8][64], u32 w[16], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 887 {
 888   /**
 889    * modifier
 890    */
 891
 892   const u32 gid = get_global_id (0);
 893   const u32 lid = get_local_id (0);
 894
 895   /**
 896    * salt
 897    */
 898
 899   u32 salt_buf0[4];
 900
 901   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 902   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 903   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 904   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 905
 906   u32 salt_buf1[4];
 907
 908   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 909   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 910   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 911   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 912
 913   u32 salt_buf2[4];
 914
 915   salt_buf2[0] = 0;
 916   salt_buf2[1] = 0;
 917   salt_buf2[2] = 0;
 918   salt_buf2[3] = 0;
 919
 920   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 921
 922   const u32 salt_word_len = (salt_len + pw_len) * 2;
 923
 924   /**
 925    * prepend salt
 926    */
 927
 928   u32 w0_t[4];
 929   u32 w1_t[4];
 930   u32 w2_t[4];
 931   u32 w3_t[4];
 932
 933   w0_t[0] = w[ 0];
 934   w0_t[1] = w[ 1];
 935   w0_t[2] = w[ 2];
 936   w0_t[3] = w[ 3];
 937   w1_t[0] = w[ 4];
 938   w1_t[1] = w[ 5];
 939   w1_t[2] = w[ 6];
 940   w1_t[3] = w[ 7];
 941   w2_t[0] = w[ 8];
 942   w2_t[1] = w[ 9];
 943   w2_t[2] = w[10];
 944   w2_t[3] = w[11];
 945   w3_t[0] = w[12];
 946   w3_t[1] = w[13];
 947   w3_t[2] = w[14];
 948   w3_t[3] = w[15];
 949
 950   switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
 951
 952   w0_t[0] |= salt_buf0[0];
 953   w0_t[1] |= salt_buf0[1];
 954   w0_t[2] |= salt_buf0[2];
 955   w0_t[3] |= salt_buf0[3];
 956   w1_t[0] |= salt_buf1[0];
 957   w1_t[1] |= salt_buf1[1];
 958   w1_t[2] |= salt_buf1[2];
 959   w1_t[3] |= salt_buf1[3];
 960   w2_t[0] |= salt_buf2[0];
 961   w2_t[1] |= salt_buf2[1];
 962   w2_t[2] |= salt_buf2[2];
 963   w2_t[3] |= salt_buf2[3];
 964   w3_t[0] = 0;
 965   w3_t[1] = 0;
 966   w3_t[2] = 0;
 967   w3_t[3] = 0;
 968
 969   u32 dst[16];
 970
 971   dst[ 0] = w0_t[0];
 972   dst[ 1] = w0_t[1];
 973   dst[ 2] = w0_t[2];
 974   dst[ 3] = w0_t[3];
 975   dst[ 4] = w1_t[0];
 976   dst[ 5] = w1_t[1];
 977   dst[ 6] = w1_t[2];
 978   dst[ 7] = w1_t[3];
 979   dst[ 8] = w2_t[0];
 980   dst[ 9] = w2_t[1];
 981   dst[10] = w2_t[2];
 982   dst[11] = w2_t[3];
 983   dst[12] = w3_t[0];
 984   dst[13] = w3_t[1];
 985   dst[14] = w3_t[2];
 986   dst[15] = w3_t[3];
 987
 988   /**
 989    * digest
 990    */
 991
 992   const u32 search[4] =
 993   {
 994     digests_buf[digests_offset].digest_buf[DGST_R0],
 995     digests_buf[digests_offset].digest_buf[DGST_R1],
 996     digests_buf[digests_offset].digest_buf[DGST_R2],
 997     digests_buf[digests_offset].digest_buf[DGST_R3]
 998   };
 999
1000   /**
1001    * loop
1002    */
1003
1004   u32 w0l = w[0];
1005
1006   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
1007   {
1008     const u32 w0r = words_buf_r[il_pos];
1009
1010     const u32 w0 = w0l | w0r;
1011
1012     overwrite_at (dst, w0, salt_len);
1013
1014     /**
1015      * precompute key1 since key is static: 0x0123456789abcdef
1016      * plus LEFT_ROTATE by 2
1017      */
1018
1019     u32 Kc[16];
1020
1021     Kc[ 0] = 0x64649040;
1022     Kc[ 1] = 0x14909858;
1023     Kc[ 2] = 0xc4b44888;
1024     Kc[ 3] = 0x9094e438;
1025     Kc[ 4] = 0xd8a004f0;
1026     Kc[ 5] = 0xa8f02810;
1027     Kc[ 6] = 0xc84048d8;
1028     Kc[ 7] = 0x68d804a8;
1029     Kc[ 8] = 0x0490e40c;
1030     Kc[ 9] = 0xac183024;
1031     Kc[10] = 0x24c07c10;
1032     Kc[11] = 0x8c88c038;
1033     Kc[12] = 0xc048c824;
1034     Kc[13] = 0x4c0470a8;
1035     Kc[14] = 0x584020b4;
1036     Kc[15] = 0x00742c4c;
1037
1038     u32 Kd[16];
1039
1040     Kd[ 0] = 0xa42ce40c;
1041     Kd[ 1] = 0x64689858;
1042     Kd[ 2] = 0x484050b8;
1043     Kd[ 3] = 0xe8184814;
1044     Kd[ 4] = 0x405cc070;
1045     Kd[ 5] = 0xa010784c;
1046     Kd[ 6] = 0x6074a800;
1047     Kd[ 7] = 0x80701c1c;
1048     Kd[ 8] = 0x9cd49430;
1049     Kd[ 9] = 0x4c8ce078;
1050     Kd[10] = 0x5c18c088;
1051     Kd[11] = 0x28a8a4c8;
1052     Kd[12] = 0x3c180838;
1053     Kd[13] = 0xb0b86c20;
1054     Kd[14] = 0xac84a094;
1055     Kd[15] = 0x4ce0c0c4;
1056
1057     /**
1058      * key1 (generate key)
1059      */
1060
1061     u32 iv[2];
1062
1063     iv[0] = 0;
1064     iv[1] = 0;
1065
1066     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1067     {
1068       u32 data[2];
1069
1070       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1071       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1072
1073       data[0] ^= iv[0];
1074       data[1] ^= iv[1];
1075
1076       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1077     }
1078
1079     /**
1080      * key2 (generate hash)
1081      */
1082
1083     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
1084
1085     iv[0] = 0;
1086     iv[1] = 0;
1087
1088     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
1089     {
1090       u32 data[2];
1091
1092       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
1093       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
1094
1095       data[0] ^= iv[0];
1096       data[1] ^= iv[1];
1097
1098       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
1099     }
1100
1101     /**
1102      * cmp
1103      */
1104
1105     const u32 r0 = iv[0];
1106     const u32 r1 = iv[1];
1107     const u32 r2 = 0;
1108     const u32 r3 = 0;
1109
1110     #include COMPARE_S
1111   }
1112 }
1113
1114 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1115 {
1116   /**
1117    * modifier
1118    */
1119
1120   const u32 gid = get_global_id (0);
1121   const u32 lid = get_local_id (0);
1122   const u32 lsz = get_local_size (0);
1123
1124   /**
1125    * base
1126    */
1127
1128   u32 w[16];
1129
1130   w[ 0] = pws[gid].i[ 0];
1131   w[ 1] = pws[gid].i[ 1];
1132   w[ 2] = pws[gid].i[ 2];
1133   w[ 3] = pws[gid].i[ 3];
1134   w[ 4] = 0;
1135   w[ 5] = 0;
1136   w[ 6] = 0;
1137   w[ 7] = 0;
1138   w[ 8] = 0;
1139   w[ 9] = 0;
1140   w[10] = 0;
1141   w[11] = 0;
1142   w[12] = 0;
1143   w[13] = 0;
1144   w[14] = 0;
1145   w[15] = 0;
1146
1147   const u32 pw_len = pws[gid].pw_len;
1148
1149   /**
1150    * sbox, kbox
1151    */
1152
1153   __local u32 s_SPtrans[8][64];
1154   __local u32 s_skb[8][64];
1155
1156   for (u32 i = lid; i < 64; i += lsz)
1157   {
1158     s_SPtrans[0][i] = c_SPtrans[0][i];
1159     s_SPtrans[1][i] = c_SPtrans[1][i];
1160     s_SPtrans[2][i] = c_SPtrans[2][i];
1161     s_SPtrans[3][i] = c_SPtrans[3][i];
1162     s_SPtrans[4][i] = c_SPtrans[4][i];
1163     s_SPtrans[5][i] = c_SPtrans[5][i];
1164     s_SPtrans[6][i] = c_SPtrans[6][i];
1165     s_SPtrans[7][i] = c_SPtrans[7][i];
1166
1167     s_skb[0][i] = c_skb[0][i];
1168     s_skb[1][i] = c_skb[1][i];
1169     s_skb[2][i] = c_skb[2][i];
1170     s_skb[3][i] = c_skb[3][i];
1171     s_skb[4][i] = c_skb[4][i];
1172     s_skb[5][i] = c_skb[5][i];
1173     s_skb[6][i] = c_skb[6][i];
1174     s_skb[7][i] = c_skb[7][i];
1175   }
1176
1177   barrier (CLK_LOCAL_MEM_FENCE);
1178
1179   if (gid >= gid_max) return;
1180
1181   /**
1182    * main
1183    */
1184
1185   m03100m (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1186 }
1187
1188 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1189 {
1190   /**
1191    * modifier
1192    */
1193
1194   const u32 gid = get_global_id (0);
1195   const u32 lid = get_local_id (0);
1196   const u32 lsz = get_local_size (0);
1197
1198   /**
1199    * base
1200    */
1201
1202   u32 w[16];
1203
1204   w[ 0] = pws[gid].i[ 0];
1205   w[ 1] = pws[gid].i[ 1];
1206   w[ 2] = pws[gid].i[ 2];
1207   w[ 3] = pws[gid].i[ 3];
1208   w[ 4] = pws[gid].i[ 4];
1209   w[ 5] = pws[gid].i[ 5];
1210   w[ 6] = pws[gid].i[ 6];
1211   w[ 7] = pws[gid].i[ 7];
1212   w[ 8] = 0;
1213   w[ 9] = 0;
1214   w[10] = 0;
1215   w[11] = 0;
1216   w[12] = 0;
1217   w[13] = 0;
1218   w[14] = 0;
1219   w[15] = 0;
1220
1221   const u32 pw_len = pws[gid].pw_len;
1222
1223   /**
1224    * sbox, kbox
1225    */
1226
1227   __local u32 s_SPtrans[8][64];
1228   __local u32 s_skb[8][64];
1229
1230   for (u32 i = lid; i < 64; i += lsz)
1231   {
1232     s_SPtrans[0][i] = c_SPtrans[0][i];
1233     s_SPtrans[1][i] = c_SPtrans[1][i];
1234     s_SPtrans[2][i] = c_SPtrans[2][i];
1235     s_SPtrans[3][i] = c_SPtrans[3][i];
1236     s_SPtrans[4][i] = c_SPtrans[4][i];
1237     s_SPtrans[5][i] = c_SPtrans[5][i];
1238     s_SPtrans[6][i] = c_SPtrans[6][i];
1239     s_SPtrans[7][i] = c_SPtrans[7][i];
1240
1241     s_skb[0][i] = c_skb[0][i];
1242     s_skb[1][i] = c_skb[1][i];
1243     s_skb[2][i] = c_skb[2][i];
1244     s_skb[3][i] = c_skb[3][i];
1245     s_skb[4][i] = c_skb[4][i];
1246     s_skb[5][i] = c_skb[5][i];
1247     s_skb[6][i] = c_skb[6][i];
1248     s_skb[7][i] = c_skb[7][i];
1249   }
1250
1251   barrier (CLK_LOCAL_MEM_FENCE);
1252
1253   if (gid >= gid_max) return;
1254
1255   /**
1256    * main
1257    */
1258
1259   m03100m (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1260 }
1261
1262 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1263 {
1264 }
1265
1266 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1267 {
1268   /**
1269    * modifier
1270    */
1271
1272   const u32 gid = get_global_id (0);
1273   const u32 lid = get_local_id (0);
1274   const u32 lsz = get_local_size (0);
1275
1276   /**
1277    * base
1278    */
1279
1280   u32 w[16];
1281
1282   w[ 0] = pws[gid].i[ 0];
1283   w[ 1] = pws[gid].i[ 1];
1284   w[ 2] = pws[gid].i[ 2];
1285   w[ 3] = pws[gid].i[ 3];
1286   w[ 4] = 0;
1287   w[ 5] = 0;
1288   w[ 6] = 0;
1289   w[ 7] = 0;
1290   w[ 8] = 0;
1291   w[ 9] = 0;
1292   w[10] = 0;
1293   w[11] = 0;
1294   w[12] = 0;
1295   w[13] = 0;
1296   w[14] = 0;
1297   w[15] = 0;
1298
1299   const u32 pw_len = pws[gid].pw_len;
1300
1301   /**
1302    * sbox, kbox
1303    */
1304
1305   __local u32 s_SPtrans[8][64];
1306   __local u32 s_skb[8][64];
1307
1308   for (u32 i = lid; i < 64; i += lsz)
1309   {
1310     s_SPtrans[0][i] = c_SPtrans[0][i];
1311     s_SPtrans[1][i] = c_SPtrans[1][i];
1312     s_SPtrans[2][i] = c_SPtrans[2][i];
1313     s_SPtrans[3][i] = c_SPtrans[3][i];
1314     s_SPtrans[4][i] = c_SPtrans[4][i];
1315     s_SPtrans[5][i] = c_SPtrans[5][i];
1316     s_SPtrans[6][i] = c_SPtrans[6][i];
1317     s_SPtrans[7][i] = c_SPtrans[7][i];
1318
1319     s_skb[0][i] = c_skb[0][i];
1320     s_skb[1][i] = c_skb[1][i];
1321     s_skb[2][i] = c_skb[2][i];
1322     s_skb[3][i] = c_skb[3][i];
1323     s_skb[4][i] = c_skb[4][i];
1324     s_skb[5][i] = c_skb[5][i];
1325     s_skb[6][i] = c_skb[6][i];
1326     s_skb[7][i] = c_skb[7][i];
1327   }
1328
1329   barrier (CLK_LOCAL_MEM_FENCE);
1330
1331   if (gid >= gid_max) return;
1332
1333   /**
1334    * main
1335    */
1336
1337   m03100s (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1338 }
1339
1340 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1341 {
1342   /**
1343    * modifier
1344    */
1345
1346   const u32 gid = get_global_id (0);
1347   const u32 lid = get_local_id (0);
1348   const u32 lsz = get_local_size (0);
1349
1350   /**
1351    * base
1352    */
1353
1354   u32 w[16];
1355
1356   w[ 0] = pws[gid].i[ 0];
1357   w[ 1] = pws[gid].i[ 1];
1358   w[ 2] = pws[gid].i[ 2];
1359   w[ 3] = pws[gid].i[ 3];
1360   w[ 4] = pws[gid].i[ 4];
1361   w[ 5] = pws[gid].i[ 5];
1362   w[ 6] = pws[gid].i[ 6];
1363   w[ 7] = pws[gid].i[ 7];
1364   w[ 8] = 0;
1365   w[ 9] = 0;
1366   w[10] = 0;
1367   w[11] = 0;
1368   w[12] = 0;
1369   w[13] = 0;
1370   w[14] = 0;
1371   w[15] = 0;
1372
1373   const u32 pw_len = pws[gid].pw_len;
1374
1375   /**
1376    * sbox, kbox
1377    */
1378
1379   __local u32 s_SPtrans[8][64];
1380   __local u32 s_skb[8][64];
1381
1382   for (u32 i = lid; i < 64; i += lsz)
1383   {
1384     s_SPtrans[0][i] = c_SPtrans[0][i];
1385     s_SPtrans[1][i] = c_SPtrans[1][i];
1386     s_SPtrans[2][i] = c_SPtrans[2][i];
1387     s_SPtrans[3][i] = c_SPtrans[3][i];
1388     s_SPtrans[4][i] = c_SPtrans[4][i];
1389     s_SPtrans[5][i] = c_SPtrans[5][i];
1390     s_SPtrans[6][i] = c_SPtrans[6][i];
1391     s_SPtrans[7][i] = c_SPtrans[7][i];
1392
1393     s_skb[0][i] = c_skb[0][i];
1394     s_skb[1][i] = c_skb[1][i];
1395     s_skb[2][i] = c_skb[2][i];
1396     s_skb[3][i] = c_skb[3][i];
1397     s_skb[4][i] = c_skb[4][i];
1398     s_skb[5][i] = c_skb[5][i];
1399     s_skb[6][i] = c_skb[6][i];
1400     s_skb[7][i] = c_skb[7][i];
1401   }
1402
1403   barrier (CLK_LOCAL_MEM_FENCE);
1404
1405   if (gid >= gid_max) return;
1406
1407   /**
1408    * main
1409    */
1410
1411   m03100s (s_SPtrans, s_skb, w, pw_len, pws, rules_buf, combs_buf, words_buf_r, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
1412 }
1413
1414 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __constant u32 * words_buf_r, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1415 {
1416 }