OpenCL/amp_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #include "inc_hash_constants.h"
   7 #include "inc_vendor.cl"
   8 #include "inc_types.cl"
   9
  10 inline void switch_buffer_by_offset_le (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 offset)
  11 {
  12   #if defined IS_AMD || defined IS_GENERIC
  13   const int offset_mod_4 = offset & 3;
  14
  15   const int offset_minus_4 = 4 - offset;
  16
  17   switch (offset / 4)
  18   {
  19     case 0:
  20       w3[2] = amd_bytealign (    0, w3[1], offset_minus_4);
  21       w3[1] = amd_bytealign (w3[1], w3[0], offset_minus_4);
  22       w3[0] = amd_bytealign (w3[0], w2[3], offset_minus_4);
  23       w2[3] = amd_bytealign (w2[3], w2[2], offset_minus_4);
  24       w2[2] = amd_bytealign (w2[2], w2[1], offset_minus_4);
  25       w2[1] = amd_bytealign (w2[1], w2[0], offset_minus_4);
  26       w2[0] = amd_bytealign (w2[0], w1[3], offset_minus_4);
  27       w1[3] = amd_bytealign (w1[3], w1[2], offset_minus_4);
  28       w1[2] = amd_bytealign (w1[2], w1[1], offset_minus_4);
  29       w1[1] = amd_bytealign (w1[1], w1[0], offset_minus_4);
  30       w1[0] = amd_bytealign (w1[0], w0[3], offset_minus_4);
  31       w0[3] = amd_bytealign (w0[3], w0[2], offset_minus_4);
  32       w0[2] = amd_bytealign (w0[2], w0[1], offset_minus_4);
  33       w0[1] = amd_bytealign (w0[1], w0[0], offset_minus_4);
  34       w0[0] = amd_bytealign (w0[0],     0, offset_minus_4);
  35
  36       if (offset_mod_4 == 0)
  37       {
  38         w0[0] = w0[1];
  39         w0[1] = w0[2];
  40         w0[2] = w0[3];
  41         w0[3] = w1[0];
  42         w1[0] = w1[1];
  43         w1[1] = w1[2];
  44         w1[2] = w1[3];
  45         w1[3] = w2[0];
  46         w2[0] = w2[1];
  47         w2[1] = w2[2];
  48         w2[2] = w2[3];
  49         w2[3] = w3[0];
  50         w3[0] = w3[1];
  51         w3[1] = w3[2];
  52         w3[2] = 0;
  53       }
  54
  55       break;
  56
  57     case 1:
  58       w3[2] = amd_bytealign (    0, w3[0], offset_minus_4);
  59       w3[1] = amd_bytealign (w3[0], w2[3], offset_minus_4);
  60       w3[0] = amd_bytealign (w2[3], w2[2], offset_minus_4);
  61       w2[3] = amd_bytealign (w2[2], w2[1], offset_minus_4);
  62       w2[2] = amd_bytealign (w2[1], w2[0], offset_minus_4);
  63       w2[1] = amd_bytealign (w2[0], w1[3], offset_minus_4);
  64       w2[0] = amd_bytealign (w1[3], w1[2], offset_minus_4);
  65       w1[3] = amd_bytealign (w1[2], w1[1], offset_minus_4);
  66       w1[2] = amd_bytealign (w1[1], w1[0], offset_minus_4);
  67       w1[1] = amd_bytealign (w1[0], w0[3], offset_minus_4);
  68       w1[0] = amd_bytealign (w0[3], w0[2], offset_minus_4);
  69       w0[3] = amd_bytealign (w0[2], w0[1], offset_minus_4);
  70       w0[2] = amd_bytealign (w0[1], w0[0], offset_minus_4);
  71       w0[1] = amd_bytealign (w0[0],     0, offset_minus_4);
  72       w0[0] = 0;
  73
  74       if (offset_mod_4 == 0)
  75       {
  76         w0[1] = w0[2];
  77         w0[2] = w0[3];
  78         w0[3] = w1[0];
  79         w1[0] = w1[1];
  80         w1[1] = w1[2];
  81         w1[2] = w1[3];
  82         w1[3] = w2[0];
  83         w2[0] = w2[1];
  84         w2[1] = w2[2];
  85         w2[2] = w2[3];
  86         w2[3] = w3[0];
  87         w3[0] = w3[1];
  88         w3[1] = w3[2];
  89         w3[2] = 0;
  90       }
  91
  92       break;
  93
  94     case 2:
  95       w3[2] = amd_bytealign (    0, w2[3], offset_minus_4);
  96       w3[1] = amd_bytealign (w2[3], w2[2], offset_minus_4);
  97       w3[0] = amd_bytealign (w2[2], w2[1], offset_minus_4);
  98       w2[3] = amd_bytealign (w2[1], w2[0], offset_minus_4);
  99       w2[2] = amd_bytealign (w2[0], w1[3], offset_minus_4);
 100       w2[1] = amd_bytealign (w1[3], w1[2], offset_minus_4);
 101       w2[0] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 102       w1[3] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 103       w1[2] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 104       w1[1] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 105       w1[0] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 106       w0[3] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 107       w0[2] = amd_bytealign (w0[0],     0, offset_minus_4);
 108       w0[1] = 0;
 109       w0[0] = 0;
 110
 111       if (offset_mod_4 == 0)
 112       {
 113         w0[2] = w0[3];
 114         w0[3] = w1[0];
 115         w1[0] = w1[1];
 116         w1[1] = w1[2];
 117         w1[2] = w1[3];
 118         w1[3] = w2[0];
 119         w2[0] = w2[1];
 120         w2[1] = w2[2];
 121         w2[2] = w2[3];
 122         w2[3] = w3[0];
 123         w3[0] = w3[1];
 124         w3[1] = w3[2];
 125         w3[2] = 0;
 126       }
 127
 128       break;
 129
 130     case 3:
 131       w3[2] = amd_bytealign (    0, w2[2], offset_minus_4);
 132       w3[1] = amd_bytealign (w2[2], w2[1], offset_minus_4);
 133       w3[0] = amd_bytealign (w2[1], w2[0], offset_minus_4);
 134       w2[3] = amd_bytealign (w2[0], w1[3], offset_minus_4);
 135       w2[2] = amd_bytealign (w1[3], w1[2], offset_minus_4);
 136       w2[1] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 137       w2[0] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 138       w1[3] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 139       w1[2] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 140       w1[1] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 141       w1[0] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 142       w0[3] = amd_bytealign (w0[0],     0, offset_minus_4);
 143       w0[2] = 0;
 144       w0[1] = 0;
 145       w0[0] = 0;
 146
 147       if (offset_mod_4 == 0)
 148       {
 149         w0[3] = w1[0];
 150         w1[0] = w1[1];
 151         w1[1] = w1[2];
 152         w1[2] = w1[3];
 153         w1[3] = w2[0];
 154         w2[0] = w2[1];
 155         w2[1] = w2[2];
 156         w2[2] = w2[3];
 157         w2[3] = w3[0];
 158         w3[0] = w3[1];
 159         w3[1] = w3[2];
 160         w3[2] = 0;
 161       }
 162
 163       break;
 164
 165     case 4:
 166       w3[2] = amd_bytealign (    0, w2[1], offset_minus_4);
 167       w3[1] = amd_bytealign (w2[1], w2[0], offset_minus_4);
 168       w3[0] = amd_bytealign (w2[0], w1[3], offset_minus_4);
 169       w2[3] = amd_bytealign (w1[3], w1[2], offset_minus_4);
 170       w2[2] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 171       w2[1] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 172       w2[0] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 173       w1[3] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 174       w1[2] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 175       w1[1] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 176       w1[0] = amd_bytealign (w0[0],     0, offset_minus_4);
 177       w0[3] = 0;
 178       w0[2] = 0;
 179       w0[1] = 0;
 180       w0[0] = 0;
 181
 182       if (offset_mod_4 == 0)
 183       {
 184         w1[0] = w1[1];
 185         w1[1] = w1[2];
 186         w1[2] = w1[3];
 187         w1[3] = w2[0];
 188         w2[0] = w2[1];
 189         w2[1] = w2[2];
 190         w2[2] = w2[3];
 191         w2[3] = w3[0];
 192         w3[0] = w3[1];
 193         w3[1] = w3[2];
 194         w3[2] = 0;
 195       }
 196
 197       break;
 198
 199     case 5:
 200       w3[2] = amd_bytealign (    0, w2[0], offset_minus_4);
 201       w3[1] = amd_bytealign (w2[0], w1[3], offset_minus_4);
 202       w3[0] = amd_bytealign (w1[3], w1[2], offset_minus_4);
 203       w2[3] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 204       w2[2] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 205       w2[1] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 206       w2[0] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 207       w1[3] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 208       w1[2] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 209       w1[1] = amd_bytealign (w0[0],     0, offset_minus_4);
 210       w1[0] = 0;
 211       w0[3] = 0;
 212       w0[2] = 0;
 213       w0[1] = 0;
 214       w0[0] = 0;
 215
 216       if (offset_mod_4 == 0)
 217       {
 218         w1[1] = w1[2];
 219         w1[2] = w1[3];
 220         w1[3] = w2[0];
 221         w2[0] = w2[1];
 222         w2[1] = w2[2];
 223         w2[2] = w2[3];
 224         w2[3] = w3[0];
 225         w3[0] = w3[1];
 226         w3[1] = w3[2];
 227         w3[2] = 0;
 228       }
 229
 230       break;
 231
 232     case 6:
 233       w3[2] = amd_bytealign (    0, w1[3], offset_minus_4);
 234       w3[1] = amd_bytealign (w1[3], w1[2], offset_minus_4);
 235       w3[0] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 236       w2[3] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 237       w2[2] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 238       w2[1] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 239       w2[0] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 240       w1[3] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 241       w1[2] = amd_bytealign (w0[0],     0, offset_minus_4);
 242       w1[1] = 0;
 243       w1[0] = 0;
 244       w0[3] = 0;
 245       w0[2] = 0;
 246       w0[1] = 0;
 247       w0[0] = 0;
 248
 249       if (offset_mod_4 == 0)
 250       {
 251         w1[2] = w1[3];
 252         w1[3] = w2[0];
 253         w2[0] = w2[1];
 254         w2[1] = w2[2];
 255         w2[2] = w2[3];
 256         w2[3] = w3[0];
 257         w3[0] = w3[1];
 258         w3[1] = w3[2];
 259         w3[2] = 0;
 260       }
 261
 262       break;
 263
 264     case 7:
 265       w3[2] = amd_bytealign (    0, w1[2], offset_minus_4);
 266       w3[1] = amd_bytealign (w1[2], w1[1], offset_minus_4);
 267       w3[0] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 268       w2[3] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 269       w2[2] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 270       w2[1] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 271       w2[0] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 272       w1[3] = amd_bytealign (w0[0],     0, offset_minus_4);
 273       w1[2] = 0;
 274       w1[1] = 0;
 275       w1[0] = 0;
 276       w0[3] = 0;
 277       w0[2] = 0;
 278       w0[1] = 0;
 279       w0[0] = 0;
 280
 281       if (offset_mod_4 == 0)
 282       {
 283         w1[3] = w2[0];
 284         w2[0] = w2[1];
 285         w2[1] = w2[2];
 286         w2[2] = w2[3];
 287         w2[3] = w3[0];
 288         w3[0] = w3[1];
 289         w3[1] = w3[2];
 290         w3[2] = 0;
 291       }
 292
 293       break;
 294
 295     case 8:
 296       w3[2] = amd_bytealign (    0, w1[1], offset_minus_4);
 297       w3[1] = amd_bytealign (w1[1], w1[0], offset_minus_4);
 298       w3[0] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 299       w2[3] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 300       w2[2] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 301       w2[1] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 302       w2[0] = amd_bytealign (w0[0],     0, offset_minus_4);
 303       w1[3] = 0;
 304       w1[2] = 0;
 305       w1[1] = 0;
 306       w1[0] = 0;
 307       w0[3] = 0;
 308       w0[2] = 0;
 309       w0[1] = 0;
 310       w0[0] = 0;
 311
 312       if (offset_mod_4 == 0)
 313       {
 314         w2[0] = w2[1];
 315         w2[1] = w2[2];
 316         w2[2] = w2[3];
 317         w2[3] = w3[0];
 318         w3[0] = w3[1];
 319         w3[1] = w3[2];
 320         w3[2] = 0;
 321       }
 322
 323       break;
 324
 325     case 9:
 326       w3[2] = amd_bytealign (    0, w1[0], offset_minus_4);
 327       w3[1] = amd_bytealign (w1[0], w0[3], offset_minus_4);
 328       w3[0] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 329       w2[3] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 330       w2[2] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 331       w2[1] = amd_bytealign (w0[0],     0, offset_minus_4);
 332       w2[0] = 0;
 333       w1[3] = 0;
 334       w1[2] = 0;
 335       w1[1] = 0;
 336       w1[0] = 0;
 337       w0[3] = 0;
 338       w0[2] = 0;
 339       w0[1] = 0;
 340       w0[0] = 0;
 341
 342       if (offset_mod_4 == 0)
 343       {
 344         w2[1] = w2[2];
 345         w2[2] = w2[3];
 346         w2[3] = w3[0];
 347         w3[0] = w3[1];
 348         w3[1] = w3[2];
 349         w3[2] = 0;
 350       }
 351
 352       break;
 353
 354     case 10:
 355       w3[2] = amd_bytealign (    0, w0[3], offset_minus_4);
 356       w3[1] = amd_bytealign (w0[3], w0[2], offset_minus_4);
 357       w3[0] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 358       w2[3] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 359       w2[2] = amd_bytealign (w0[0],     0, offset_minus_4);
 360       w2[1] = 0;
 361       w2[0] = 0;
 362       w1[3] = 0;
 363       w1[2] = 0;
 364       w1[1] = 0;
 365       w1[0] = 0;
 366       w0[3] = 0;
 367       w0[2] = 0;
 368       w0[1] = 0;
 369       w0[0] = 0;
 370
 371       if (offset_mod_4 == 0)
 372       {
 373         w2[2] = w2[3];
 374         w2[3] = w3[0];
 375         w3[0] = w3[1];
 376         w3[1] = w3[2];
 377         w3[2] = 0;
 378       }
 379
 380       break;
 381
 382     case 11:
 383       w3[2] = amd_bytealign (    0, w0[2], offset_minus_4);
 384       w3[1] = amd_bytealign (w0[2], w0[1], offset_minus_4);
 385       w3[0] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 386       w2[3] = amd_bytealign (w0[0],     0, offset_minus_4);
 387       w2[2] = 0;
 388       w2[1] = 0;
 389       w2[0] = 0;
 390       w1[3] = 0;
 391       w1[2] = 0;
 392       w1[1] = 0;
 393       w1[0] = 0;
 394       w0[3] = 0;
 395       w0[2] = 0;
 396       w0[1] = 0;
 397       w0[0] = 0;
 398
 399       if (offset_mod_4 == 0)
 400       {
 401         w2[3] = w3[0];
 402         w3[0] = w3[1];
 403         w3[1] = w3[2];
 404         w3[2] = 0;
 405       }
 406
 407       break;
 408
 409     case 12:
 410       w3[2] = amd_bytealign (    0, w0[1], offset_minus_4);
 411       w3[1] = amd_bytealign (w0[1], w0[0], offset_minus_4);
 412       w3[0] = amd_bytealign (w0[0],     0, offset_minus_4);
 413       w2[3] = 0;
 414       w2[2] = 0;
 415       w2[1] = 0;
 416       w2[0] = 0;
 417       w1[3] = 0;
 418       w1[2] = 0;
 419       w1[1] = 0;
 420       w1[0] = 0;
 421       w0[3] = 0;
 422       w0[2] = 0;
 423       w0[1] = 0;
 424       w0[0] = 0;
 425
 426       if (offset_mod_4 == 0)
 427       {
 428         w3[0] = w3[1];
 429         w3[1] = w3[2];
 430         w3[2] = 0;
 431       }
 432
 433       break;
 434
 435     case 13:
 436       w3[2] = amd_bytealign (    0, w0[0], offset_minus_4);
 437       w3[1] = amd_bytealign (w0[0],     0, offset_minus_4);
 438       w3[0] = 0;
 439       w2[3] = 0;
 440       w2[2] = 0;
 441       w2[1] = 0;
 442       w2[0] = 0;
 443       w1[3] = 0;
 444       w1[2] = 0;
 445       w1[1] = 0;
 446       w1[0] = 0;
 447       w0[3] = 0;
 448       w0[2] = 0;
 449       w0[1] = 0;
 450       w0[0] = 0;
 451
 452       if (offset_mod_4 == 0)
 453       {
 454         w3[1] = w3[2];
 455         w3[2] = 0;
 456       }
 457
 458       break;
 459   }
 460   #endif
 461
 462   #ifdef IS_NV
 463   const int offset_minus_4 = 4 - (offset % 4);
 464
 465   const int selector = (0x76543210 >> (offset_minus_4 * 4)) & 0xffff;
 466
 467   switch (offset / 4)
 468   {
 469     case 0:
 470       w3[1] = __byte_perm (w3[0], w3[1], selector);
 471       w3[0] = __byte_perm (w2[3], w3[0], selector);
 472       w2[3] = __byte_perm (w2[2], w2[3], selector);
 473       w2[2] = __byte_perm (w2[1], w2[2], selector);
 474       w2[1] = __byte_perm (w2[0], w2[1], selector);
 475       w2[0] = __byte_perm (w1[3], w2[0], selector);
 476       w1[3] = __byte_perm (w1[2], w1[3], selector);
 477       w1[2] = __byte_perm (w1[1], w1[2], selector);
 478       w1[1] = __byte_perm (w1[0], w1[1], selector);
 479       w1[0] = __byte_perm (w0[3], w1[0], selector);
 480       w0[3] = __byte_perm (w0[2], w0[3], selector);
 481       w0[2] = __byte_perm (w0[1], w0[2], selector);
 482       w0[1] = __byte_perm (w0[0], w0[1], selector);
 483       w0[0] = __byte_perm (    0, w0[0], selector);
 484
 485       break;
 486
 487     case 1:
 488       w3[1] = __byte_perm (w2[3], w3[0], selector);
 489       w3[0] = __byte_perm (w2[2], w2[3], selector);
 490       w2[3] = __byte_perm (w2[1], w2[2], selector);
 491       w2[2] = __byte_perm (w2[0], w2[1], selector);
 492       w2[1] = __byte_perm (w1[3], w2[0], selector);
 493       w2[0] = __byte_perm (w1[2], w1[3], selector);
 494       w1[3] = __byte_perm (w1[1], w1[2], selector);
 495       w1[2] = __byte_perm (w1[0], w1[1], selector);
 496       w1[1] = __byte_perm (w0[3], w1[0], selector);
 497       w1[0] = __byte_perm (w0[2], w0[3], selector);
 498       w0[3] = __byte_perm (w0[1], w0[2], selector);
 499       w0[2] = __byte_perm (w0[0], w0[1], selector);
 500       w0[1] = __byte_perm (    0, w0[0], selector);
 501       w0[0] = 0;
 502
 503       break;
 504
 505     case 2:
 506       w3[1] = __byte_perm (w2[2], w2[3], selector);
 507       w3[0] = __byte_perm (w2[1], w2[2], selector);
 508       w2[3] = __byte_perm (w2[0], w2[1], selector);
 509       w2[2] = __byte_perm (w1[3], w2[0], selector);
 510       w2[1] = __byte_perm (w1[2], w1[3], selector);
 511       w2[0] = __byte_perm (w1[1], w1[2], selector);
 512       w1[3] = __byte_perm (w1[0], w1[1], selector);
 513       w1[2] = __byte_perm (w0[3], w1[0], selector);
 514       w1[1] = __byte_perm (w0[2], w0[3], selector);
 515       w1[0] = __byte_perm (w0[1], w0[2], selector);
 516       w0[3] = __byte_perm (w0[0], w0[1], selector);
 517       w0[2] = __byte_perm (    0, w0[0], selector);
 518       w0[1] = 0;
 519       w0[0] = 0;
 520
 521       break;
 522
 523     case 3:
 524       w3[1] = __byte_perm (w2[1], w2[2], selector);
 525       w3[0] = __byte_perm (w2[0], w2[1], selector);
 526       w2[3] = __byte_perm (w1[3], w2[0], selector);
 527       w2[2] = __byte_perm (w1[2], w1[3], selector);
 528       w2[1] = __byte_perm (w1[1], w1[2], selector);
 529       w2[0] = __byte_perm (w1[0], w1[1], selector);
 530       w1[3] = __byte_perm (w0[3], w1[0], selector);
 531       w1[2] = __byte_perm (w0[2], w0[3], selector);
 532       w1[1] = __byte_perm (w0[1], w0[2], selector);
 533       w1[0] = __byte_perm (w0[0], w0[1], selector);
 534       w0[3] = __byte_perm (    0, w0[0], selector);
 535       w0[2] = 0;
 536       w0[1] = 0;
 537       w0[0] = 0;
 538
 539       break;
 540
 541     case 4:
 542       w3[1] = __byte_perm (w2[0], w2[1], selector);
 543       w3[0] = __byte_perm (w1[3], w2[0], selector);
 544       w2[3] = __byte_perm (w1[2], w1[3], selector);
 545       w2[2] = __byte_perm (w1[1], w1[2], selector);
 546       w2[1] = __byte_perm (w1[0], w1[1], selector);
 547       w2[0] = __byte_perm (w0[3], w1[0], selector);
 548       w1[3] = __byte_perm (w0[2], w0[3], selector);
 549       w1[2] = __byte_perm (w0[1], w0[2], selector);
 550       w1[1] = __byte_perm (w0[0], w0[1], selector);
 551       w1[0] = __byte_perm (    0, w0[0], selector);
 552       w0[3] = 0;
 553       w0[2] = 0;
 554       w0[1] = 0;
 555       w0[0] = 0;
 556
 557       break;
 558
 559     case 5:
 560       w3[1] = __byte_perm (w1[3], w2[0], selector);
 561       w3[0] = __byte_perm (w1[2], w1[3], selector);
 562       w2[3] = __byte_perm (w1[1], w1[2], selector);
 563       w2[2] = __byte_perm (w1[0], w1[1], selector);
 564       w2[1] = __byte_perm (w0[3], w1[0], selector);
 565       w2[0] = __byte_perm (w0[2], w0[3], selector);
 566       w1[3] = __byte_perm (w0[1], w0[2], selector);
 567       w1[2] = __byte_perm (w0[0], w0[1], selector);
 568       w1[1] = __byte_perm (    0, w0[0], selector);
 569       w1[0] = 0;
 570       w0[3] = 0;
 571       w0[2] = 0;
 572       w0[1] = 0;
 573       w0[0] = 0;
 574
 575       break;
 576
 577     case 6:
 578       w3[1] = __byte_perm (w1[2], w1[3], selector);
 579       w3[0] = __byte_perm (w1[1], w1[2], selector);
 580       w2[3] = __byte_perm (w1[0], w1[1], selector);
 581       w2[2] = __byte_perm (w0[3], w1[0], selector);
 582       w2[1] = __byte_perm (w0[2], w0[3], selector);
 583       w2[0] = __byte_perm (w0[1], w0[2], selector);
 584       w1[3] = __byte_perm (w0[0], w0[1], selector);
 585       w1[2] = __byte_perm (    0, w0[0], selector);
 586       w1[1] = 0;
 587       w1[0] = 0;
 588       w0[3] = 0;
 589       w0[2] = 0;
 590       w0[1] = 0;
 591       w0[0] = 0;
 592
 593       break;
 594
 595     case 7:
 596       w3[1] = __byte_perm (w1[1], w1[2], selector);
 597       w3[0] = __byte_perm (w1[0], w1[1], selector);
 598       w2[3] = __byte_perm (w0[3], w1[0], selector);
 599       w2[2] = __byte_perm (w0[2], w0[3], selector);
 600       w2[1] = __byte_perm (w0[1], w0[2], selector);
 601       w2[0] = __byte_perm (w0[0], w0[1], selector);
 602       w1[3] = __byte_perm (    0, w0[0], selector);
 603       w1[2] = 0;
 604       w1[1] = 0;
 605       w1[0] = 0;
 606       w0[3] = 0;
 607       w0[2] = 0;
 608       w0[1] = 0;
 609       w0[0] = 0;
 610
 611       break;
 612
 613     case 8:
 614       w3[1] = __byte_perm (w1[0], w1[1], selector);
 615       w3[0] = __byte_perm (w0[3], w1[0], selector);
 616       w2[3] = __byte_perm (w0[2], w0[3], selector);
 617       w2[2] = __byte_perm (w0[1], w0[2], selector);
 618       w2[1] = __byte_perm (w0[0], w0[1], selector);
 619       w2[0] = __byte_perm (    0, w0[0], selector);
 620       w1[3] = 0;
 621       w1[2] = 0;
 622       w1[1] = 0;
 623       w1[0] = 0;
 624       w0[3] = 0;
 625       w0[2] = 0;
 626       w0[1] = 0;
 627       w0[0] = 0;
 628
 629       break;
 630
 631     case 9:
 632       w3[1] = __byte_perm (w0[3], w1[0], selector);
 633       w3[0] = __byte_perm (w0[2], w0[3], selector);
 634       w2[3] = __byte_perm (w0[1], w0[2], selector);
 635       w2[2] = __byte_perm (w0[0], w0[1], selector);
 636       w2[1] = __byte_perm (    0, w0[0], selector);
 637       w2[0] = 0;
 638       w1[3] = 0;
 639       w1[2] = 0;
 640       w1[1] = 0;
 641       w1[0] = 0;
 642       w0[3] = 0;
 643       w0[2] = 0;
 644       w0[1] = 0;
 645       w0[0] = 0;
 646
 647       break;
 648
 649     case 10:
 650       w3[1] = __byte_perm (w0[2], w0[3], selector);
 651       w3[0] = __byte_perm (w0[1], w0[2], selector);
 652       w2[3] = __byte_perm (w0[0], w0[1], selector);
 653       w2[2] = __byte_perm (    0, w0[0], selector);
 654       w2[1] = 0;
 655       w2[0] = 0;
 656       w1[3] = 0;
 657       w1[2] = 0;
 658       w1[1] = 0;
 659       w1[0] = 0;
 660       w0[3] = 0;
 661       w0[2] = 0;
 662       w0[1] = 0;
 663       w0[0] = 0;
 664
 665       break;
 666
 667     case 11:
 668       w3[1] = __byte_perm (w0[1], w0[2], selector);
 669       w3[0] = __byte_perm (w0[0], w0[1], selector);
 670       w2[3] = __byte_perm (    0, w0[0], selector);
 671       w2[2] = 0;
 672       w2[1] = 0;
 673       w2[0] = 0;
 674       w1[3] = 0;
 675       w1[2] = 0;
 676       w1[1] = 0;
 677       w1[0] = 0;
 678       w0[3] = 0;
 679       w0[2] = 0;
 680       w0[1] = 0;
 681       w0[0] = 0;
 682
 683       break;
 684
 685     case 12:
 686       w3[1] = __byte_perm (w0[0], w0[1], selector);
 687       w3[0] = __byte_perm (    0, w0[0], selector);
 688       w2[3] = 0;
 689       w2[2] = 0;
 690       w2[1] = 0;
 691       w2[0] = 0;
 692       w1[3] = 0;
 693       w1[2] = 0;
 694       w1[1] = 0;
 695       w1[0] = 0;
 696       w0[3] = 0;
 697       w0[2] = 0;
 698       w0[1] = 0;
 699       w0[0] = 0;
 700
 701       break;
 702
 703     case 13:
 704       w3[1] = __byte_perm (    0, w0[0], selector);
 705       w3[0] = 0;
 706       w2[3] = 0;
 707       w2[2] = 0;
 708       w2[1] = 0;
 709       w2[0] = 0;
 710       w1[3] = 0;
 711       w1[2] = 0;
 712       w1[1] = 0;
 713       w1[0] = 0;
 714       w0[3] = 0;
 715       w0[2] = 0;
 716       w0[1] = 0;
 717       w0[0] = 0;
 718
 719       break;
 720   }
 721   #endif
 722 }
 723
 724 __kernel void amp (__global pw_t *pws, __global pw_t *pws_amp, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, const u32 combs_mode, const u32 gid_max)
 725 {
 726   const u32 gid = get_global_id (0);
 727
 728   if (gid >= gid_max) return;
 729
 730   const u32 pw_l_len = pws[gid].pw_len;
 731
 732   u32 wordl0[4];
 733
 734   wordl0[0] = pws[gid].i[ 0];
 735   wordl0[1] = pws[gid].i[ 1];
 736   wordl0[2] = pws[gid].i[ 2];
 737   wordl0[3] = pws[gid].i[ 3];
 738
 739   u32 wordl1[4];
 740
 741   wordl1[0] = pws[gid].i[ 4];
 742   wordl1[1] = pws[gid].i[ 5];
 743   wordl1[2] = pws[gid].i[ 6];
 744   wordl1[3] = pws[gid].i[ 7];
 745
 746   u32 wordl2[4];
 747
 748   wordl2[0] = 0;
 749   wordl2[1] = 0;
 750   wordl2[2] = 0;
 751   wordl2[3] = 0;
 752
 753   u32 wordl3[4];
 754
 755   wordl3[0] = 0;
 756   wordl3[1] = 0;
 757   wordl3[2] = 0;
 758   wordl3[3] = 0;
 759
 760   const u32 pw_r_len = combs_buf[0].pw_len;
 761
 762   u32 wordr0[4];
 763
 764   wordr0[0] = combs_buf[0].i[0];
 765   wordr0[1] = combs_buf[0].i[1];
 766   wordr0[2] = combs_buf[0].i[2];
 767   wordr0[3] = combs_buf[0].i[3];
 768
 769   u32 wordr1[4];
 770
 771   wordr1[0] = combs_buf[0].i[4];
 772   wordr1[1] = combs_buf[0].i[5];
 773   wordr1[2] = combs_buf[0].i[6];
 774   wordr1[3] = combs_buf[0].i[7];
 775
 776   u32 wordr2[4];
 777
 778   wordr2[0] = 0;
 779   wordr2[1] = 0;
 780   wordr2[2] = 0;
 781   wordr2[3] = 0;
 782
 783   u32 wordr3[4];
 784
 785   wordr3[0] = 0;
 786   wordr3[1] = 0;
 787   wordr3[2] = 0;
 788   wordr3[3] = 0;
 789
 790   if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 791   {
 792     switch_buffer_by_offset_le (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 793   }
 794
 795   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 796   {
 797     switch_buffer_by_offset_le (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 798   }
 799
 800   u32 w0[4];
 801
 802   w0[0] = wordl0[0] | wordr0[0];
 803   w0[1] = wordl0[1] | wordr0[1];
 804   w0[2] = wordl0[2] | wordr0[2];
 805   w0[3] = wordl0[3] | wordr0[3];
 806
 807   u32 w1[4];
 808
 809   w1[0] = wordl1[0] | wordr1[0];
 810   w1[1] = wordl1[1] | wordr1[1];
 811   w1[2] = wordl1[2] | wordr1[2];
 812   w1[3] = wordl1[3] | wordr1[3];
 813
 814   u32 w2[4];
 815
 816   w2[0] = wordl2[0] | wordr2[0];
 817   w2[1] = wordl2[1] | wordr2[1];
 818   w2[2] = wordl2[2] | wordr2[2];
 819   w2[3] = wordl2[3] | wordr2[3];
 820
 821   u32 w3[4];
 822
 823   w3[0] = wordl3[0] | wordr3[0];
 824   w3[1] = wordl3[1] | wordr3[1];
 825   w3[2] = wordl3[2] | wordr3[2];
 826   w3[3] = wordl3[3] | wordr3[3];
 827
 828   const u32 pw_len = pw_l_len + pw_r_len;
 829
 830   pws_amp[gid].i[ 0] = w0[0];
 831   pws_amp[gid].i[ 1] = w0[1];
 832   pws_amp[gid].i[ 2] = w0[2];
 833   pws_amp[gid].i[ 3] = w0[3];
 834   pws_amp[gid].i[ 4] = w1[0];
 835   pws_amp[gid].i[ 5] = w1[1];
 836   pws_amp[gid].i[ 6] = w1[2];
 837   pws_amp[gid].i[ 7] = w1[3];
 838   pws_amp[gid].i[ 8] = w2[0];
 839   pws_amp[gid].i[ 9] = w2[1];
 840   pws_amp[gid].i[10] = w2[2];
 841   pws_amp[gid].i[11] = w2[3];
 842   pws_amp[gid].i[12] = w3[0];
 843   pws_amp[gid].i[13] = w3[1];
 844   pws_amp[gid].i[14] = w3[2];
 845   pws_amp[gid].i[15] = w3[3];
 846
 847   pws_amp[gid].pw_len = pw_len;
 848 }