Merge tag 'mips_fixes_4.16_1' of git://git.kernel.org/pub/scm/linux/kernel/git/jhogan...
[muen/linux.git] / arch / mips / kernel / cps-vec.S
1 /*
2  * Copyright (C) 2013 Imagination Technologies
3  * Author: Paul Burton <paul.burton@mips.com>
4  *
5  * This program is free software; you can redistribute it and/or modify it
6  * under the terms of the GNU General Public License as published by the
7  * Free Software Foundation;  either version 2 of the  License, or (at your
8  * option) any later version.
9  */
10
11 #include <asm/addrspace.h>
12 #include <asm/asm.h>
13 #include <asm/asm-offsets.h>
14 #include <asm/asmmacro.h>
15 #include <asm/cacheops.h>
16 #include <asm/eva.h>
17 #include <asm/mipsregs.h>
18 #include <asm/mipsmtregs.h>
19 #include <asm/pm.h>
20
21 #define GCR_CPC_BASE_OFS        0x0088
22 #define GCR_CL_COHERENCE_OFS    0x2008
23 #define GCR_CL_ID_OFS           0x2028
24
25 #define CPC_CL_VC_STOP_OFS      0x2020
26 #define CPC_CL_VC_RUN_OFS       0x2028
27
28 .extern mips_cm_base
29
30 .set noreorder
31
32 #ifdef CONFIG_64BIT
33 # define STATUS_BITDEPS         ST0_KX
34 #else
35 # define STATUS_BITDEPS         0
36 #endif
37
38 #ifdef CONFIG_MIPS_CPS_NS16550
39
40 #define DUMP_EXCEP(name)                \
41         PTR_LA  a0, 8f;                 \
42         jal     mips_cps_bev_dump;      \
43          nop;                           \
44         TEXT(name)
45
46 #else /* !CONFIG_MIPS_CPS_NS16550 */
47
48 #define DUMP_EXCEP(name)
49
50 #endif /* !CONFIG_MIPS_CPS_NS16550 */
51
52         /*
53          * Set dest to non-zero if the core supports the MT ASE, else zero. If
54          * MT is not supported then branch to nomt.
55          */
56         .macro  has_mt  dest, nomt
57         mfc0    \dest, CP0_CONFIG, 1
58         bgez    \dest, \nomt
59          mfc0   \dest, CP0_CONFIG, 2
60         bgez    \dest, \nomt
61          mfc0   \dest, CP0_CONFIG, 3
62         andi    \dest, \dest, MIPS_CONF3_MT
63         beqz    \dest, \nomt
64          nop
65         .endm
66
67         /*
68          * Set dest to non-zero if the core supports MIPSr6 multithreading
69          * (ie. VPs), else zero. If MIPSr6 multithreading is not supported then
70          * branch to nomt.
71          */
72         .macro  has_vp  dest, nomt
73         mfc0    \dest, CP0_CONFIG, 1
74         bgez    \dest, \nomt
75          mfc0   \dest, CP0_CONFIG, 2
76         bgez    \dest, \nomt
77          mfc0   \dest, CP0_CONFIG, 3
78         bgez    \dest, \nomt
79          mfc0   \dest, CP0_CONFIG, 4
80         bgez    \dest, \nomt
81          mfc0   \dest, CP0_CONFIG, 5
82         andi    \dest, \dest, MIPS_CONF5_VP
83         beqz    \dest, \nomt
84          nop
85         .endm
86
87         /* Calculate an uncached address for the CM GCRs */
88         .macro  cmgcrb  dest
89         .set    push
90         .set    noat
91         MFC0    $1, CP0_CMGCRBASE
92         PTR_SLL $1, $1, 4
93         PTR_LI  \dest, UNCAC_BASE
94         PTR_ADDU \dest, \dest, $1
95         .set    pop
96         .endm
97
98 .section .text.cps-vec
99 .balign 0x1000
100
101 LEAF(mips_cps_core_entry)
102         /*
103          * These first 4 bytes will be patched by cps_smp_setup to load the
104          * CCA to use into register s0.
105          */
106         .word   0
107
108         /* Check whether we're here due to an NMI */
109         mfc0    k0, CP0_STATUS
110         and     k0, k0, ST0_NMI
111         beqz    k0, not_nmi
112          nop
113
114         /* This is an NMI */
115         PTR_LA  k0, nmi_handler
116         jr      k0
117          nop
118
119 not_nmi:
120         /* Setup Cause */
121         li      t0, CAUSEF_IV
122         mtc0    t0, CP0_CAUSE
123
124         /* Setup Status */
125         li      t0, ST0_CU1 | ST0_CU0 | ST0_BEV | STATUS_BITDEPS
126         mtc0    t0, CP0_STATUS
127
128         /* Skip cache & coherence setup if we're already coherent */
129         cmgcrb  v1
130         lw      s7, GCR_CL_COHERENCE_OFS(v1)
131         bnez    s7, 1f
132          nop
133
134         /* Initialize the L1 caches */
135         jal     mips_cps_cache_init
136          nop
137
138         /* Enter the coherent domain */
139         li      t0, 0xff
140         sw      t0, GCR_CL_COHERENCE_OFS(v1)
141         ehb
142
143         /* Set Kseg0 CCA to that in s0 */
144 1:      mfc0    t0, CP0_CONFIG
145         ori     t0, 0x7
146         xori    t0, 0x7
147         or      t0, t0, s0
148         mtc0    t0, CP0_CONFIG
149         ehb
150
151         /* Jump to kseg0 */
152         PTR_LA  t0, 1f
153         jr      t0
154          nop
155
156         /*
157          * We're up, cached & coherent. Perform any EVA initialization necessary
158          * before we access memory.
159          */
160 1:      eva_init
161
162         /* Retrieve boot configuration pointers */
163         jal     mips_cps_get_bootcfg
164          nop
165
166         /* Skip core-level init if we started up coherent */
167         bnez    s7, 1f
168          nop
169
170         /* Perform any further required core-level initialisation */
171         jal     mips_cps_core_init
172          nop
173
174         /*
175          * Boot any other VPEs within this core that should be online, and
176          * deactivate this VPE if it should be offline.
177          */
178         move    a1, t9
179         jal     mips_cps_boot_vpes
180          move   a0, v0
181
182         /* Off we go! */
183 1:      PTR_L   t1, VPEBOOTCFG_PC(v1)
184         PTR_L   gp, VPEBOOTCFG_GP(v1)
185         PTR_L   sp, VPEBOOTCFG_SP(v1)
186         jr      t1
187          nop
188         END(mips_cps_core_entry)
189
190 .org 0x200
191 LEAF(excep_tlbfill)
192         DUMP_EXCEP("TLB Fill")
193         b       .
194          nop
195         END(excep_tlbfill)
196
197 .org 0x280
198 LEAF(excep_xtlbfill)
199         DUMP_EXCEP("XTLB Fill")
200         b       .
201          nop
202         END(excep_xtlbfill)
203
204 .org 0x300
205 LEAF(excep_cache)
206         DUMP_EXCEP("Cache")
207         b       .
208          nop
209         END(excep_cache)
210
211 .org 0x380
212 LEAF(excep_genex)
213         DUMP_EXCEP("General")
214         b       .
215          nop
216         END(excep_genex)
217
218 .org 0x400
219 LEAF(excep_intex)
220         DUMP_EXCEP("Interrupt")
221         b       .
222          nop
223         END(excep_intex)
224
225 .org 0x480
226 LEAF(excep_ejtag)
227         PTR_LA  k0, ejtag_debug_handler
228         jr      k0
229          nop
230         END(excep_ejtag)
231
232 LEAF(mips_cps_core_init)
233 #ifdef CONFIG_MIPS_MT_SMP
234         /* Check that the core implements the MT ASE */
235         has_mt  t0, 3f
236
237         .set    push
238         .set    MIPS_ISA_LEVEL_RAW
239         .set    mt
240
241         /* Only allow 1 TC per VPE to execute... */
242         dmt
243
244         /* ...and for the moment only 1 VPE */
245         dvpe
246         PTR_LA  t1, 1f
247         jr.hb   t1
248          nop
249
250         /* Enter VPE configuration state */
251 1:      mfc0    t0, CP0_MVPCONTROL
252         ori     t0, t0, MVPCONTROL_VPC
253         mtc0    t0, CP0_MVPCONTROL
254
255         /* Retrieve the number of VPEs within the core */
256         mfc0    t0, CP0_MVPCONF0
257         srl     t0, t0, MVPCONF0_PVPE_SHIFT
258         andi    t0, t0, (MVPCONF0_PVPE >> MVPCONF0_PVPE_SHIFT)
259         addiu   ta3, t0, 1
260
261         /* If there's only 1, we're done */
262         beqz    t0, 2f
263          nop
264
265         /* Loop through each VPE within this core */
266         li      ta1, 1
267
268 1:      /* Operate on the appropriate TC */
269         mtc0    ta1, CP0_VPECONTROL
270         ehb
271
272         /* Bind TC to VPE (1:1 TC:VPE mapping) */
273         mttc0   ta1, CP0_TCBIND
274
275         /* Set exclusive TC, non-active, master */
276         li      t0, VPECONF0_MVP
277         sll     t1, ta1, VPECONF0_XTC_SHIFT
278         or      t0, t0, t1
279         mttc0   t0, CP0_VPECONF0
280
281         /* Set TC non-active, non-allocatable */
282         mttc0   zero, CP0_TCSTATUS
283
284         /* Set TC halted */
285         li      t0, TCHALT_H
286         mttc0   t0, CP0_TCHALT
287
288         /* Next VPE */
289         addiu   ta1, ta1, 1
290         slt     t0, ta1, ta3
291         bnez    t0, 1b
292          nop
293
294         /* Leave VPE configuration state */
295 2:      mfc0    t0, CP0_MVPCONTROL
296         xori    t0, t0, MVPCONTROL_VPC
297         mtc0    t0, CP0_MVPCONTROL
298
299 3:      .set    pop
300 #endif
301         jr      ra
302          nop
303         END(mips_cps_core_init)
304
305 /**
306  * mips_cps_get_bootcfg() - retrieve boot configuration pointers
307  *
308  * Returns: pointer to struct core_boot_config in v0, pointer to
309  *          struct vpe_boot_config in v1, VPE ID in t9
310  */
311 LEAF(mips_cps_get_bootcfg)
312         /* Calculate a pointer to this cores struct core_boot_config */
313         cmgcrb  t0
314         lw      t0, GCR_CL_ID_OFS(t0)
315         li      t1, COREBOOTCFG_SIZE
316         mul     t0, t0, t1
317         PTR_LA  t1, mips_cps_core_bootcfg
318         PTR_L   t1, 0(t1)
319         PTR_ADDU v0, t0, t1
320
321         /* Calculate this VPEs ID. If the core doesn't support MT use 0 */
322         li      t9, 0
323 #if defined(CONFIG_CPU_MIPSR6)
324         has_vp  ta2, 1f
325
326         /*
327          * Assume non-contiguous numbering. Perhaps some day we'll need
328          * to handle contiguous VP numbering, but no such systems yet
329          * exist.
330          */
331         mfc0    t9, CP0_GLOBALNUMBER
332         andi    t9, t9, MIPS_GLOBALNUMBER_VP
333 #elif defined(CONFIG_MIPS_MT_SMP)
334         has_mt  ta2, 1f
335
336         /* Find the number of VPEs present in the core */
337         mfc0    t1, CP0_MVPCONF0
338         srl     t1, t1, MVPCONF0_PVPE_SHIFT
339         andi    t1, t1, MVPCONF0_PVPE >> MVPCONF0_PVPE_SHIFT
340         addiu   t1, t1, 1
341
342         /* Calculate a mask for the VPE ID from EBase.CPUNum */
343         clz     t1, t1
344         li      t2, 31
345         subu    t1, t2, t1
346         li      t2, 1
347         sll     t1, t2, t1
348         addiu   t1, t1, -1
349
350         /* Retrieve the VPE ID from EBase.CPUNum */
351         mfc0    t9, $15, 1
352         and     t9, t9, t1
353 #endif
354
355 1:      /* Calculate a pointer to this VPEs struct vpe_boot_config */
356         li      t1, VPEBOOTCFG_SIZE
357         mul     v1, t9, t1
358         PTR_L   ta3, COREBOOTCFG_VPECONFIG(v0)
359         PTR_ADDU v1, v1, ta3
360
361         jr      ra
362          nop
363         END(mips_cps_get_bootcfg)
364
365 LEAF(mips_cps_boot_vpes)
366         lw      ta2, COREBOOTCFG_VPEMASK(a0)
367         PTR_L   ta3, COREBOOTCFG_VPECONFIG(a0)
368
369 #if defined(CONFIG_CPU_MIPSR6)
370
371         has_vp  t0, 5f
372
373         /* Find base address of CPC */
374         cmgcrb  t3
375         PTR_L   t1, GCR_CPC_BASE_OFS(t3)
376         PTR_LI  t2, ~0x7fff
377         and     t1, t1, t2
378         PTR_LI  t2, UNCAC_BASE
379         PTR_ADD t1, t1, t2
380
381         /* Start any other VPs that ought to be running */
382         PTR_S   ta2, CPC_CL_VC_RUN_OFS(t1)
383
384         /* Ensure this VP stops running if it shouldn't be */
385         not     ta2
386         PTR_S   ta2, CPC_CL_VC_STOP_OFS(t1)
387         ehb
388
389 #elif defined(CONFIG_MIPS_MT)
390
391         /* If the core doesn't support MT then return */
392         has_mt  t0, 5f
393
394         /* Enter VPE configuration state */
395         .set    push
396         .set    MIPS_ISA_LEVEL_RAW
397         .set    mt
398         dvpe
399         .set    pop
400
401         PTR_LA  t1, 1f
402         jr.hb   t1
403          nop
404 1:      mfc0    t1, CP0_MVPCONTROL
405         ori     t1, t1, MVPCONTROL_VPC
406         mtc0    t1, CP0_MVPCONTROL
407         ehb
408
409         /* Loop through each VPE */
410         move    t8, ta2
411         li      ta1, 0
412
413         /* Check whether the VPE should be running. If not, skip it */
414 1:      andi    t0, ta2, 1
415         beqz    t0, 2f
416          nop
417
418         /* Operate on the appropriate TC */
419         mfc0    t0, CP0_VPECONTROL
420         ori     t0, t0, VPECONTROL_TARGTC
421         xori    t0, t0, VPECONTROL_TARGTC
422         or      t0, t0, ta1
423         mtc0    t0, CP0_VPECONTROL
424         ehb
425
426         .set    push
427         .set    MIPS_ISA_LEVEL_RAW
428         .set    mt
429
430         /* Skip the VPE if its TC is not halted */
431         mftc0   t0, CP0_TCHALT
432         beqz    t0, 2f
433          nop
434
435         /* Calculate a pointer to the VPEs struct vpe_boot_config */
436         li      t0, VPEBOOTCFG_SIZE
437         mul     t0, t0, ta1
438         addu    t0, t0, ta3
439
440         /* Set the TC restart PC */
441         lw      t1, VPEBOOTCFG_PC(t0)
442         mttc0   t1, CP0_TCRESTART
443
444         /* Set the TC stack pointer */
445         lw      t1, VPEBOOTCFG_SP(t0)
446         mttgpr  t1, sp
447
448         /* Set the TC global pointer */
449         lw      t1, VPEBOOTCFG_GP(t0)
450         mttgpr  t1, gp
451
452         /* Copy config from this VPE */
453         mfc0    t0, CP0_CONFIG
454         mttc0   t0, CP0_CONFIG
455
456         /*
457          * Copy the EVA config from this VPE if the CPU supports it.
458          * CONFIG3 must exist to be running MT startup - just read it.
459          */
460         mfc0    t0, CP0_CONFIG, 3
461         and     t0, t0, MIPS_CONF3_SC
462         beqz    t0, 3f
463          nop
464         mfc0    t0, CP0_SEGCTL0
465         mttc0   t0, CP0_SEGCTL0
466         mfc0    t0, CP0_SEGCTL1
467         mttc0   t0, CP0_SEGCTL1
468         mfc0    t0, CP0_SEGCTL2
469         mttc0   t0, CP0_SEGCTL2
470 3:
471         /* Ensure no software interrupts are pending */
472         mttc0   zero, CP0_CAUSE
473         mttc0   zero, CP0_STATUS
474
475         /* Set TC active, not interrupt exempt */
476         mftc0   t0, CP0_TCSTATUS
477         li      t1, ~TCSTATUS_IXMT
478         and     t0, t0, t1
479         ori     t0, t0, TCSTATUS_A
480         mttc0   t0, CP0_TCSTATUS
481
482         /* Clear the TC halt bit */
483         mttc0   zero, CP0_TCHALT
484
485         /* Set VPE active */
486         mftc0   t0, CP0_VPECONF0
487         ori     t0, t0, VPECONF0_VPA
488         mttc0   t0, CP0_VPECONF0
489
490         /* Next VPE */
491 2:      srl     ta2, ta2, 1
492         addiu   ta1, ta1, 1
493         bnez    ta2, 1b
494          nop
495
496         /* Leave VPE configuration state */
497         mfc0    t1, CP0_MVPCONTROL
498         xori    t1, t1, MVPCONTROL_VPC
499         mtc0    t1, CP0_MVPCONTROL
500         ehb
501         evpe
502
503         .set    pop
504
505         /* Check whether this VPE is meant to be running */
506         li      t0, 1
507         sll     t0, t0, a1
508         and     t0, t0, t8
509         bnez    t0, 2f
510          nop
511
512         /* This VPE should be offline, halt the TC */
513         li      t0, TCHALT_H
514         mtc0    t0, CP0_TCHALT
515         PTR_LA  t0, 1f
516 1:      jr.hb   t0
517          nop
518
519 2:
520
521 #endif /* CONFIG_MIPS_MT_SMP */
522
523         /* Return */
524 5:      jr      ra
525          nop
526         END(mips_cps_boot_vpes)
527
528 LEAF(mips_cps_cache_init)
529         /*
530          * Clear the bits used to index the caches. Note that the architecture
531          * dictates that writing to any of TagLo or TagHi selects 0 or 2 should
532          * be valid for all MIPS32 CPUs, even those for which said writes are
533          * unnecessary.
534          */
535         mtc0    zero, CP0_TAGLO, 0
536         mtc0    zero, CP0_TAGHI, 0
537         mtc0    zero, CP0_TAGLO, 2
538         mtc0    zero, CP0_TAGHI, 2
539         ehb
540
541         /* Primary cache configuration is indicated by Config1 */
542         mfc0    v0, CP0_CONFIG, 1
543
544         /* Detect I-cache line size */
545         _EXT    t0, v0, MIPS_CONF1_IL_SHF, MIPS_CONF1_IL_SZ
546         beqz    t0, icache_done
547          li     t1, 2
548         sllv    t0, t1, t0
549
550         /* Detect I-cache size */
551         _EXT    t1, v0, MIPS_CONF1_IS_SHF, MIPS_CONF1_IS_SZ
552         xori    t2, t1, 0x7
553         beqz    t2, 1f
554          li     t3, 32
555         addiu   t1, t1, 1
556         sllv    t1, t3, t1
557 1:      /* At this point t1 == I-cache sets per way */
558         _EXT    t2, v0, MIPS_CONF1_IA_SHF, MIPS_CONF1_IA_SZ
559         addiu   t2, t2, 1
560         mul     t1, t1, t0
561         mul     t1, t1, t2
562
563         li      a0, CKSEG0
564         PTR_ADD a1, a0, t1
565 1:      cache   Index_Store_Tag_I, 0(a0)
566         PTR_ADD a0, a0, t0
567         bne     a0, a1, 1b
568          nop
569 icache_done:
570
571         /* Detect D-cache line size */
572         _EXT    t0, v0, MIPS_CONF1_DL_SHF, MIPS_CONF1_DL_SZ
573         beqz    t0, dcache_done
574          li     t1, 2
575         sllv    t0, t1, t0
576
577         /* Detect D-cache size */
578         _EXT    t1, v0, MIPS_CONF1_DS_SHF, MIPS_CONF1_DS_SZ
579         xori    t2, t1, 0x7
580         beqz    t2, 1f
581          li     t3, 32
582         addiu   t1, t1, 1
583         sllv    t1, t3, t1
584 1:      /* At this point t1 == D-cache sets per way */
585         _EXT    t2, v0, MIPS_CONF1_DA_SHF, MIPS_CONF1_DA_SZ
586         addiu   t2, t2, 1
587         mul     t1, t1, t0
588         mul     t1, t1, t2
589
590         li      a0, CKSEG0
591         PTR_ADDU a1, a0, t1
592         PTR_SUBU a1, a1, t0
593 1:      cache   Index_Store_Tag_D, 0(a0)
594         bne     a0, a1, 1b
595          PTR_ADD a0, a0, t0
596 dcache_done:
597
598         jr      ra
599          nop
600         END(mips_cps_cache_init)
601
602 #if defined(CONFIG_MIPS_CPS_PM) && defined(CONFIG_CPU_PM)
603
604         /* Calculate a pointer to this CPUs struct mips_static_suspend_state */
605         .macro  psstate dest
606         .set    push
607         .set    noat
608         lw      $1, TI_CPU(gp)
609         sll     $1, $1, LONGLOG
610         PTR_LA  \dest, __per_cpu_offset
611         addu    $1, $1, \dest
612         lw      $1, 0($1)
613         PTR_LA  \dest, cps_cpu_state
614         addu    \dest, \dest, $1
615         .set    pop
616         .endm
617
618 LEAF(mips_cps_pm_save)
619         /* Save CPU state */
620         SUSPEND_SAVE_REGS
621         psstate t1
622         SUSPEND_SAVE_STATIC
623         jr      v0
624          nop
625         END(mips_cps_pm_save)
626
627 LEAF(mips_cps_pm_restore)
628         /* Restore CPU state */
629         psstate t1
630         RESUME_RESTORE_STATIC
631         RESUME_RESTORE_REGS_RETURN
632         END(mips_cps_pm_restore)
633
634 #endif /* CONFIG_MIPS_CPS_PM && CONFIG_CPU_PM */