424e7265e7908fcfb2f42639ab24908829c5b0bb
[muen/linux.git] / arch / powerpc / kernel / entry_32.S
1 /*
2  *  PowerPC version
3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
6  *  Adapted for Power Macintosh by Paul Mackerras.
7  *  Low-level exception handlers and MMU support
8  *  rewritten by Paul Mackerras.
9  *    Copyright (C) 1996 Paul Mackerras.
10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
11  *
12  *  This file contains the system call entry code, context switch
13  *  code, and exception/interrupt return code for PowerPC.
14  *
15  *  This program is free software; you can redistribute it and/or
16  *  modify it under the terms of the GNU General Public License
17  *  as published by the Free Software Foundation; either version
18  *  2 of the License, or (at your option) any later version.
19  *
20  */
21
22 #include <linux/errno.h>
23 #include <linux/err.h>
24 #include <linux/sys.h>
25 #include <linux/threads.h>
26 #include <asm/reg.h>
27 #include <asm/page.h>
28 #include <asm/mmu.h>
29 #include <asm/cputable.h>
30 #include <asm/thread_info.h>
31 #include <asm/ppc_asm.h>
32 #include <asm/asm-offsets.h>
33 #include <asm/unistd.h>
34 #include <asm/ptrace.h>
35 #include <asm/export.h>
36 #include <asm/asm-405.h>
37 #include <asm/feature-fixups.h>
38 #include <asm/barrier.h>
39
40 /*
41  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
42  */
43 #if MSR_KERNEL >= 0x10000
44 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
45 #else
46 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
47 #endif
48
49 /*
50  * Align to 4k in order to ensure that all functions modyfing srr0/srr1
51  * fit into one page in order to not encounter a TLB miss between the
52  * modification of srr0/srr1 and the associated rfi.
53  */
54         .align  12
55
56 #ifdef CONFIG_BOOKE
57         .globl  mcheck_transfer_to_handler
58 mcheck_transfer_to_handler:
59         mfspr   r0,SPRN_DSRR0
60         stw     r0,_DSRR0(r11)
61         mfspr   r0,SPRN_DSRR1
62         stw     r0,_DSRR1(r11)
63         /* fall through */
64
65         .globl  debug_transfer_to_handler
66 debug_transfer_to_handler:
67         mfspr   r0,SPRN_CSRR0
68         stw     r0,_CSRR0(r11)
69         mfspr   r0,SPRN_CSRR1
70         stw     r0,_CSRR1(r11)
71         /* fall through */
72
73         .globl  crit_transfer_to_handler
74 crit_transfer_to_handler:
75 #ifdef CONFIG_PPC_BOOK3E_MMU
76         mfspr   r0,SPRN_MAS0
77         stw     r0,MAS0(r11)
78         mfspr   r0,SPRN_MAS1
79         stw     r0,MAS1(r11)
80         mfspr   r0,SPRN_MAS2
81         stw     r0,MAS2(r11)
82         mfspr   r0,SPRN_MAS3
83         stw     r0,MAS3(r11)
84         mfspr   r0,SPRN_MAS6
85         stw     r0,MAS6(r11)
86 #ifdef CONFIG_PHYS_64BIT
87         mfspr   r0,SPRN_MAS7
88         stw     r0,MAS7(r11)
89 #endif /* CONFIG_PHYS_64BIT */
90 #endif /* CONFIG_PPC_BOOK3E_MMU */
91 #ifdef CONFIG_44x
92         mfspr   r0,SPRN_MMUCR
93         stw     r0,MMUCR(r11)
94 #endif
95         mfspr   r0,SPRN_SRR0
96         stw     r0,_SRR0(r11)
97         mfspr   r0,SPRN_SRR1
98         stw     r0,_SRR1(r11)
99
100         /* set the stack limit to the current stack */
101         mfspr   r8,SPRN_SPRG_THREAD
102         lwz     r0,KSP_LIMIT(r8)
103         stw     r0,SAVED_KSP_LIMIT(r11)
104         rlwinm  r0,r1,0,0,(31 - THREAD_SHIFT)
105         stw     r0,KSP_LIMIT(r8)
106         /* fall through */
107 #endif
108
109 #ifdef CONFIG_40x
110         .globl  crit_transfer_to_handler
111 crit_transfer_to_handler:
112         lwz     r0,crit_r10@l(0)
113         stw     r0,GPR10(r11)
114         lwz     r0,crit_r11@l(0)
115         stw     r0,GPR11(r11)
116         mfspr   r0,SPRN_SRR0
117         stw     r0,crit_srr0@l(0)
118         mfspr   r0,SPRN_SRR1
119         stw     r0,crit_srr1@l(0)
120
121         /* set the stack limit to the current stack */
122         mfspr   r8,SPRN_SPRG_THREAD
123         lwz     r0,KSP_LIMIT(r8)
124         stw     r0,saved_ksp_limit@l(0)
125         rlwinm  r0,r1,0,0,(31 - THREAD_SHIFT)
126         stw     r0,KSP_LIMIT(r8)
127         /* fall through */
128 #endif
129
130 /*
131  * This code finishes saving the registers to the exception frame
132  * and jumps to the appropriate handler for the exception, turning
133  * on address translation.
134  * Note that we rely on the caller having set cr0.eq iff the exception
135  * occurred in kernel mode (i.e. MSR:PR = 0).
136  */
137         .globl  transfer_to_handler_full
138 transfer_to_handler_full:
139         SAVE_NVGPRS(r11)
140         /* fall through */
141
142         .globl  transfer_to_handler
143 transfer_to_handler:
144         stw     r2,GPR2(r11)
145         stw     r12,_NIP(r11)
146         stw     r9,_MSR(r11)
147         andi.   r2,r9,MSR_PR
148         mfctr   r12
149         mfspr   r2,SPRN_XER
150         stw     r12,_CTR(r11)
151         stw     r2,_XER(r11)
152         mfspr   r12,SPRN_SPRG_THREAD
153         addi    r2,r12,-THREAD
154         tovirt(r2,r2)                   /* set r2 to current */
155         beq     2f                      /* if from user, fix up THREAD.regs */
156         addi    r11,r1,STACK_FRAME_OVERHEAD
157         stw     r11,PT_REGS(r12)
158 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
159         /* Check to see if the dbcr0 register is set up to debug.  Use the
160            internal debug mode bit to do this. */
161         lwz     r12,THREAD_DBCR0(r12)
162         andis.  r12,r12,DBCR0_IDM@h
163 #endif
164 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
165         CURRENT_THREAD_INFO(r9, r1)
166         tophys(r9, r9)
167         ACCOUNT_CPU_USER_ENTRY(r9, r11, r12)
168 #endif
169 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
170         beq+    3f
171         /* From user and task is ptraced - load up global dbcr0 */
172         li      r12,-1                  /* clear all pending debug events */
173         mtspr   SPRN_DBSR,r12
174         lis     r11,global_dbcr0@ha
175         tophys(r11,r11)
176         addi    r11,r11,global_dbcr0@l
177 #ifdef CONFIG_SMP
178         CURRENT_THREAD_INFO(r9, r1)
179         lwz     r9,TI_CPU(r9)
180         slwi    r9,r9,3
181         add     r11,r11,r9
182 #endif
183         lwz     r12,0(r11)
184         mtspr   SPRN_DBCR0,r12
185         lwz     r12,4(r11)
186         addi    r12,r12,-1
187         stw     r12,4(r11)
188 #endif
189
190         b       3f
191
192 2:      /* if from kernel, check interrupted DOZE/NAP mode and
193          * check for stack overflow
194          */
195         lwz     r9,KSP_LIMIT(r12)
196         cmplw   r1,r9                   /* if r1 <= ksp_limit */
197         ble-    stack_ovf               /* then the kernel stack overflowed */
198 5:
199 #if defined(CONFIG_PPC_BOOK3S_32) || defined(CONFIG_E500)
200         CURRENT_THREAD_INFO(r9, r1)
201         tophys(r9,r9)                   /* check local flags */
202         lwz     r12,TI_LOCAL_FLAGS(r9)
203         mtcrf   0x01,r12
204         bt-     31-TLF_NAPPING,4f
205         bt-     31-TLF_SLEEPING,7f
206 #endif /* CONFIG_PPC_BOOK3S_32 || CONFIG_E500 */
207         .globl transfer_to_handler_cont
208 transfer_to_handler_cont:
209 3:
210         mflr    r9
211         lwz     r11,0(r9)               /* virtual address of handler */
212         lwz     r9,4(r9)                /* where to go when done */
213 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
214         mtspr   SPRN_NRI, r0
215 #endif
216 #ifdef CONFIG_TRACE_IRQFLAGS
217         lis     r12,reenable_mmu@h
218         ori     r12,r12,reenable_mmu@l
219         mtspr   SPRN_SRR0,r12
220         mtspr   SPRN_SRR1,r10
221         SYNC
222         RFI
223 reenable_mmu:                           /* re-enable mmu so we can */
224         mfmsr   r10
225         lwz     r12,_MSR(r1)
226         xor     r10,r10,r12
227         andi.   r10,r10,MSR_EE          /* Did EE change? */
228         beq     1f
229
230         /*
231          * The trace_hardirqs_off will use CALLER_ADDR0 and CALLER_ADDR1.
232          * If from user mode there is only one stack frame on the stack, and
233          * accessing CALLER_ADDR1 will cause oops. So we need create a dummy
234          * stack frame to make trace_hardirqs_off happy.
235          *
236          * This is handy because we also need to save a bunch of GPRs,
237          * r3 can be different from GPR3(r1) at this point, r9 and r11
238          * contains the old MSR and handler address respectively,
239          * r4 & r5 can contain page fault arguments that need to be passed
240          * along as well. r12, CCR, CTR, XER etc... are left clobbered as
241          * they aren't useful past this point (aren't syscall arguments),
242          * the rest is restored from the exception frame.
243          */
244         stwu    r1,-32(r1)
245         stw     r9,8(r1)
246         stw     r11,12(r1)
247         stw     r3,16(r1)
248         stw     r4,20(r1)
249         stw     r5,24(r1)
250         bl      trace_hardirqs_off
251         lwz     r5,24(r1)
252         lwz     r4,20(r1)
253         lwz     r3,16(r1)
254         lwz     r11,12(r1)
255         lwz     r9,8(r1)
256         addi    r1,r1,32
257         lwz     r0,GPR0(r1)
258         lwz     r6,GPR6(r1)
259         lwz     r7,GPR7(r1)
260         lwz     r8,GPR8(r1)
261 1:      mtctr   r11
262         mtlr    r9
263         bctr                            /* jump to handler */
264 #else /* CONFIG_TRACE_IRQFLAGS */
265         mtspr   SPRN_SRR0,r11
266         mtspr   SPRN_SRR1,r10
267         mtlr    r9
268         SYNC
269         RFI                             /* jump to handler, enable MMU */
270 #endif /* CONFIG_TRACE_IRQFLAGS */
271
272 #if defined (CONFIG_PPC_BOOK3S_32) || defined(CONFIG_E500)
273 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
274         stw     r12,TI_LOCAL_FLAGS(r9)
275         b       power_save_ppc32_restore
276
277 7:      rlwinm  r12,r12,0,~_TLF_SLEEPING
278         stw     r12,TI_LOCAL_FLAGS(r9)
279         lwz     r9,_MSR(r11)            /* if sleeping, clear MSR.EE */
280         rlwinm  r9,r9,0,~MSR_EE
281         lwz     r12,_LINK(r11)          /* and return to address in LR */
282         b       fast_exception_return
283 #endif
284
285 /*
286  * On kernel stack overflow, load up an initial stack pointer
287  * and call StackOverflow(regs), which should not return.
288  */
289 stack_ovf:
290         /* sometimes we use a statically-allocated stack, which is OK. */
291         lis     r12,_end@h
292         ori     r12,r12,_end@l
293         cmplw   r1,r12
294         ble     5b                      /* r1 <= &_end is OK */
295         SAVE_NVGPRS(r11)
296         addi    r3,r1,STACK_FRAME_OVERHEAD
297         lis     r1,init_thread_union@ha
298         addi    r1,r1,init_thread_union@l
299         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
300         lis     r9,StackOverflow@ha
301         addi    r9,r9,StackOverflow@l
302         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
303 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
304         mtspr   SPRN_NRI, r0
305 #endif
306         mtspr   SPRN_SRR0,r9
307         mtspr   SPRN_SRR1,r10
308         SYNC
309         RFI
310
311 /*
312  * Handle a system call.
313  */
314         .stabs  "arch/powerpc/kernel/",N_SO,0,0,0f
315         .stabs  "entry_32.S",N_SO,0,0,0f
316 0:
317
318 _GLOBAL(DoSyscall)
319         stw     r3,ORIG_GPR3(r1)
320         li      r12,0
321         stw     r12,RESULT(r1)
322         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
323         rlwinm  r11,r11,0,4,2
324         stw     r11,_CCR(r1)
325 #ifdef CONFIG_TRACE_IRQFLAGS
326         /* Return from syscalls can (and generally will) hard enable
327          * interrupts. You aren't supposed to call a syscall with
328          * interrupts disabled in the first place. However, to ensure
329          * that we get it right vs. lockdep if it happens, we force
330          * that hard enable here with appropriate tracing if we see
331          * that we have been called with interrupts off
332          */
333         mfmsr   r11
334         andi.   r12,r11,MSR_EE
335         bne+    1f
336         /* We came in with interrupts disabled, we enable them now */
337         bl      trace_hardirqs_on
338         mfmsr   r11
339         lwz     r0,GPR0(r1)
340         lwz     r3,GPR3(r1)
341         lwz     r4,GPR4(r1)
342         ori     r11,r11,MSR_EE
343         lwz     r5,GPR5(r1)
344         lwz     r6,GPR6(r1)
345         lwz     r7,GPR7(r1)
346         lwz     r8,GPR8(r1)
347         mtmsr   r11
348 1:
349 #endif /* CONFIG_TRACE_IRQFLAGS */
350         CURRENT_THREAD_INFO(r10, r1)
351         lwz     r11,TI_FLAGS(r10)
352         andi.   r11,r11,_TIF_SYSCALL_DOTRACE
353         bne-    syscall_dotrace
354 syscall_dotrace_cont:
355         cmplwi  0,r0,NR_syscalls
356         lis     r10,sys_call_table@h
357         ori     r10,r10,sys_call_table@l
358         slwi    r0,r0,2
359         bge-    66f
360
361         barrier_nospec_asm
362         /*
363          * Prevent the load of the handler below (based on the user-passed
364          * system call number) being speculatively executed until the test
365          * against NR_syscalls and branch to .66f above has
366          * committed.
367          */
368
369         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
370         mtlr    r10
371         addi    r9,r1,STACK_FRAME_OVERHEAD
372         PPC440EP_ERR42
373         blrl                    /* Call handler */
374         .globl  ret_from_syscall
375 ret_from_syscall:
376 #ifdef CONFIG_DEBUG_RSEQ
377         /* Check whether the syscall is issued inside a restartable sequence */
378         stw     r3,GPR3(r1)
379         addi    r3,r1,STACK_FRAME_OVERHEAD
380         bl      rseq_syscall
381         lwz     r3,GPR3(r1)
382 #endif
383         mr      r6,r3
384         CURRENT_THREAD_INFO(r12, r1)
385         /* disable interrupts so current_thread_info()->flags can't change */
386         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
387         /* Note: We don't bother telling lockdep about it */
388         SYNC
389         MTMSRD(r10)
390         lwz     r9,TI_FLAGS(r12)
391         li      r8,-MAX_ERRNO
392         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
393         bne-    syscall_exit_work
394         cmplw   0,r3,r8
395         blt+    syscall_exit_cont
396         lwz     r11,_CCR(r1)                    /* Load CR */
397         neg     r3,r3
398         oris    r11,r11,0x1000  /* Set SO bit in CR */
399         stw     r11,_CCR(r1)
400 syscall_exit_cont:
401         lwz     r8,_MSR(r1)
402 #ifdef CONFIG_TRACE_IRQFLAGS
403         /* If we are going to return from the syscall with interrupts
404          * off, we trace that here. It shouldn't happen though but we
405          * want to catch the bugger if it does right ?
406          */
407         andi.   r10,r8,MSR_EE
408         bne+    1f
409         stw     r3,GPR3(r1)
410         bl      trace_hardirqs_off
411         lwz     r3,GPR3(r1)
412 1:
413 #endif /* CONFIG_TRACE_IRQFLAGS */
414 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
415         /* If the process has its own DBCR0 value, load it up.  The internal
416            debug mode bit tells us that dbcr0 should be loaded. */
417         lwz     r0,THREAD+THREAD_DBCR0(r2)
418         andis.  r10,r0,DBCR0_IDM@h
419         bnel-   load_dbcr0
420 #endif
421 #ifdef CONFIG_44x
422 BEGIN_MMU_FTR_SECTION
423         lis     r4,icache_44x_need_flush@ha
424         lwz     r5,icache_44x_need_flush@l(r4)
425         cmplwi  cr0,r5,0
426         bne-    2f
427 1:
428 END_MMU_FTR_SECTION_IFCLR(MMU_FTR_TYPE_47x)
429 #endif /* CONFIG_44x */
430 BEGIN_FTR_SECTION
431         lwarx   r7,0,r1
432 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
433         stwcx.  r0,0,r1                 /* to clear the reservation */
434 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
435         andi.   r4,r8,MSR_PR
436         beq     3f
437         CURRENT_THREAD_INFO(r4, r1)
438         ACCOUNT_CPU_USER_EXIT(r4, r5, r7)
439 3:
440 #endif
441         lwz     r4,_LINK(r1)
442         lwz     r5,_CCR(r1)
443         mtlr    r4
444         mtcr    r5
445         lwz     r7,_NIP(r1)
446         lwz     r2,GPR2(r1)
447         lwz     r1,GPR1(r1)
448 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
449         mtspr   SPRN_NRI, r0
450 #endif
451         mtspr   SPRN_SRR0,r7
452         mtspr   SPRN_SRR1,r8
453         SYNC
454         RFI
455 #ifdef CONFIG_44x
456 2:      li      r7,0
457         iccci   r0,r0
458         stw     r7,icache_44x_need_flush@l(r4)
459         b       1b
460 #endif  /* CONFIG_44x */
461
462 66:     li      r3,-ENOSYS
463         b       ret_from_syscall
464
465         .globl  ret_from_fork
466 ret_from_fork:
467         REST_NVGPRS(r1)
468         bl      schedule_tail
469         li      r3,0
470         b       ret_from_syscall
471
472         .globl  ret_from_kernel_thread
473 ret_from_kernel_thread:
474         REST_NVGPRS(r1)
475         bl      schedule_tail
476         mtlr    r14
477         mr      r3,r15
478         PPC440EP_ERR42
479         blrl
480         li      r3,0
481         b       ret_from_syscall
482
483 /* Traced system call support */
484 syscall_dotrace:
485         SAVE_NVGPRS(r1)
486         li      r0,0xc00
487         stw     r0,_TRAP(r1)
488         addi    r3,r1,STACK_FRAME_OVERHEAD
489         bl      do_syscall_trace_enter
490         /*
491          * Restore argument registers possibly just changed.
492          * We use the return value of do_syscall_trace_enter
493          * for call number to look up in the table (r0).
494          */
495         mr      r0,r3
496         lwz     r3,GPR3(r1)
497         lwz     r4,GPR4(r1)
498         lwz     r5,GPR5(r1)
499         lwz     r6,GPR6(r1)
500         lwz     r7,GPR7(r1)
501         lwz     r8,GPR8(r1)
502         REST_NVGPRS(r1)
503
504         cmplwi  r0,NR_syscalls
505         /* Return code is already in r3 thanks to do_syscall_trace_enter() */
506         bge-    ret_from_syscall
507         b       syscall_dotrace_cont
508
509 syscall_exit_work:
510         andi.   r0,r9,_TIF_RESTOREALL
511         beq+    0f
512         REST_NVGPRS(r1)
513         b       2f
514 0:      cmplw   0,r3,r8
515         blt+    1f
516         andi.   r0,r9,_TIF_NOERROR
517         bne-    1f
518         lwz     r11,_CCR(r1)                    /* Load CR */
519         neg     r3,r3
520         oris    r11,r11,0x1000  /* Set SO bit in CR */
521         stw     r11,_CCR(r1)
522
523 1:      stw     r6,RESULT(r1)   /* Save result */
524         stw     r3,GPR3(r1)     /* Update return value */
525 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
526         beq     4f
527
528         /* Clear per-syscall TIF flags if any are set.  */
529
530         li      r11,_TIF_PERSYSCALL_MASK
531         addi    r12,r12,TI_FLAGS
532 3:      lwarx   r8,0,r12
533         andc    r8,r8,r11
534 #ifdef CONFIG_IBM405_ERR77
535         dcbt    0,r12
536 #endif
537         stwcx.  r8,0,r12
538         bne-    3b
539         subi    r12,r12,TI_FLAGS
540         
541 4:      /* Anything which requires enabling interrupts? */
542         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP)
543         beq     ret_from_except
544
545         /* Re-enable interrupts. There is no need to trace that with
546          * lockdep as we are supposed to have IRQs on at this point
547          */
548         ori     r10,r10,MSR_EE
549         SYNC
550         MTMSRD(r10)
551
552         /* Save NVGPRS if they're not saved already */
553         lwz     r4,_TRAP(r1)
554         andi.   r4,r4,1
555         beq     5f
556         SAVE_NVGPRS(r1)
557         li      r4,0xc00
558         stw     r4,_TRAP(r1)
559 5:
560         addi    r3,r1,STACK_FRAME_OVERHEAD
561         bl      do_syscall_trace_leave
562         b       ret_from_except_full
563
564 /*
565  * The fork/clone functions need to copy the full register set into
566  * the child process. Therefore we need to save all the nonvolatile
567  * registers (r13 - r31) before calling the C code.
568  */
569         .globl  ppc_fork
570 ppc_fork:
571         SAVE_NVGPRS(r1)
572         lwz     r0,_TRAP(r1)
573         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
574         stw     r0,_TRAP(r1)            /* register set saved */
575         b       sys_fork
576
577         .globl  ppc_vfork
578 ppc_vfork:
579         SAVE_NVGPRS(r1)
580         lwz     r0,_TRAP(r1)
581         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
582         stw     r0,_TRAP(r1)            /* register set saved */
583         b       sys_vfork
584
585         .globl  ppc_clone
586 ppc_clone:
587         SAVE_NVGPRS(r1)
588         lwz     r0,_TRAP(r1)
589         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
590         stw     r0,_TRAP(r1)            /* register set saved */
591         b       sys_clone
592
593         .globl  ppc_swapcontext
594 ppc_swapcontext:
595         SAVE_NVGPRS(r1)
596         lwz     r0,_TRAP(r1)
597         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
598         stw     r0,_TRAP(r1)            /* register set saved */
599         b       sys_swapcontext
600
601 /*
602  * Top-level page fault handling.
603  * This is in assembler because if do_page_fault tells us that
604  * it is a bad kernel page fault, we want to save the non-volatile
605  * registers before calling bad_page_fault.
606  */
607         .globl  handle_page_fault
608 handle_page_fault:
609         stw     r4,_DAR(r1)
610         addi    r3,r1,STACK_FRAME_OVERHEAD
611 #ifdef CONFIG_PPC_BOOK3S_32
612         andis.  r0,r5,DSISR_DABRMATCH@h
613         bne-    handle_dabr_fault
614 #endif
615         bl      do_page_fault
616         cmpwi   r3,0
617         beq+    ret_from_except
618         SAVE_NVGPRS(r1)
619         lwz     r0,_TRAP(r1)
620         clrrwi  r0,r0,1
621         stw     r0,_TRAP(r1)
622         mr      r5,r3
623         addi    r3,r1,STACK_FRAME_OVERHEAD
624         lwz     r4,_DAR(r1)
625         bl      bad_page_fault
626         b       ret_from_except_full
627
628 #ifdef CONFIG_PPC_BOOK3S_32
629         /* We have a data breakpoint exception - handle it */
630 handle_dabr_fault:
631         SAVE_NVGPRS(r1)
632         lwz     r0,_TRAP(r1)
633         clrrwi  r0,r0,1
634         stw     r0,_TRAP(r1)
635         bl      do_break
636         b       ret_from_except_full
637 #endif
638
639 /*
640  * This routine switches between two different tasks.  The process
641  * state of one is saved on its kernel stack.  Then the state
642  * of the other is restored from its kernel stack.  The memory
643  * management hardware is updated to the second process's state.
644  * Finally, we can return to the second process.
645  * On entry, r3 points to the THREAD for the current task, r4
646  * points to the THREAD for the new task.
647  *
648  * This routine is always called with interrupts disabled.
649  *
650  * Note: there are two ways to get to the "going out" portion
651  * of this code; either by coming in via the entry (_switch)
652  * or via "fork" which must set up an environment equivalent
653  * to the "_switch" path.  If you change this , you'll have to
654  * change the fork code also.
655  *
656  * The code which creates the new task context is in 'copy_thread'
657  * in arch/ppc/kernel/process.c
658  */
659 _GLOBAL(_switch)
660         stwu    r1,-INT_FRAME_SIZE(r1)
661         mflr    r0
662         stw     r0,INT_FRAME_SIZE+4(r1)
663         /* r3-r12 are caller saved -- Cort */
664         SAVE_NVGPRS(r1)
665         stw     r0,_NIP(r1)     /* Return to switch caller */
666         mfmsr   r11
667         li      r0,MSR_FP       /* Disable floating-point */
668 #ifdef CONFIG_ALTIVEC
669 BEGIN_FTR_SECTION
670         oris    r0,r0,MSR_VEC@h /* Disable altivec */
671         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
672         stw     r12,THREAD+THREAD_VRSAVE(r2)
673 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
674 #endif /* CONFIG_ALTIVEC */
675 #ifdef CONFIG_SPE
676 BEGIN_FTR_SECTION
677         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
678         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
679         stw     r12,THREAD+THREAD_SPEFSCR(r2)
680 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
681 #endif /* CONFIG_SPE */
682         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
683         beq+    1f
684         andc    r11,r11,r0
685         MTMSRD(r11)
686         isync
687 1:      stw     r11,_MSR(r1)
688         mfcr    r10
689         stw     r10,_CCR(r1)
690         stw     r1,KSP(r3)      /* Set old stack pointer */
691
692 #ifdef CONFIG_SMP
693         /* We need a sync somewhere here to make sure that if the
694          * previous task gets rescheduled on another CPU, it sees all
695          * stores it has performed on this one.
696          */
697         sync
698 #endif /* CONFIG_SMP */
699
700         tophys(r0,r4)
701         mtspr   SPRN_SPRG_THREAD,r0     /* Update current THREAD phys addr */
702         lwz     r1,KSP(r4)      /* Load new stack pointer */
703
704         /* save the old current 'last' for return value */
705         mr      r3,r2
706         addi    r2,r4,-THREAD   /* Update current */
707
708 #ifdef CONFIG_ALTIVEC
709 BEGIN_FTR_SECTION
710         lwz     r0,THREAD+THREAD_VRSAVE(r2)
711         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
712 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
713 #endif /* CONFIG_ALTIVEC */
714 #ifdef CONFIG_SPE
715 BEGIN_FTR_SECTION
716         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
717         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
718 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
719 #endif /* CONFIG_SPE */
720
721         lwz     r0,_CCR(r1)
722         mtcrf   0xFF,r0
723         /* r3-r12 are destroyed -- Cort */
724         REST_NVGPRS(r1)
725
726         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
727         mtlr    r4
728         addi    r1,r1,INT_FRAME_SIZE
729         blr
730
731         .globl  fast_exception_return
732 fast_exception_return:
733 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
734         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
735         beq     1f                      /* if not, we've got problems */
736 #endif
737
738 2:      REST_4GPRS(3, r11)
739         lwz     r10,_CCR(r11)
740         REST_GPR(1, r11)
741         mtcr    r10
742         lwz     r10,_LINK(r11)
743         mtlr    r10
744         REST_GPR(10, r11)
745 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
746         mtspr   SPRN_NRI, r0
747 #endif
748         mtspr   SPRN_SRR1,r9
749         mtspr   SPRN_SRR0,r12
750         REST_GPR(9, r11)
751         REST_GPR(12, r11)
752         lwz     r11,GPR11(r11)
753         SYNC
754         RFI
755
756 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
757 /* check if the exception happened in a restartable section */
758 1:      lis     r3,exc_exit_restart_end@ha
759         addi    r3,r3,exc_exit_restart_end@l
760         cmplw   r12,r3
761         bge     3f
762         lis     r4,exc_exit_restart@ha
763         addi    r4,r4,exc_exit_restart@l
764         cmplw   r12,r4
765         blt     3f
766         lis     r3,fee_restarts@ha
767         tophys(r3,r3)
768         lwz     r5,fee_restarts@l(r3)
769         addi    r5,r5,1
770         stw     r5,fee_restarts@l(r3)
771         mr      r12,r4          /* restart at exc_exit_restart */
772         b       2b
773
774         .section .bss
775         .align  2
776 fee_restarts:
777         .space  4
778         .previous
779
780 /* aargh, a nonrecoverable interrupt, panic */
781 /* aargh, we don't know which trap this is */
782 /* but the 601 doesn't implement the RI bit, so assume it's OK */
783 3:
784 BEGIN_FTR_SECTION
785         b       2b
786 END_FTR_SECTION_IFSET(CPU_FTR_601)
787         li      r10,-1
788         stw     r10,_TRAP(r11)
789         addi    r3,r1,STACK_FRAME_OVERHEAD
790         lis     r10,MSR_KERNEL@h
791         ori     r10,r10,MSR_KERNEL@l
792         bl      transfer_to_handler_full
793         .long   unrecoverable_exception
794         .long   ret_from_except
795 #endif
796
797         .globl  ret_from_except_full
798 ret_from_except_full:
799         REST_NVGPRS(r1)
800         /* fall through */
801
802         .globl  ret_from_except
803 ret_from_except:
804         /* Hard-disable interrupts so that current_thread_info()->flags
805          * can't change between when we test it and when we return
806          * from the interrupt. */
807         /* Note: We don't bother telling lockdep about it */
808         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
809         SYNC                    /* Some chip revs have problems here... */
810         MTMSRD(r10)             /* disable interrupts */
811
812         lwz     r3,_MSR(r1)     /* Returning to user mode? */
813         andi.   r0,r3,MSR_PR
814         beq     resume_kernel
815
816 user_exc_return:                /* r10 contains MSR_KERNEL here */
817         /* Check current_thread_info()->flags */
818         CURRENT_THREAD_INFO(r9, r1)
819         lwz     r9,TI_FLAGS(r9)
820         andi.   r0,r9,_TIF_USER_WORK_MASK
821         bne     do_work
822
823 restore_user:
824 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
825         /* Check whether this process has its own DBCR0 value.  The internal
826            debug mode bit tells us that dbcr0 should be loaded. */
827         lwz     r0,THREAD+THREAD_DBCR0(r2)
828         andis.  r10,r0,DBCR0_IDM@h
829         bnel-   load_dbcr0
830 #endif
831 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
832         CURRENT_THREAD_INFO(r9, r1)
833         ACCOUNT_CPU_USER_EXIT(r9, r10, r11)
834 #endif
835
836         b       restore
837
838 /* N.B. the only way to get here is from the beq following ret_from_except. */
839 resume_kernel:
840         /* check current_thread_info, _TIF_EMULATE_STACK_STORE */
841         CURRENT_THREAD_INFO(r9, r1)
842         lwz     r8,TI_FLAGS(r9)
843         andis.  r0,r8,_TIF_EMULATE_STACK_STORE@h
844         beq+    1f
845
846         addi    r8,r1,INT_FRAME_SIZE    /* Get the kprobed function entry */
847
848         lwz     r3,GPR1(r1)
849         subi    r3,r3,INT_FRAME_SIZE    /* dst: Allocate a trampoline exception frame */
850         mr      r4,r1                   /* src:  current exception frame */
851         mr      r1,r3                   /* Reroute the trampoline frame to r1 */
852
853         /* Copy from the original to the trampoline. */
854         li      r5,INT_FRAME_SIZE/4     /* size: INT_FRAME_SIZE */
855         li      r6,0                    /* start offset: 0 */
856         mtctr   r5
857 2:      lwzx    r0,r6,r4
858         stwx    r0,r6,r3
859         addi    r6,r6,4
860         bdnz    2b
861
862         /* Do real store operation to complete stwu */
863         lwz     r5,GPR1(r1)
864         stw     r8,0(r5)
865
866         /* Clear _TIF_EMULATE_STACK_STORE flag */
867         lis     r11,_TIF_EMULATE_STACK_STORE@h
868         addi    r5,r9,TI_FLAGS
869 0:      lwarx   r8,0,r5
870         andc    r8,r8,r11
871 #ifdef CONFIG_IBM405_ERR77
872         dcbt    0,r5
873 #endif
874         stwcx.  r8,0,r5
875         bne-    0b
876 1:
877
878 #ifdef CONFIG_PREEMPT
879         /* check current_thread_info->preempt_count */
880         lwz     r0,TI_PREEMPT(r9)
881         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
882         bne     restore
883         andi.   r8,r8,_TIF_NEED_RESCHED
884         beq+    restore
885         lwz     r3,_MSR(r1)
886         andi.   r0,r3,MSR_EE    /* interrupts off? */
887         beq     restore         /* don't schedule if so */
888 #ifdef CONFIG_TRACE_IRQFLAGS
889         /* Lockdep thinks irqs are enabled, we need to call
890          * preempt_schedule_irq with IRQs off, so we inform lockdep
891          * now that we -did- turn them off already
892          */
893         bl      trace_hardirqs_off
894 #endif
895 1:      bl      preempt_schedule_irq
896         CURRENT_THREAD_INFO(r9, r1)
897         lwz     r3,TI_FLAGS(r9)
898         andi.   r0,r3,_TIF_NEED_RESCHED
899         bne-    1b
900 #ifdef CONFIG_TRACE_IRQFLAGS
901         /* And now, to properly rebalance the above, we tell lockdep they
902          * are being turned back on, which will happen when we return
903          */
904         bl      trace_hardirqs_on
905 #endif
906 #endif /* CONFIG_PREEMPT */
907
908         /* interrupts are hard-disabled at this point */
909 restore:
910 #ifdef CONFIG_44x
911 BEGIN_MMU_FTR_SECTION
912         b       1f
913 END_MMU_FTR_SECTION_IFSET(MMU_FTR_TYPE_47x)
914         lis     r4,icache_44x_need_flush@ha
915         lwz     r5,icache_44x_need_flush@l(r4)
916         cmplwi  cr0,r5,0
917         beq+    1f
918         li      r6,0
919         iccci   r0,r0
920         stw     r6,icache_44x_need_flush@l(r4)
921 1:
922 #endif  /* CONFIG_44x */
923
924         lwz     r9,_MSR(r1)
925 #ifdef CONFIG_TRACE_IRQFLAGS
926         /* Lockdep doesn't know about the fact that IRQs are temporarily turned
927          * off in this assembly code while peeking at TI_FLAGS() and such. However
928          * we need to inform it if the exception turned interrupts off, and we
929          * are about to trun them back on.
930          *
931          * The problem here sadly is that we don't know whether the exceptions was
932          * one that turned interrupts off or not. So we always tell lockdep about
933          * turning them on here when we go back to wherever we came from with EE
934          * on, even if that may meen some redudant calls being tracked. Maybe later
935          * we could encode what the exception did somewhere or test the exception
936          * type in the pt_regs but that sounds overkill
937          */
938         andi.   r10,r9,MSR_EE
939         beq     1f
940         /*
941          * Since the ftrace irqsoff latency trace checks CALLER_ADDR1,
942          * which is the stack frame here, we need to force a stack frame
943          * in case we came from user space.
944          */
945         stwu    r1,-32(r1)
946         mflr    r0
947         stw     r0,4(r1)
948         stwu    r1,-32(r1)
949         bl      trace_hardirqs_on
950         lwz     r1,0(r1)
951         lwz     r1,0(r1)
952         lwz     r9,_MSR(r1)
953 1:
954 #endif /* CONFIG_TRACE_IRQFLAGS */
955
956         lwz     r0,GPR0(r1)
957         lwz     r2,GPR2(r1)
958         REST_4GPRS(3, r1)
959         REST_2GPRS(7, r1)
960
961         lwz     r10,_XER(r1)
962         lwz     r11,_CTR(r1)
963         mtspr   SPRN_XER,r10
964         mtctr   r11
965
966         PPC405_ERR77(0,r1)
967 BEGIN_FTR_SECTION
968         lwarx   r11,0,r1
969 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
970         stwcx.  r0,0,r1                 /* to clear the reservation */
971
972 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
973         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
974         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
975
976         lwz     r10,_CCR(r1)
977         lwz     r11,_LINK(r1)
978         mtcrf   0xFF,r10
979         mtlr    r11
980
981         /*
982          * Once we put values in SRR0 and SRR1, we are in a state
983          * where exceptions are not recoverable, since taking an
984          * exception will trash SRR0 and SRR1.  Therefore we clear the
985          * MSR:RI bit to indicate this.  If we do take an exception,
986          * we can't return to the point of the exception but we
987          * can restart the exception exit path at the label
988          * exc_exit_restart below.  -- paulus
989          */
990         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
991         SYNC
992         MTMSRD(r10)             /* clear the RI bit */
993         .globl exc_exit_restart
994 exc_exit_restart:
995         lwz     r12,_NIP(r1)
996         mtspr   SPRN_SRR0,r12
997         mtspr   SPRN_SRR1,r9
998         REST_4GPRS(9, r1)
999         lwz     r1,GPR1(r1)
1000         .globl exc_exit_restart_end
1001 exc_exit_restart_end:
1002         SYNC
1003         RFI
1004
1005 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
1006         /*
1007          * This is a bit different on 4xx/Book-E because it doesn't have
1008          * the RI bit in the MSR.
1009          * The TLB miss handler checks if we have interrupted
1010          * the exception exit path and restarts it if so
1011          * (well maybe one day it will... :).
1012          */
1013         lwz     r11,_LINK(r1)
1014         mtlr    r11
1015         lwz     r10,_CCR(r1)
1016         mtcrf   0xff,r10
1017         REST_2GPRS(9, r1)
1018         .globl exc_exit_restart
1019 exc_exit_restart:
1020         lwz     r11,_NIP(r1)
1021         lwz     r12,_MSR(r1)
1022 exc_exit_start:
1023         mtspr   SPRN_SRR0,r11
1024         mtspr   SPRN_SRR1,r12
1025         REST_2GPRS(11, r1)
1026         lwz     r1,GPR1(r1)
1027         .globl exc_exit_restart_end
1028 exc_exit_restart_end:
1029         PPC405_ERR77_SYNC
1030         rfi
1031         b       .                       /* prevent prefetch past rfi */
1032
1033 /*
1034  * Returning from a critical interrupt in user mode doesn't need
1035  * to be any different from a normal exception.  For a critical
1036  * interrupt in the kernel, we just return (without checking for
1037  * preemption) since the interrupt may have happened at some crucial
1038  * place (e.g. inside the TLB miss handler), and because we will be
1039  * running with r1 pointing into critical_stack, not the current
1040  * process's kernel stack (and therefore current_thread_info() will
1041  * give the wrong answer).
1042  * We have to restore various SPRs that may have been in use at the
1043  * time of the critical interrupt.
1044  *
1045  */
1046 #ifdef CONFIG_40x
1047 #define PPC_40x_TURN_OFF_MSR_DR                                             \
1048         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
1049          * assume the instructions here are mapped by a pinned TLB entry */ \
1050         li      r10,MSR_IR;                                                 \
1051         mtmsr   r10;                                                        \
1052         isync;                                                              \
1053         tophys(r1, r1);
1054 #else
1055 #define PPC_40x_TURN_OFF_MSR_DR
1056 #endif
1057
1058 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
1059         REST_NVGPRS(r1);                                                \
1060         lwz     r3,_MSR(r1);                                            \
1061         andi.   r3,r3,MSR_PR;                                           \
1062         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
1063         bne     user_exc_return;                                        \
1064         lwz     r0,GPR0(r1);                                            \
1065         lwz     r2,GPR2(r1);                                            \
1066         REST_4GPRS(3, r1);                                              \
1067         REST_2GPRS(7, r1);                                              \
1068         lwz     r10,_XER(r1);                                           \
1069         lwz     r11,_CTR(r1);                                           \
1070         mtspr   SPRN_XER,r10;                                           \
1071         mtctr   r11;                                                    \
1072         PPC405_ERR77(0,r1);                                             \
1073         stwcx.  r0,0,r1;                /* to clear the reservation */  \
1074         lwz     r11,_LINK(r1);                                          \
1075         mtlr    r11;                                                    \
1076         lwz     r10,_CCR(r1);                                           \
1077         mtcrf   0xff,r10;                                               \
1078         PPC_40x_TURN_OFF_MSR_DR;                                        \
1079         lwz     r9,_DEAR(r1);                                           \
1080         lwz     r10,_ESR(r1);                                           \
1081         mtspr   SPRN_DEAR,r9;                                           \
1082         mtspr   SPRN_ESR,r10;                                           \
1083         lwz     r11,_NIP(r1);                                           \
1084         lwz     r12,_MSR(r1);                                           \
1085         mtspr   exc_lvl_srr0,r11;                                       \
1086         mtspr   exc_lvl_srr1,r12;                                       \
1087         lwz     r9,GPR9(r1);                                            \
1088         lwz     r12,GPR12(r1);                                          \
1089         lwz     r10,GPR10(r1);                                          \
1090         lwz     r11,GPR11(r1);                                          \
1091         lwz     r1,GPR1(r1);                                            \
1092         PPC405_ERR77_SYNC;                                              \
1093         exc_lvl_rfi;                                                    \
1094         b       .;              /* prevent prefetch past exc_lvl_rfi */
1095
1096 #define RESTORE_xSRR(exc_lvl_srr0, exc_lvl_srr1)                        \
1097         lwz     r9,_##exc_lvl_srr0(r1);                                 \
1098         lwz     r10,_##exc_lvl_srr1(r1);                                \
1099         mtspr   SPRN_##exc_lvl_srr0,r9;                                 \
1100         mtspr   SPRN_##exc_lvl_srr1,r10;
1101
1102 #if defined(CONFIG_PPC_BOOK3E_MMU)
1103 #ifdef CONFIG_PHYS_64BIT
1104 #define RESTORE_MAS7                                                    \
1105         lwz     r11,MAS7(r1);                                           \
1106         mtspr   SPRN_MAS7,r11;
1107 #else
1108 #define RESTORE_MAS7
1109 #endif /* CONFIG_PHYS_64BIT */
1110 #define RESTORE_MMU_REGS                                                \
1111         lwz     r9,MAS0(r1);                                            \
1112         lwz     r10,MAS1(r1);                                           \
1113         lwz     r11,MAS2(r1);                                           \
1114         mtspr   SPRN_MAS0,r9;                                           \
1115         lwz     r9,MAS3(r1);                                            \
1116         mtspr   SPRN_MAS1,r10;                                          \
1117         lwz     r10,MAS6(r1);                                           \
1118         mtspr   SPRN_MAS2,r11;                                          \
1119         mtspr   SPRN_MAS3,r9;                                           \
1120         mtspr   SPRN_MAS6,r10;                                          \
1121         RESTORE_MAS7;
1122 #elif defined(CONFIG_44x)
1123 #define RESTORE_MMU_REGS                                                \
1124         lwz     r9,MMUCR(r1);                                           \
1125         mtspr   SPRN_MMUCR,r9;
1126 #else
1127 #define RESTORE_MMU_REGS
1128 #endif
1129
1130 #ifdef CONFIG_40x
1131         .globl  ret_from_crit_exc
1132 ret_from_crit_exc:
1133         mfspr   r9,SPRN_SPRG_THREAD
1134         lis     r10,saved_ksp_limit@ha;
1135         lwz     r10,saved_ksp_limit@l(r10);
1136         tovirt(r9,r9);
1137         stw     r10,KSP_LIMIT(r9)
1138         lis     r9,crit_srr0@ha;
1139         lwz     r9,crit_srr0@l(r9);
1140         lis     r10,crit_srr1@ha;
1141         lwz     r10,crit_srr1@l(r10);
1142         mtspr   SPRN_SRR0,r9;
1143         mtspr   SPRN_SRR1,r10;
1144         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1145 #endif /* CONFIG_40x */
1146
1147 #ifdef CONFIG_BOOKE
1148         .globl  ret_from_crit_exc
1149 ret_from_crit_exc:
1150         mfspr   r9,SPRN_SPRG_THREAD
1151         lwz     r10,SAVED_KSP_LIMIT(r1)
1152         stw     r10,KSP_LIMIT(r9)
1153         RESTORE_xSRR(SRR0,SRR1);
1154         RESTORE_MMU_REGS;
1155         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1156
1157         .globl  ret_from_debug_exc
1158 ret_from_debug_exc:
1159         mfspr   r9,SPRN_SPRG_THREAD
1160         lwz     r10,SAVED_KSP_LIMIT(r1)
1161         stw     r10,KSP_LIMIT(r9)
1162         RESTORE_xSRR(SRR0,SRR1);
1163         RESTORE_xSRR(CSRR0,CSRR1);
1164         RESTORE_MMU_REGS;
1165         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, PPC_RFDI)
1166
1167         .globl  ret_from_mcheck_exc
1168 ret_from_mcheck_exc:
1169         mfspr   r9,SPRN_SPRG_THREAD
1170         lwz     r10,SAVED_KSP_LIMIT(r1)
1171         stw     r10,KSP_LIMIT(r9)
1172         RESTORE_xSRR(SRR0,SRR1);
1173         RESTORE_xSRR(CSRR0,CSRR1);
1174         RESTORE_xSRR(DSRR0,DSRR1);
1175         RESTORE_MMU_REGS;
1176         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, PPC_RFMCI)
1177 #endif /* CONFIG_BOOKE */
1178
1179 /*
1180  * Load the DBCR0 value for a task that is being ptraced,
1181  * having first saved away the global DBCR0.  Note that r0
1182  * has the dbcr0 value to set upon entry to this.
1183  */
1184 load_dbcr0:
1185         mfmsr   r10             /* first disable debug exceptions */
1186         rlwinm  r10,r10,0,~MSR_DE
1187         mtmsr   r10
1188         isync
1189         mfspr   r10,SPRN_DBCR0
1190         lis     r11,global_dbcr0@ha
1191         addi    r11,r11,global_dbcr0@l
1192 #ifdef CONFIG_SMP
1193         CURRENT_THREAD_INFO(r9, r1)
1194         lwz     r9,TI_CPU(r9)
1195         slwi    r9,r9,3
1196         add     r11,r11,r9
1197 #endif
1198         stw     r10,0(r11)
1199         mtspr   SPRN_DBCR0,r0
1200         lwz     r10,4(r11)
1201         addi    r10,r10,1
1202         stw     r10,4(r11)
1203         li      r11,-1
1204         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
1205         blr
1206
1207         .section .bss
1208         .align  4
1209 global_dbcr0:
1210         .space  8*NR_CPUS
1211         .previous
1212 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
1213
1214 do_work:                        /* r10 contains MSR_KERNEL here */
1215         andi.   r0,r9,_TIF_NEED_RESCHED
1216         beq     do_user_signal
1217
1218 do_resched:                     /* r10 contains MSR_KERNEL here */
1219         /* Note: We don't need to inform lockdep that we are enabling
1220          * interrupts here. As far as it knows, they are already enabled
1221          */
1222         ori     r10,r10,MSR_EE
1223         SYNC
1224         MTMSRD(r10)             /* hard-enable interrupts */
1225         bl      schedule
1226 recheck:
1227         /* Note: And we don't tell it we are disabling them again
1228          * neither. Those disable/enable cycles used to peek at
1229          * TI_FLAGS aren't advertised.
1230          */
1231         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
1232         SYNC
1233         MTMSRD(r10)             /* disable interrupts */
1234         CURRENT_THREAD_INFO(r9, r1)
1235         lwz     r9,TI_FLAGS(r9)
1236         andi.   r0,r9,_TIF_NEED_RESCHED
1237         bne-    do_resched
1238         andi.   r0,r9,_TIF_USER_WORK_MASK
1239         beq     restore_user
1240 do_user_signal:                 /* r10 contains MSR_KERNEL here */
1241         ori     r10,r10,MSR_EE
1242         SYNC
1243         MTMSRD(r10)             /* hard-enable interrupts */
1244         /* save r13-r31 in the exception frame, if not already done */
1245         lwz     r3,_TRAP(r1)
1246         andi.   r0,r3,1
1247         beq     2f
1248         SAVE_NVGPRS(r1)
1249         rlwinm  r3,r3,0,0,30
1250         stw     r3,_TRAP(r1)
1251 2:      addi    r3,r1,STACK_FRAME_OVERHEAD
1252         mr      r4,r9
1253         bl      do_notify_resume
1254         REST_NVGPRS(r1)
1255         b       recheck
1256
1257 /*
1258  * We come here when we are at the end of handling an exception
1259  * that occurred at a place where taking an exception will lose
1260  * state information, such as the contents of SRR0 and SRR1.
1261  */
1262 nonrecoverable:
1263         lis     r10,exc_exit_restart_end@ha
1264         addi    r10,r10,exc_exit_restart_end@l
1265         cmplw   r12,r10
1266         bge     3f
1267         lis     r11,exc_exit_restart@ha
1268         addi    r11,r11,exc_exit_restart@l
1269         cmplw   r12,r11
1270         blt     3f
1271         lis     r10,ee_restarts@ha
1272         lwz     r12,ee_restarts@l(r10)
1273         addi    r12,r12,1
1274         stw     r12,ee_restarts@l(r10)
1275         mr      r12,r11         /* restart at exc_exit_restart */
1276         blr
1277 3:      /* OK, we can't recover, kill this process */
1278         /* but the 601 doesn't implement the RI bit, so assume it's OK */
1279 BEGIN_FTR_SECTION
1280         blr
1281 END_FTR_SECTION_IFSET(CPU_FTR_601)
1282         lwz     r3,_TRAP(r1)
1283         andi.   r0,r3,1
1284         beq     5f
1285         SAVE_NVGPRS(r1)
1286         rlwinm  r3,r3,0,0,30
1287         stw     r3,_TRAP(r1)
1288 5:      mfspr   r2,SPRN_SPRG_THREAD
1289         addi    r2,r2,-THREAD
1290         tovirt(r2,r2)                   /* set back r2 to current */
1291 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
1292         bl      unrecoverable_exception
1293         /* shouldn't return */
1294         b       4b
1295
1296         .section .bss
1297         .align  2
1298 ee_restarts:
1299         .space  4
1300         .previous
1301
1302 /*
1303  * PROM code for specific machines follows.  Put it
1304  * here so it's easy to add arch-specific sections later.
1305  * -- Cort
1306  */
1307 #ifdef CONFIG_PPC_RTAS
1308 /*
1309  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
1310  * called with the MMU off.
1311  */
1312 _GLOBAL(enter_rtas)
1313         stwu    r1,-INT_FRAME_SIZE(r1)
1314         mflr    r0
1315         stw     r0,INT_FRAME_SIZE+4(r1)
1316         LOAD_REG_ADDR(r4, rtas)
1317         lis     r6,1f@ha        /* physical return address for rtas */
1318         addi    r6,r6,1f@l
1319         tophys(r6,r6)
1320         tophys(r7,r1)
1321         lwz     r8,RTASENTRY(r4)
1322         lwz     r4,RTASBASE(r4)
1323         mfmsr   r9
1324         stw     r9,8(r1)
1325         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1326         SYNC                    /* disable interrupts so SRR0/1 */
1327         MTMSRD(r0)              /* don't get trashed */
1328         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1329         mtlr    r6
1330         stw     r7, THREAD + RTAS_SP(r2)
1331         mtspr   SPRN_SRR0,r8
1332         mtspr   SPRN_SRR1,r9
1333         RFI
1334 1:      tophys(r9,r1)
1335         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1336         lwz     r9,8(r9)        /* original msr value */
1337         addi    r1,r1,INT_FRAME_SIZE
1338         li      r0,0
1339         tophys(r7, r2)
1340         stw     r0, THREAD + RTAS_SP(r7)
1341         mtspr   SPRN_SRR0,r8
1342         mtspr   SPRN_SRR1,r9
1343         RFI                     /* return to caller */
1344
1345         .globl  machine_check_in_rtas
1346 machine_check_in_rtas:
1347         twi     31,0,0
1348         /* XXX load up BATs and panic */
1349
1350 #endif /* CONFIG_PPC_RTAS */