You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-28 - 05:37

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #b, slot #5

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  Phytec
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackbslot5s.osadl.org (updated Fri Nov 28, 2025 00:44:49)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2535861996050,6cyclictest2565601-21munin-plugin-st20:35:003
2535861995142,5cyclictest2648734-21fschecks_time00:35:163
2535861994937,9cyclictest391ktimers/321:45:133
2535858994942,4cyclictest2615463-21cron23:00:002
2535858994940,5cyclictest2613783-21munin-plugin-st22:55:002
2535849994738,5cyclictest299-21systemd-logind22:17:590
2535849994637,6cyclictest2637870-21cron00:05:000
2535858994335,4cyclictest2579459-21munin-plugin-st21:15:002
2535858994335,4cyclictest2579459-21munin-plugin-st21:15:002
2535858994133,4cyclictest0-21swapper/219:20:012
2535853994132,5cyclictest2608666-21munin-run22:40:001
2535861994030,6cyclictest2636182-21sendmail00:00:003
2535858994032,4cyclictest0-21swapper/200:40:012
2535853994033,4cyclictest2601834-21latency_hist22:20:011
2535861993929,6cyclictest2539801-21idleruntime-cro19:20:003
253585399391,35cyclictest231ktimers/119:25:131
2535861993827,7cyclictest2562178-21cron20:25:003
2535861993827,7cyclictest2562178-21cron20:25:003
2535861993826,10cyclictest391ktimers/323:25:143
2535861993826,10cyclictest391ktimers/323:25:143
2535861993824,7cyclictest0-21swapper/321:30:013
2535849993828,6cyclictest0-21swapper/019:40:000
2535861993726,5cyclictest0-21swapper/323:08:083
2535853993729,4cyclictest2595013-21munin-plugin-st22:00:011
2535849993725,9cyclictest121ktimers/023:35:110
2535861993624,6cyclictest2573840-21unixbench_multi20:55:263
2535853993627,6cyclictest2598024-21unixbench_singl22:05:281
2535853993627,6cyclictest2598024-21unixbench_singl22:05:281
2535849993628,4cyclictest0-21swapper/023:05:000
2535861993526,4cyclictest0-21swapper/320:15:163
2535861993525,5cyclictest0-21swapper/323:30:253
2535858993528,3cyclictest0-21swapper/220:20:002
2535858993527,4cyclictest2596736-21munin-plugin-st22:05:002
2535853993526,4cyclictest0-21swapper/120:47:421
2535853993525,5cyclictest2549829-21grep19:45:241
2535849993521,10cyclictest121ktimers/022:45:130
2535861993423,8cyclictest2608672-21idleruntime-cro22:40:003
2535861993422,7cyclictest0-21swapper/322:10:013
2535861993422,7cyclictest0-21swapper/322:10:003
2535858993427,4cyclictest2553664-21sendmail20:00:002
2535858993427,4cyclictest0-21swapper/200:00:002
2535858993427,3cyclictest0-21swapper/221:25:002
2535858993426,4cyclictest0-21swapper/221:00:002
2535858993425,6cyclictest2637870-21cron00:05:002
2535858993424,6cyclictest0-21swapper/222:00:002
2535849993427,4cyclictest0-21swapper/023:50:000
253586199334,3cyclictest131rcu_preempt21:50:153
2535861993325,4cyclictest0-21swapper/321:40:273
2535861993325,4cyclictest0-21swapper/319:25:263
2535853993325,4cyclictest0-21swapper/120:05:001
2535853993325,3cyclictest0-21swapper/119:20:011
2535853993323,6cyclictest2565985-21cut20:35:161
2535849993327,3cyclictest0-21swapper/020:55:020
2535849993324,4cyclictest0-21swapper/022:07:580
2535849993324,4cyclictest0-21swapper/022:07:580
2535849993320,10cyclictest121ktimers/023:40:140
2535861993222,6cyclictest0-21swapper/300:15:283
2535861993222,5cyclictest0-21swapper/300:30:003
2535861993222,4cyclictest0-21swapper/319:40:153
2535861993220,7cyclictest0-21swapper/300:00:283
2535858993225,3cyclictest0-21swapper/222:20:002
2535858993223,4cyclictest0-21swapper/223:15:162
2535853993224,4cyclictest0-21swapper/123:45:001
2535853993222,7cyclictest0-21swapper/120:55:011
2535853993222,6cyclictest0-21swapper/121:55:001
2535849993224,4cyclictest0-21swapper/022:20:250
2535849993224,4cyclictest0-21swapper/020:32:390
2535849993223,4cyclictest0-21swapper/022:12:580
2535849993221,7cyclictest0-21swapper/021:40:000
2535861993123,4cyclictest0-21swapper/300:30:293
2535861993122,5cyclictest0-21swapper/322:25:183
2535861993122,4cyclictest0-21swapper/320:55:013
2535861993120,6cyclictest0-21swapper/320:10:263
2535861993117,9cyclictest391ktimers/323:20:123
2535861993117,9cyclictest391ktimers/323:20:123
2535858993124,4cyclictest0-21swapper/221:45:272
2535853993123,4cyclictest0-21swapper/122:33:011
2535853993123,4cyclictest0-21swapper/122:20:251
2535853993122,6cyclictest0-21swapper/121:25:001
2535853993121,6cyclictest0-21swapper/120:35:001
253584999318,12cyclictest131rcu_preempt00:10:110
2535849993125,3cyclictest0-21swapper/019:40:150
2535849993124,3cyclictest0-21swapper/023:20:000
2535849993123,5cyclictest0-21swapper/019:10:260
2535849993122,6cyclictest440-21cron19:50:000
2535849993119,8cyclictest2639148-21grep00:05:270
2535849993119,8cyclictest2639148-21grep00:05:260
2535861993023,5cyclictest2620256-21kworker/u8:2+events_unbound23:53:203
2535861993021,5cyclictest0-21swapper/322:00:253
2535861993021,4cyclictest0-21swapper/320:25:183
2535861993019,8cyclictest2601838-21grep22:20:003
2535861993018,8cyclictest2615069-21grep22:55:263
253586199301,10cyclictest25553862idleruntime-cro20:05:003
2535858993023,4cyclictest2625720-21latency_hist23:30:012
2535858993023,4cyclictest2625720-21latency_hist23:30:002
2535858993022,4cyclictest0-21swapper/223:35:252
2535858993022,4cyclictest0-21swapper/223:00:262
2535853993022,4cyclictest0-21swapper/121:00:301
2535853993022,4cyclictest0-21swapper/100:20:261
2535853993019,7cyclictest2541250-21grep19:20:281
2535849993019,8cyclictest2581156-21cron21:20:000
2535861992923,4cyclictest2620256-21kworker/u8:2+events_unbound23:48:193
2535861992921,5cyclictest0-21swapper/319:55:253
2535861992920,5cyclictest0-21swapper/321:35:283
2535861992917,8cyclictest2586473-21cron21:35:003
2535858992921,6cyclictest2642912-21kworker/u8:2+events_unbound00:33:282
2535853992921,4cyclictest0-21swapper/122:05:001
2535853992921,4cyclictest0-21swapper/121:35:181
2535853992920,6cyclictest0-21swapper/122:45:261
2535849992922,4cyclictest2595010-21munin-plugin-st22:00:000
2535849992920,4cyclictest2620175-21grep23:10:260
2535861992821,5cyclictest2599997-21kworker/u8:2+events_unbound22:23:003
2535861992820,5cyclictest2546830-21sh19:40:013
2535861992816,8cyclictest0-21swapper/322:15:003
253586199281,21cyclictest2606502-21tail22:30:263
2535858992820,4cyclictest0-21swapper/223:10:262
2535858992820,4cyclictest0-21swapper/222:40:162
2535858992820,4cyclictest0-21swapper/222:40:012
2535858992820,4cyclictest0-21swapper/200:20:262
2535858992819,6cyclictest0-21swapper/220:55:012
2535853992822,3cyclictest0-21swapper/100:40:001
2535853992821,4cyclictest0-21swapper/122:25:261
2535853992821,3cyclictest0-21swapper/123:20:261
2535853992821,3cyclictest0-21swapper/123:20:261
2535853992821,3cyclictest0-21swapper/121:45:161
2535853992821,3cyclictest0-21swapper/119:15:011
2535853992818,6cyclictest0-21swapper/123:25:171
2535853992818,6cyclictest0-21swapper/123:25:171
2535853992817,8cyclictest2609014-21df_inode22:40:161
2535853992817,7cyclictest0-21swapper/120:17:351
2535853992814,11cyclictest231ktimers/121:25:161
2535849992823,2cyclictest0-21swapper/000:20:000
2535849992822,3cyclictest0-21swapper/023:30:000
2535849992822,3cyclictest0-21swapper/023:30:000
2535849992821,3cyclictest0-21swapper/020:40:190
2535849992820,5cyclictest0-21swapper/022:40:250
2535849992820,5cyclictest0-21swapper/021:15:010
2535849992820,5cyclictest0-21swapper/021:15:010
2535849992818,6cyclictest0-21swapper/020:35:160
2535861992720,4cyclictest0-21swapper/320:40:263
2535861992719,4cyclictest2556645-21head20:05:273
2535861992719,4cyclictest0-21swapper/319:45:243
2535861992718,6cyclictest2629329-21sh23:40:003
2535861992716,7cyclictest2630601-21grep23:40:273
2535858992720,3cyclictest0-21swapper/200:19:592
2535858992719,4cyclictest0-21swapper/222:45:272
2535858992714,9cyclictest1-21systemd21:07:472
2535853992719,4cyclictest0-21swapper/119:35:271
2535853992719,4cyclictest0-21swapper/100:15:271
2535853992714,9cyclictest231ktimers/123:55:141
2535849992722,3cyclictest2584709-21latency_hist21:30:010
2535849992721,3cyclictest2646453-21apt-key00:30:020
2535849992720,4cyclictest0-21swapper/020:20:000
2535849992719,4cyclictest2558284-21tail20:10:260
2535849992717,7cyclictest0-21swapper/023:55:250
2535849992716,7cyclictest2649588-21grep00:35:260
2535849992715,9cyclictest2574336-21ls21:00:000
2535861992618,4cyclictest0-21swapper/323:15:263
2535861992616,6cyclictest0-21swapper/322:50:273
253585899269,3cyclictest131rcu_preempt20:20:142
253585899269,3cyclictest131rcu_preempt20:20:142
2535858992619,4cyclictest2584744-21apt-key21:30:012
2535858992617,5cyclictest0-21swapper/220:10:272
2535858992616,6cyclictest0-21swapper/200:05:262
2535858992616,6cyclictest0-21swapper/200:05:262
2535853992619,5cyclictest0-21swapper/120:00:001
2535853992619,4cyclictest2581154-21kthreadd21:20:001
2535853992619,3cyclictest0-21swapper/100:05:261
2535853992619,3cyclictest0-21swapper/100:05:261
2535853992616,6cyclictest2628022-21grep23:35:151
2535853992615,7cyclictest1-21systemd23:53:181
2535849992619,3cyclictest0-21swapper/021:50:010
253586199252,16cyclictest2612077-21munin-plugin-st22:50:003
2535861992518,5cyclictest2550597-21diskstats19:50:183
2535861992518,4cyclictest0-21swapper/320:35:243
2535861992517,4cyclictest0-21swapper/300:20:213
2535861992516,7cyclictest2594446-21kworker/u8:3+events_unbound21:58:233
2535861992516,5cyclictest2581562-21fschecks_count21:20:163
2535861992514,5cyclictest0-21swapper/321:10:163
2535861992514,5cyclictest0-21swapper/321:10:163
253586199251,12cyclictest0-21swapper/319:13:003
2535858992519,3cyclictest0-21swapper/221:40:192
2535858992519,3cyclictest0-21swapper/219:45:222
2535858992518,3cyclictest0-21swapper/223:45:002
2535858992517,4cyclictest2632750-21auditctl23:50:002
2535858992517,4cyclictest0-21swapper/219:35:262
2535858992516,6cyclictest311ktimers/221:00:182
2535858992515,6cyclictest2564276-21tune2fs20:30:172
2535858992515,6cyclictest0-21swapper/223:50:282
253585899251,21cyclictest2568711-21seq20:41:352
2535853992518,4cyclictest0-21swapper/121:05:281
2535853992517,5cyclictest0-21swapper/100:30:011
2535849992517,4cyclictest0-21swapper/019:50:280
2535849992517,3cyclictest0-21swapper/019:32:270
2535849992515,6cyclictest2644255-21grep00:20:260
2535861992418,4cyclictest2635948-21kworker/u8:0+events_unbound00:08:233
2535861992418,4cyclictest2635948-21kworker/u8:0+events_unbound00:08:233
2535861992417,4cyclictest0-21swapper/323:15:013
2535861992417,4cyclictest0-21swapper/323:00:253
2535861992417,4cyclictest0-21swapper/319:30:253
2535861992415,5cyclictest2610372-21auditctl22:45:003
2535861992413,7cyclictest2581149-21sh21:20:013
2535861992412,8cyclictest2639914-21df00:10:143
2535858992418,3cyclictest0-21swapper/220:00:252
2535858992418,3cyclictest0-21swapper/200:25:282
2535853992418,3cyclictest0-21swapper/123:00:211
2535853992418,3cyclictest0-21swapper/121:10:231
2535853992418,3cyclictest0-21swapper/121:10:221
2535853992417,4cyclictest0-21swapper/120:45:021
2535853992417,3cyclictest0-21swapper/122:10:201
2535853992415,6cyclictest2563629-21seq20:27:011
2535853992412,4cyclictest3315728-1kworker/1:2H+kblockd00:05:001
253585399241,15cyclictest0-21swapper/121:31:541
2535853992411,10cyclictest2620968-21fschecks_count23:15:161
2535849992418,3cyclictest0-21swapper/021:05:250
2535849992417,4cyclictest121ktimers/020:04:240
2535849992415,5cyclictest0-21swapper/019:20:280
2535849992414,6cyclictest0-21swapper/023:00:000
2535849992413,7cyclictest2605667-21grep22:30:170
253584999241,21cyclictest2593344-21sed21:55:000
253584999241,19cyclictest0-21swapper/021:33:470
253584999241,19cyclictest0-21swapper/000:31:220
2535849992410,6cyclictest0-21swapper/023:54:100
253586199233,14cyclictest2577264-21tail21:05:283
253585899239,11cyclictest311ktimers/221:30:142
2535858992317,4cyclictest2581158-21sendmail21:20:002
2535858992317,3cyclictest0-21swapper/222:30:252
2535858992317,3cyclictest0-21swapper/221:50:162
253585399235,14cyclictest2614187-21fschecks_time22:55:171
2535853992318,2cyclictest0-21swapper/123:30:131
2535853992317,3cyclictest0-21swapper/123:05:211
2535853992317,3cyclictest0-21swapper/120:20:211
2535853992317,3cyclictest0-21swapper/120:20:211
2535853992316,4cyclictest231ktimers/100:30:311
2535853992315,5cyclictest0-21swapper/123:45:271
2535853992315,4cyclictest2613297-21tail22:50:261
2535853992313,7cyclictest2555746-21cut20:05:171
2535853992313,6cyclictest0-21swapper/123:10:271
2535849992317,4cyclictest0-21swapper/022:38:030
2535849992317,3cyclictest0-21swapper/023:05:260
2535849992317,3cyclictest0-21swapper/019:15:250
2535849992314,6cyclictest2622918-21cut23:20:190
2535849992314,6cyclictest2622918-21cut23:20:190
2535849992314,6cyclictest2569442-21cut20:45:170
2535849992312,8cyclictest2596716-21cron22:05:010
253584999231,20cyclictest0-21swapper/023:30:120
253584999231,18cyclictest0-21swapper/022:54:570
253584999231,18cyclictest0-21swapper/021:44:570
253584999230,19cyclictest0-21swapper/022:28:550
253584999230,19cyclictest0-21swapper/020:28:550
253585899225,14cyclictest2618892-21apt23:10:002
2535858992216,3cyclictest0-21swapper/219:55:002
2535858992216,3cyclictest0-21swapper/219:15:012
2535858992215,4cyclictest2597175-21fschecks_time22:05:192
2535858992215,4cyclictest2597175-21fschecks_time22:05:192
2535858992215,4cyclictest2535842-21cyclictest19:40:252
2535858992213,6cyclictest311ktimers/223:20:202
2535858992213,6cyclictest311ktimers/223:20:202
2535858992212,7cyclictest2640721-21wc00:10:262
253585899221,12cyclictest0-21swapper/220:45:032
2535853992217,2cyclictest0-21swapper/119:30:251
2535853992214,5cyclictest231ktimers/119:40:181
2535853992214,4cyclictest0-21swapper/119:50:191
2535849992218,2cyclictest13650irq/42-30be0000.ethernet20:20:030
2535849992218,2cyclictest13650irq/42-30be0000.ethernet20:20:020
2535849992214,6cyclictest121ktimers/020:05:140
253584999221,17cyclictest0-21swapper/019:25:070
253584999220,19cyclictest2575621-21unixbench_singl21:00:300
2535861992115,3cyclictest0-21swapper/321:00:303
2535858992113,5cyclictest0-21swapper/219:30:162
2535858992112,6cyclictest2566370-21tr20:35:222
2535858992110,8cyclictest2603879-21expr22:25:152
253585899210,12cyclictest637-21runrttasks22:22:372
2535853992112,5cyclictest0-21swapper/121:45:001
2535849992114,5cyclictest121ktimers/019:55:240
2535858992013,4cyclictest0-21swapper/222:15:002
2535858992011,6cyclictest2542187-21/usr/sbin/munin19:25:172
2535858992010,6cyclictest2587761-21grep21:35:282
2535853992011,7cyclictest637-21runrttasks20:55:181
253585899193,12cyclictest2540415-21fschecks_count19:20:192
2535858991913,3cyclictest0-21swapper/223:30:202
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional