You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-20 - 20:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Wed May 20, 2026 12:45:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
25306599911758,56cyclictest0-21swapper/012:40:010
253065999878,40cyclictest2611785-21latency_hist11:45:030
253065999878,40cyclictest2611785-21latency_hist11:45:020
2530665997934,39cyclictest3467602-21systemd-journal12:06:092
253065999731,31cyclictest2556388-21kworker/u8:210:35:240
2530665997125,11cyclictest275-21dbus-daemon10:45:012
253065999707,33cyclictest0-21swapper/012:20:010
253065999683,18cyclictest2536826-21modprobe09:10:000
2530659996731,5cyclictest2587494-21munin-run10:55:000
2530659996731,17cyclictest0-21swapper/011:53:230
2530659996620,13cyclictest2575831-21sh10:30:220
2530659996618,15cyclictest2573412-21rm10:25:170
2530659996618,15cyclictest2573412-21rm10:25:170
2530659996615,15cyclictest2596843-21ssh11:14:230
2530659996510,16cyclictest2584139-21ssh10:47:540
2530665996332,12cyclictest3467602-21systemd-journal07:55:012
2530662996313,42cyclictest120-21kswapd011:20:011
253065999638,37cyclictest2612420-21ssh11:46:200
2530659996315,18cyclictest2552410-21ssh09:41:550
2530665996230,10cyclictest30-21ksoftirqd/212:10:442
253065999624,19cyclictest2544874-21ssh09:26:150
2530659996228,21cyclictest151rcuc/012:10:030
2530659996220,37cyclictest2592266-21cron11:05:000
253066299615,14cyclictest2565721-21ssh10:09:491
2530662996129,7cyclictest23-21ksoftirqd/109:57:241
2530662996129,7cyclictest23-21ksoftirqd/109:57:241
2530659996157,2cyclictest0-21swapper/008:15:020
253065999611,58cyclictest0-21swapper/008:20:020
253065999611,58cyclictest0-21swapper/008:20:020
2530665996037,12cyclictest2533179-21cron08:00:002
253065999608,36cyclictest2547576-21ssh09:31:550
2530659996018,12cyclictest275-21dbus-daemon08:40:010
2530659996017,10cyclictest2561131-21cat10:00:020
2530659996017,10cyclictest2561131-21cat10:00:020
2530665995927,11cyclictest30-21ksoftirqd/211:37:132
2530662995915,7cyclictest23-21ksoftirqd/112:15:021
2530662995911,14cyclictest2600412-21sh11:21:291
2530659995913,15cyclictest2557249-21ssh09:52:020
2530669995833,17cyclictest37-21ksoftirqd/309:15:023
2530669995833,17cyclictest37-21ksoftirqd/309:15:013
2530662995820,11cyclictest23-21ksoftirqd/111:44:311
2530662995820,11cyclictest23-21ksoftirqd/111:44:311
2530659995826,27cyclictest16850irq/134-800000009:38:570
2530659995819,3cyclictest0-21swapper/010:43:590
2530659995813,13cyclictest2625650-21ssh12:14:100
2530659995811,11cyclictest0-21swapper/010:17:090
2530659995811,11cyclictest0-21swapper/010:17:090
2530665995747,6cyclictest2542136-21kworker/2:009:36:202
2530665995746,7cyclictest2604379-21kworker/2:312:32:052
253065999573,38cyclictest2540592-21ssh09:17:340
2530659995729,7cyclictest12-21ksoftirqd/011:09:490
2530659995716,6cyclictest2554515-21ssh09:46:130
2530659995716,14cyclictest131rcu_preempt07:25:020
2530665995648,5cyclictest2522972-21kworker/2:110:14:062
2530659995628,25cyclictest2604858-21ssh11:30:420
2530659995628,13cyclictest2597694-21ssh11:15:530
2530659995627,13cyclictest2619551-21ssh12:01:090
2530659995624,17cyclictest16850irq/134-800000011:36:260
253065999562,38cyclictest2561890-21ssh10:01:360
253065999561,39cyclictest2563901-21ssh10:05:310
253066299559,11cyclictest23-21ksoftirqd/109:10:501
253066299559,11cyclictest23-21ksoftirqd/109:10:501
253066299556,12cyclictest23-21ksoftirqd/111:51:571
2530662995518,9cyclictest23-21ksoftirqd/110:16:241
2530662995518,9cyclictest23-21ksoftirqd/110:16:241
2530659995520,6cyclictest16850irq/134-800000011:56:210
2530659995518,6cyclictest16850irq/134-800000010:21:440
2530659995511,15cyclictest2531906-21munin-run07:35:000
2530669995433,15cyclictest3467602-21systemd-journal08:29:593
2530665995445,5cyclictest2582650-21kworker/2:211:33:502
253066299543,14cyclictest23-21ksoftirqd/111:09:081
2530662995415,8cyclictest23-21ksoftirqd/112:06:021
2530662995414,10cyclictest23-21ksoftirqd/110:42:321
2530659995436,14cyclictest1-21systemd11:00:010
2530659995435,4cyclictest16850irq/134-800000012:25:010
2530659995435,4cyclictest16850irq/134-800000012:25:010
2530659995424,14cyclictest2632304-21ssh12:27:480
2530659995421,29cyclictest16850irq/134-800000011:26:370
2530659995419,18cyclictest16850irq/134-800000009:21:060
2530659995418,18cyclictest16850irq/134-800000011:22:430
2530669995329,22cyclictest37-21ksoftirqd/307:25:023
2530665995345,5cyclictest2604379-21kworker/2:311:59:352
2530665995344,6cyclictest2522972-21kworker/2:109:16:072
2530665995344,5cyclictest2582650-21kworker/2:212:18:412
253066299539,9cyclictest23-21ksoftirqd/109:47:321
253066299538,6cyclictest23-21ksoftirqd/110:49:051
253066299536,10cyclictest23-21ksoftirqd/111:49:591
253065999538,40cyclictest2566084-21ssh10:10:060
2530659995317,18cyclictest16850irq/134-800000012:33:390
253066599528,25cyclictest2581989-21kworker/u8:010:55:022
2530665995244,5cyclictest2542136-21kworker/2:011:08:182
2530665995243,6cyclictest2604379-21kworker/2:311:45:542
2530665995243,5cyclictest2582650-21kworker/2:212:26:402
2530665995243,5cyclictest2582650-21kworker/2:212:24:162
2530665995243,5cyclictest2582650-21kworker/2:212:24:162
2530665995242,5cyclictest2582650-21kworker/2:211:52:142
2530665995241,6cyclictest2542136-21kworker/2:010:09:082
253066299526,7cyclictest23-21ksoftirqd/110:35:461
253066299524,9cyclictest2539729-21ssh09:15:361
2530662995242,6cyclictest221rcuc/110:03:161
2530659995218,17cyclictest16850irq/134-800000009:13:160
2530659995218,17cyclictest16850irq/134-800000009:13:160
2530669995132,13cyclictest309-21in:imuxsock11:14:093
2530665995141,6cyclictest2542136-21kworker/2:009:41:152
2530665995136,12cyclictest30-21ksoftirqd/208:20:022
2530665995136,12cyclictest30-21ksoftirqd/208:20:022
2530665995134,12cyclictest3467602-21systemd-journal08:45:012
253066299517,6cyclictest23-21ksoftirqd/110:31:481
253066299517,5cyclictest131rcu_preempt10:55:091
253066299512,9cyclictest23-21ksoftirqd/110:30:011
253066299512,9cyclictest23-21ksoftirqd/110:30:011
253066299512,13cyclictest23-21ksoftirqd/111:05:031
2530662995110,9cyclictest221rcuc/109:27:391
2530659995114,8cyclictest12-21ksoftirqd/008:10:010
2530669995032,14cyclictest275-21dbus-daemon08:05:013
2530665995041,6cyclictest2522972-21kworker/2:109:23:592
2530665995040,7cyclictest2522972-21kworker/2:110:17:292
2530665995040,7cyclictest2522972-21kworker/2:110:17:292
253066299506,8cyclictest0-21swapper/111:58:051
253066299505,10cyclictest23-21ksoftirqd/107:40:021
253066299504,8cyclictest23-21ksoftirqd/112:01:281
253066299504,8cyclictest23-21ksoftirqd/109:40:281
253066299503,13cyclictest23-21ksoftirqd/112:25:581
2530662995031,13cyclictest275-21dbus-daemon11:40:011
253066299501,14cyclictest23-21ksoftirqd/111:28:221
2530662995011,10cyclictest23-21ksoftirqd/109:24:031
2530669994931,14cyclictest2570612-21systemctl10:20:003
2530669994931,14cyclictest2570612-21systemctl10:20:003
2530669994925,20cyclictest2599667-21sed11:20:023
2530665994941,5cyclictest2582650-21kworker/2:210:58:492
2530665994940,6cyclictest2604379-21kworker/2:312:39:152
2530665994940,6cyclictest2522972-21kworker/2:110:35:192
253066299491,8cyclictest2572788-21ssh10:24:271
2530659994934,12cyclictest1-21systemd07:50:010
2530669994832,11cyclictest3467602-21systemd-journal12:20:003
2530665994840,5cyclictest2542136-21kworker/2:011:04:212
2530665994840,5cyclictest2522972-21kworker/2:110:27:592
2530665994840,5cyclictest2522972-21kworker/2:110:27:592
2530665994840,5cyclictest2522972-21kworker/2:110:24:162
2530665994840,5cyclictest2522972-21kworker/2:109:52:392
2530665994839,6cyclictest2522972-21kworker/2:109:12:332
2530665994839,6cyclictest2522972-21kworker/2:109:12:322
2530665994839,5cyclictest2582650-21kworker/2:211:15:172
253066299487,7cyclictest23-21ksoftirqd/111:33:041
253066299486,6cyclictest23-21ksoftirqd/110:14:101
253066299485,8cyclictest23-21ksoftirqd/109:50:311
253066299484,8cyclictest23-21ksoftirqd/112:31:171
2530662994840,5cyclictest221rcuc/111:13:561
2530669994740,4cyclictest2580196-21sendmail10:40:003
2530669994732,10cyclictest1-21systemd08:45:003
2530669994717,18cyclictest131rcu_preempt09:41:093
2530665994739,5cyclictest2604379-21kworker/2:312:00:512
2530665994739,5cyclictest2542136-21kworker/2:011:23:312
253066299478,12cyclictest23-21ksoftirqd/110:52:181
253066299476,9cyclictest23-21ksoftirqd/112:20:441
253066299476,9cyclictest23-21ksoftirqd/112:20:441
253066299476,10cyclictest23-21ksoftirqd/112:37:361
253066299473,9cyclictest23-21ksoftirqd/108:10:021
2530662994731,10cyclictest3467602-21systemd-journal08:50:011
253066299471,8cyclictest23-21ksoftirqd/109:35:331
253066299471,6cyclictest23-21ksoftirqd/112:12:401
253066999461,7cyclictest0-21swapper/309:53:473
2530669994610,10cyclictest131rcu_preempt08:22:543
2530665994639,5cyclictest2542136-21kworker/2:011:25:502
253066299467,10cyclictest23-21ksoftirqd/109:30:521
253066299465,9cyclictest23-21ksoftirqd/108:20:011
253066299465,9cyclictest23-21ksoftirqd/108:20:011
253066299463,15cyclictest23-21ksoftirqd/108:30:011
2530662994624,16cyclictest275-21dbus-daemon08:00:001
2530659994625,13cyclictest2533204-21munin-plugin-st08:00:000
253065999462,14cyclictest2535789-21cron08:50:000
253065999461,11cyclictest2532168-21munin-plugin-st07:40:010
253066999456,6cyclictest131rcu_preempt10:00:023
253066999456,6cyclictest131rcu_preempt10:00:023
2530669994524,16cyclictest275-21dbus-daemon11:05:013
2530665994538,5cyclictest2542136-21kworker/2:009:55:562
2530665994538,5cyclictest2542136-21kworker/2:009:55:562
2530665994537,5cyclictest2542136-21kworker/2:010:02:592
2530665994536,6cyclictest2522972-21kworker/2:107:35:002
2530665994532,8cyclictest2596726-21sshd11:14:092
253066299455,6cyclictest23-21ksoftirqd/108:40:001
2530662994533,9cyclictest23-21ksoftirqd/107:30:011
2530659994531,11cyclictest12-21ksoftirqd/009:05:010
2530659994531,11cyclictest12-21ksoftirqd/009:05:000
2530659994530,12cyclictest2531093-21sshd07:17:100
2530659994529,11cyclictest1-21systemd09:00:010
2530659994518,22cyclictest2533476-21true08:05:000
2530669994430,11cyclictest37-21ksoftirqd/307:30:013
253066999441,8cyclictest0-21swapper/309:19:003
253066999441,5cyclictest0-21swapper/309:31:143
2530665994436,5cyclictest2522972-21kworker/2:110:47:352
2530665994419,16cyclictest3467602-21systemd-journal07:40:012
253066299447,7cyclictest0-21swapper/107:50:011
2530662994430,11cyclictest2532928-21cron07:55:001
253066299441,7cyclictest0-21swapper/107:17:111
2530659994429,11cyclictest2530872-21sh07:15:000
2530669994331,7cyclictest2533194-21sh08:00:003
2530669994330,9cyclictest2568170-21sh10:15:003
2530669994330,11cyclictest37-21ksoftirqd/311:43:373
2530669994330,11cyclictest37-21ksoftirqd/311:43:373
2530669994328,11cyclictest275-21dbus-daemon09:50:013
253066999431,6cyclictest0-21swapper/311:58:453
253066999431,6cyclictest0-21swapper/311:39:023
253066999431,5cyclictest0-21swapper/309:37:203
253066599433,8cyclictest3467602-21systemd-journal08:30:012
2530665994336,5cyclictest2542136-21kworker/2:009:33:562
2530665994335,5cyclictest2582650-21kworker/2:211:41:272
2530665994335,5cyclictest2582650-21kworker/2:211:41:262
2530665994335,5cyclictest2522972-21kworker/2:109:47:582
2530665994335,5cyclictest2522972-21kworker/2:109:26:342
253066299431,7cyclictest0-21swapper/107:14:091
2530662994310,7cyclictest23-21ksoftirqd/108:05:011
2530662994310,6cyclictest0-21swapper/107:35:021
2530659994332,8cyclictest2534484-21sshd08:21:090
2530659994330,10cyclictest2531617-21sshd07:25:100
2530659994329,10cyclictest2535521-21sshd08:42:090
2530659994328,10cyclictest48-21kcompactd007:43:010
253066999424,5cyclictest131rcu_preempt11:30:283
2530669994227,11cyclictest37-21ksoftirqd/310:46:283
2530669994225,8cyclictest37-21ksoftirqd/309:25:083
253066999421,6cyclictest0-21swapper/312:34:433
253066999421,6cyclictest0-21swapper/312:21:053
253066999421,6cyclictest0-21swapper/312:21:053
253066999421,5cyclictest0-21swapper/312:02:073
253066999421,5cyclictest0-21swapper/311:50:083
253066999421,5cyclictest0-21swapper/310:52:573
2530665994234,5cyclictest2522972-21kworker/2:110:31:272
2530665994232,6cyclictest2531126-21sendmail07:20:002
2530665994218,16cyclictest275-21dbus-daemon07:45:012
253066299426,7cyclictest23-21ksoftirqd/109:00:021
253066299426,7cyclictest23-21ksoftirqd/109:00:021
2530659994228,10cyclictest1-21systemd08:30:010
2530669994129,9cyclictest37-21ksoftirqd/308:20:003
2530669994129,9cyclictest37-21ksoftirqd/308:19:593
2530669994127,10cyclictest284-21systemd-logind10:04:593
2530669994126,8cyclictest2533977-21grep08:15:003
2530669994122,15cyclictest275-21dbus-daemon10:30:013
2530669994122,15cyclictest275-21dbus-daemon10:30:013
253066999411,8cyclictest0-21swapper/310:55:383
253066999411,7cyclictest0-21swapper/312:38:153
253066999411,5cyclictest0-21swapper/310:32:493
2530669994113,23cyclictest2582636-21unin-run10:45:013
2530662994132,6cyclictest23-21ksoftirqd/108:15:021
2530659994129,9cyclictest2532941-21munin-run07:55:010
253066999407,7cyclictest131rcu_preempt08:10:013
2530669994031,7cyclictest37-21ksoftirqd/309:21:233
2530669994028,9cyclictest37-21ksoftirqd/307:40:003
2530669994023,12cyclictest275-21dbus-daemon10:25:013
253066999401,6cyclictest0-21swapper/312:11:003
253066999401,6cyclictest0-21swapper/312:06:513
2530665994032,5cyclictest2530871-21kworker/2:208:55:022
2530665994022,14cyclictest1-21systemd08:35:012
2530659994026,10cyclictest2535030-21munin-run08:35:010
2530659994015,20cyclictest2536207-21cut08:55:010
2530669993926,9cyclictest2532666-21sshd07:48:093
253066999391,6cyclictest0-21swapper/312:25:503
2530665993927,9cyclictest30-21ksoftirqd/208:13:332
2530665993923,12cyclictest30-21ksoftirqd/208:46:092
2530662993930,7cyclictest23-21ksoftirqd/107:45:011
2530662993928,7cyclictest2535016-21munin-plugin-st08:35:011
2530669993827,9cyclictest37-21ksoftirqd/308:50:013
2530669993826,10cyclictest37-21ksoftirqd/310:05:423
2530669993821,13cyclictest3467602-21systemd-journal07:15:023
2530669993820,13cyclictest275-21dbus-daemon07:35:013
253066999381,6cyclictest0-21swapper/311:09:033
253066599387,7cyclictest30-21ksoftirqd/209:06:092
253066599385,5cyclictest131rcu_preempt09:00:002
2530665993823,12cyclictest2535474-21wc08:40:022
253066299384,9cyclictest23-21ksoftirqd/109:00:011
2530669993723,10cyclictest37-21ksoftirqd/309:10:003
253066999371,5cyclictest0-21swapper/311:24:023
2530669993714,9cyclictest131rcu_preempt11:25:383
2530665993726,8cyclictest30-21ksoftirqd/208:25:022
2530665993725,9cyclictest2533735-21systemd-run08:10:012
253066299372,8cyclictest23-21ksoftirqd/109:07:081
2530669993627,6cyclictest2532569-21latency_hist07:45:023
2530669993625,9cyclictest37-21ksoftirqd/307:13:103
2530669993625,8cyclictest2611636-21cron11:45:023
2530669993619,13cyclictest275-21dbus-daemon08:35:013
2530665993623,8cyclictest2531388-21cron07:25:012
253066299365,8cyclictest0-21swapper/108:20:291
253066299365,7cyclictest23-21ksoftirqd/108:43:401
2530669993527,5cyclictest2536686-21latency_hist09:05:023
2530669993527,5cyclictest2536686-21latency_hist09:05:023
2530665993524,9cyclictest30-21ksoftirqd/207:30:012
2530665993519,13cyclictest1-21systemd09:05:012
2530665993519,13cyclictest1-21systemd09:05:012
2530662993522,10cyclictest23-21ksoftirqd/107:25:031
2530669993323,7cyclictest37-21ksoftirqd/307:50:013
2530669993317,5cyclictest131rcu_preempt08:40:003
2530662993320,9cyclictest23-21ksoftirqd/108:55:011
253066999324,8cyclictest131rcu_preempt08:57:313
253066599323,23cyclictest2530864-21munin-plugin-st07:15:002
2530665993223,6cyclictest2522972-21kworker/2:107:48:092
2530665993219,10cyclictest2533440-21sshd08:01:092
2530669993123,5cyclictest2530777-21latency_hist07:10:023
2530659993116,11cyclictest2530671-21cat07:10:000
253066999301,10cyclictest131rcu_preempt08:53:183
253066599293,3cyclictest131rcu_preempt07:10:012
2530662992718,6cyclictest23-21ksoftirqd/107:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional