You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-24 - 05:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Thu Sep 24, 2026 00:45:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2303606999389,2cyclictest0-21swapper/023:20:030
2303606999389,2cyclictest0-21swapper/023:20:030
230360699861,41cyclictest2321508-21latency_hist21:35:030
230360699861,41cyclictest2321508-21latency_hist21:35:020
230361199835,73cyclictest2389642-40mandb00:00:031
2303606997629,8cyclictest2362497-21ssh23:02:100
2303606997120,32cyclictest0-21swapper/022:21:400
230360699711,33cyclictest0-21swapper/000:00:120
230360699711,33cyclictest0-21swapper/000:00:110
2303606996921,32cyclictest0-21swapper/023:33:530
2303606996921,10cyclictest2401038-21ssh00:24:110
230360699668,5cyclictest131rcu_preempt19:15:010
2303606996519,14cyclictest2314454-21latency_hist21:20:010
230360699641,45cyclictest2393144-21ssh00:07:130
2303611996212,10cyclictest23-21ksoftirqd/121:13:521
230360699621,26cyclictest2332639-21ssh21:58:570
230360699614,21cyclictest2347164-21unin-run22:30:010
2303611996018,10cyclictest23-21ksoftirqd/121:22:271
2303611996018,10cyclictest23-21ksoftirqd/121:22:261
2303611996012,9cyclictest23-21ksoftirqd/100:24:251
230360699601,44cyclictest19350irq/34-mmc100:30:030
230360699601,44cyclictest19350irq/34-mmc100:30:020
230361199598,20cyclictest2332572-21ssh21:58:491
2303611995917,10cyclictest23-21ksoftirqd/121:45:021
2303611995913,7cyclictest23-21ksoftirqd/100:11:221
2303606995929,25cyclictest2378357-21ssh23:35:410
2303606995922,32cyclictest16850irq/134-800000021:53:440
2303606995917,33cyclictest16850irq/134-800000000:37:340
2303606995917,33cyclictest16850irq/134-800000000:37:330
230360699591,43cyclictest2337045-21ssh22:08:040
2303616995850,5cyclictest2316646-21kworker/2:023:45:012
2303611995812,10cyclictest23-21ksoftirqd/121:28:391
2303606995827,15cyclictest2355165-21ssh22:46:320
2303616995748,6cyclictest2337911-21kworker/2:300:15:022
2303611995711,10cyclictest23-21ksoftirqd/100:25:311
2303611995711,10cyclictest23-21ksoftirqd/100:25:301
2303606995743,9cyclictest12-21ksoftirqd/022:40:010
2303616995646,6cyclictest2316646-21kworker/2:022:25:022
2303611995638,14cyclictest1-21systemd22:10:011
2303611995613,11cyclictest23-21ksoftirqd/120:40:001
2303611995612,9cyclictest23-21ksoftirqd/123:40:011
2303611995612,9cyclictest23-21ksoftirqd/123:25:591
2303611995611,8cyclictest23-21ksoftirqd/121:38:551
2303611995610,9cyclictest23-21ksoftirqd/123:32:331
2303606995621,30cyclictest16850irq/134-800000022:10:550
2303606995620,31cyclictest16850irq/134-800000022:15:140
2303606995620,31cyclictest16850irq/134-800000022:15:130
230360699561,27cyclictest2339373-21kworker/u8:222:42:160
230360699561,19cyclictest2385454-21ssh23:50:460
2303620995538,12cyclictest1-21systemd00:05:013
2303620995538,12cyclictest1-21systemd00:05:003
2303616995546,5cyclictest2308782-21kworker/2:121:55:302
230361199557,15cyclictest2350239-21ssh22:36:061
2303611995515,9cyclictest23-21ksoftirqd/123:16:111
2303611995513,9cyclictest23-21ksoftirqd/100:35:241
2303611995513,9cyclictest23-21ksoftirqd/100:35:231
2303611995513,9cyclictest23-21ksoftirqd/100:16:121
2303611995511,8cyclictest23-21ksoftirqd/122:57:331
2303611995511,8cyclictest23-21ksoftirqd/122:57:331
2303606995535,6cyclictest16850irq/134-800000021:26:360
2303606995527,15cyclictest2309785-21diskmemload23:15:020
2303606995527,13cyclictest2383767-21ssh23:47:180
2303606995519,30cyclictest16850irq/134-800000021:14:200
2303606995516,34cyclictest16850irq/134-800000000:18:050
2303616995446,5cyclictest2316646-21kworker/2:023:40:022
2303616995445,6cyclictest2316646-21kworker/2:022:25:002
2303616995445,5cyclictest2308782-21kworker/2:121:41:552
2303616995444,6cyclictest2316646-21kworker/2:022:20:032
2303616995444,6cyclictest2316646-21kworker/2:022:20:022
230361199548,9cyclictest2391536-21ssh00:03:561
230361199548,9cyclictest2391536-21ssh00:03:551
230361199548,8cyclictest23-21ksoftirqd/122:18:401
230361199548,8cyclictest23-21ksoftirqd/122:18:391
230361199543,14cyclictest2309881-21cat21:10:011
230361199542,16cyclictest2326377-21ssh21:45:211
2303611995412,8cyclictest23-21ksoftirqd/123:55:021
2303606995426,11cyclictest2380591-21ssh23:40:220
2303606995417,32cyclictest16850irq/134-800000022:55:550
2303606995417,32cyclictest16850irq/134-800000022:55:540
2303606995415,35cyclictest0-21swapper/023:14:010
2303606995415,35cyclictest0-21swapper/023:14:010
230360699541,25cyclictest2309785-21diskmemload22:30:530
2303616995345,5cyclictest2308782-21kworker/2:122:00:302
2303616995343,6cyclictest2308782-21kworker/2:121:10:012
2303616995334,14cyclictest275-21dbus-daemon20:30:002
2303611995316,7cyclictest23-21ksoftirqd/123:24:201
2303611995316,7cyclictest23-21ksoftirqd/123:24:191
2303606995325,13cyclictest2405769-21ssh00:34:150
2303606995319,19cyclictest16850irq/134-800000023:56:430
2303606995315,33cyclictest16850irq/134-800000021:35:370
230360699531,36cyclictest2334424-21ssh22:02:320
2303620995236,12cyclictest3467602-21systemd-journal20:40:003
2303616995244,5cyclictest2337911-21kworker/2:300:30:262
2303616995244,5cyclictest2316646-21kworker/2:023:18:412
2303616995244,5cyclictest2316646-21kworker/2:023:05:222
2303616995244,5cyclictest2316646-21kworker/2:023:04:592
2303616995244,5cyclictest2316646-21kworker/2:022:32:412
2303616995244,5cyclictest2316646-21kworker/2:022:07:172
2303616995243,6cyclictest2308782-21kworker/2:121:52:562
2303616995241,8cyclictest30-21ksoftirqd/200:10:022
230361199528,9cyclictest2303602-21cyclictest00:35:021
2303611995214,8cyclictest23-21ksoftirqd/123:12:381
2303611995214,8cyclictest23-21ksoftirqd/123:12:371
2303611995212,8cyclictest23-21ksoftirqd/123:05:071
2303611995210,8cyclictest23-21ksoftirqd/121:20:011
230360699521,4cyclictest131rcu_preempt21:49:300
2303616995142,5cyclictest2308782-21kworker/2:121:49:062
2303616995141,6cyclictest2316646-21kworker/2:023:46:592
230361199518,9cyclictest23-21ksoftirqd/122:10:541
230361199517,7cyclictest23-21ksoftirqd/121:50:041
230361199515,9cyclictest23-21ksoftirqd/122:51:281
2303611995112,10cyclictest23-21ksoftirqd/100:09:351
2303611995110,10cyclictest23-21ksoftirqd/120:29:591
2303606995128,19cyclictest2365532-21ssh23:08:490
2303606995119,17cyclictest16850irq/134-800000023:26:090
2303606995118,7cyclictest131rcu_preempt20:05:010
230360699511,17cyclictest2394841-21ssh00:10:380
2303616995042,5cyclictest2337911-21kworker/2:322:42:492
2303616995042,5cyclictest2316646-21kworker/2:022:59:172
2303616995042,5cyclictest2316646-21kworker/2:022:59:162
2303616995042,5cyclictest2308782-21kworker/2:121:17:142
2303611995016,11cyclictest23-21ksoftirqd/122:27:171
2303611995015,7cyclictest0-21swapper/120:15:021
2303611995010,9cyclictest23-21ksoftirqd/122:01:291
2303611995010,13cyclictest2353323-21ssh22:42:461
230360699501,44cyclictest1-21systemd20:40:020
2303620994931,13cyclictest275-21dbus-daemon23:55:003
2303620994912,6cyclictest131rcu_preempt22:37:443
2303616994941,5cyclictest2337911-21kworker/2:322:49:492
2303616994941,5cyclictest2316646-21kworker/2:022:37:392
2303616994941,5cyclictest2308782-21kworker/2:121:34:072
2303616994941,5cyclictest2308782-21kworker/2:121:34:062
2303616994941,5cyclictest2308782-21kworker/2:121:21:322
2303616994941,5cyclictest2308782-21kworker/2:121:21:312
2303616994941,5cyclictest2303574-21kworker/2:220:35:022
2303616994939,5cyclictest2316646-21kworker/2:023:24:042
2303616994939,5cyclictest2316646-21kworker/2:023:24:032
2303616994935,11cyclictest1-21systemd00:30:012
2303616994935,11cyclictest1-21systemd00:30:012
230361699493,3cyclictest131rcu_preempt00:20:032
2303616994933,11cyclictest1-21systemd19:40:012
230361199492,13cyclictest2385045-21latency_hist23:50:021
230361199491,19cyclictest0-21swapper/119:36:401
2303611994911,7cyclictest23-21ksoftirqd/119:35:011
2303611994910,8cyclictest0-21swapper/123:00:321
2303620994835,9cyclictest37-21ksoftirqd/323:06:503
2303620994813,8cyclictest131rcu_preempt22:00:493
2303616994840,5cyclictest2337911-21kworker/2:323:59:212
2303616994840,5cyclictest2308782-21kworker/2:121:36:532
2303616994840,5cyclictest2308782-21kworker/2:121:29:352
2303616994839,5cyclictest2316646-21kworker/2:023:35:012
2303616994832,12cyclictest1-21systemd22:55:012
230361199487,8cyclictest23-21ksoftirqd/122:24:461
2303611994833,11cyclictest275-21dbus-daemon19:50:001
2303611994813,8cyclictest0-21swapper/123:40:591
2303606994838,6cyclictest309-21in:imuxsock20:35:000
2303606994835,10cyclictest0-21swapper/019:20:010
2303620994731,13cyclictest3467602-21systemd-journal00:00:003
2303620994730,5cyclictest37-21ksoftirqd/300:39:483
2303620994730,5cyclictest37-21ksoftirqd/300:39:473
2303620994729,13cyclictest275-21dbus-daemon22:30:013
2303620994728,13cyclictest275-21dbus-daemon22:50:013
2303620994718,8cyclictest37-21ksoftirqd/300:15:173
2303620994711,10cyclictest131rcu_preempt22:20:013
2303620994711,10cyclictest131rcu_preempt22:20:003
2303616994741,3cyclictest2316646-21kworker/2:023:10:222
2303616994741,3cyclictest2316646-21kworker/2:023:10:222
2303616994740,5cyclictest2337911-21kworker/2:300:01:142
2303616994740,5cyclictest2337911-21kworker/2:300:01:132
2303616994739,5cyclictest2316646-21kworker/2:023:25:562
2303616994739,5cyclictest2304116-21kworker/2:319:59:512
230361199475,6cyclictest23-21ksoftirqd/120:00:031
2303611994711,8cyclictest0-21swapper/119:27:181
2303606994730,14cyclictest2359001-21latency_hist22:55:020
2303620994634,7cyclictest37-21ksoftirqd/322:35:023
2303616994637,6cyclictest2337911-21kworker/2:323:55:032
2303616994628,13cyclictest275-21dbus-daemon19:45:002
2303611994611,8cyclictest0-21swapper/122:48:361
2303606994639,4cyclictest16850irq/134-800000021:10:020
2303606994614,29cyclictest0-21swapper/019:45:000
2303606994610,33cyclictest16850irq/134-800000021:41:040
2303620994528,13cyclictest1-21systemd21:45:013
2303616994540,3cyclictest2337911-21kworker/2:300:37:442
2303616994540,3cyclictest2337911-21kworker/2:300:37:442
2303616994537,5cyclictest2304116-21kworker/2:320:55:372
2303616994537,5cyclictest2304116-21kworker/2:320:05:022
2303616994535,7cyclictest2304116-21kworker/2:320:15:562
2303611994511,8cyclictest0-21swapper/122:32:131
2303611994511,6cyclictest0-21swapper/120:52:231
2303606994538,5cyclictest16950irq/224-800000021:24:430
2303606994538,5cyclictest16950irq/224-800000021:24:420
2303620994429,12cyclictest37-21ksoftirqd/321:11:513
2303620994429,11cyclictest3467602-21systemd-journal00:05:033
2303620994424,15cyclictest310-21in:imklog21:51:523
2303620994423,9cyclictest0-21swapper/321:59:463
2303620994421,16cyclictest275-21dbus-daemon20:20:003
2303616994437,4cyclictest2337911-21kworker/2:300:21:262
2303616994436,5cyclictest2316646-21kworker/2:022:11:302
2303616994436,4cyclictest2308782-21kworker/2:121:11:112
2303616994411,16cyclictest364-21snmpd19:20:032
2303611994426,13cyclictest3467602-21systemd-journal21:00:001
2303611994412,5cyclictest0-21swapper/120:44:471
2303611994411,6cyclictest131rcu_preempt21:35:021
2303611994411,6cyclictest131rcu_preempt21:35:021
2303611994410,7cyclictest0-21swapper/119:56:101
2303606994426,14cyclictest2304314-21sshd19:20:420
230360699442,38cyclictest0-21swapper/019:35:410
230360699442,37cyclictest2305899-21systemd-run19:55:010
2303620994334,6cyclictest37-21ksoftirqd/323:35:023
2303620994333,7cyclictest37-21ksoftirqd/321:26:533
2303620994329,10cyclictest309-21in:imuxsock19:33:413
2303620994326,9cyclictest131rcu_preempt21:15:483
2303620994325,13cyclictest275-21dbus-daemon21:10:013
2303620994324,14cyclictest1-21systemd19:30:013
230362099431,5cyclictest0-21swapper/322:09:073
2303616994335,5cyclictest2304116-21kworker/2:320:25:022
2303616994335,5cyclictest2304116-21kworker/2:320:25:012
2303611994312,6cyclictest0-21swapper/119:44:411
2303611994310,7cyclictest0-21swapper/119:10:071
2303606994329,10cyclictest275-21dbus-daemon21:05:000
230362099426,5cyclictest131rcu_preempt00:20:323
230362099425,5cyclictest131rcu_preempt23:23:523
230362099425,5cyclictest131rcu_preempt23:23:513
2303620994230,9cyclictest37-21ksoftirqd/321:20:303
2303620994230,9cyclictest37-21ksoftirqd/321:20:303
2303620994230,9cyclictest1-21systemd23:05:013
2303620994229,9cyclictest37-21ksoftirqd/322:51:133
2303620994228,10cyclictest37-21ksoftirqd/323:28:083
2303620994227,11cyclictest37-21ksoftirqd/323:38:053
2303620994227,11cyclictest309-21in:imuxsock20:35:013
230362099422,4cyclictest131rcu_preempt22:13:303
2303616994234,5cyclictest2303574-21kworker/2:219:20:022
2303616994226,12cyclictest3467602-21systemd-journal20:35:412
2303611994229,10cyclictest23-21ksoftirqd/119:55:021
230360699422,36cyclictest2307194-21systemctl20:20:010
230362099417,5cyclictest131rcu_preempt00:15:023
2303620994130,8cyclictest37-21ksoftirqd/323:13:263
2303620994130,8cyclictest37-21ksoftirqd/323:13:253
2303620994126,3cyclictest37-21ksoftirqd/323:40:253
2303620994124,10cyclictest275-21dbus-daemon19:55:013
230362099411,6cyclictest0-21swapper/322:42:273
2303611994113,5cyclictest0-21swapper/120:32:541
2303611994110,6cyclictest0-21swapper/119:18:011
2303606994132,5cyclictest2309257-21sh21:00:000
2303606994124,13cyclictest2306109-21sshd19:56:410
2303606994121,14cyclictest275-21dbus-daemon19:35:020
230360699412,10cyclictest2307102-21latency_hist20:15:010
2303606994117,19cyclictest2308900-21cut20:50:010
230362099406,12cyclictest37-21ksoftirqd/322:22:343
2303620994027,9cyclictest2323641-21cron21:40:003
2303620994027,10cyclictest37-21ksoftirqd/322:57:413
2303620994027,10cyclictest37-21ksoftirqd/322:57:403
230362099401,10cyclictest0-21swapper/323:46:273
2303616994031,5cyclictest2304116-21kworker/2:320:50:002
2303616994031,5cyclictest2304116-21kworker/2:319:55:022
2303606994033,4cyclictest16950irq/224-800000020:25:010
2303606994033,4cyclictest16950irq/224-800000020:25:010
230360699401,35cyclictest3467718-21lldpd20:50:500
230362099397,7cyclictest37-21ksoftirqd/319:59:403
2303620993927,9cyclictest37-21ksoftirqd/320:15:003
2303620993926,10cyclictest37-21ksoftirqd/321:48:423
2303620993925,9cyclictest275-21dbus-daemon19:45:013
2303620993925,10cyclictest37-21ksoftirqd/321:00:023
2303620993911,7cyclictest131rcu_preempt00:31:343
2303616993924,11cyclictest1-21systemd19:15:002
230361199399,6cyclictest0-21swapper/120:19:501
2303611993927,9cyclictest23-21ksoftirqd/120:10:031
2303606993932,4cyclictest16950irq/224-800000020:10:000
2303606993927,9cyclictest0-21swapper/019:26:100
230360699392,31cyclictest1-21systemd19:50:000
2303620993828,6cyclictest309-21in:imuxsock20:50:013
2303620993827,8cyclictest37-21ksoftirqd/320:05:013
2303620993824,10cyclictest37-21ksoftirqd/300:27:523
2303620993824,10cyclictest37-21ksoftirqd/300:27:513
2303620993810,8cyclictest131rcu_preempt20:40:423
2303616993830,5cyclictest2303574-21kworker/2:220:45:002
2303616993826,9cyclictest30-21ksoftirqd/220:15:022
2303616993822,12cyclictest3467602-21systemd-journal20:06:412
230361199381,9cyclictest0-21swapper/119:10:011
230362099376,6cyclictest131rcu_preempt19:21:423
2303620993727,6cyclictest37-21ksoftirqd/320:30:013
2303620993726,9cyclictest37-21ksoftirqd/321:31:283
2303620993726,9cyclictest37-21ksoftirqd/321:31:273
230362099371,8cyclictest0-21swapper/323:16:523
2303620993718,14cyclictest2305623-21cron19:49:593
2303616993729,5cyclictest2303574-21kworker/2:219:45:262
2303616993729,5cyclictest2303574-21kworker/2:219:29:292
2303611993727,8cyclictest23-21ksoftirqd/120:25:031
2303611993727,8cyclictest23-21ksoftirqd/120:25:021
2303611993724,11cyclictest23-21ksoftirqd/120:50:011
2303606993728,6cyclictest2307701-21cron20:30:000
230362099369,5cyclictest131rcu_preempt19:35:413
2303611993625,8cyclictest2304365-21wc19:25:011
2303620993522,9cyclictest3467602-21systemd-journal19:15:023
2303611993513,17cyclictest2309547-21systemd-run21:05:011
230362099345,6cyclictest131rcu_preempt20:10:013
230360699343,28cyclictest0-21swapper/020:42:380
230360699341,29cyclictest2303743-21latency_hist19:10:020
230362099336,5cyclictest131rcu_preempt20:53:413
2303620993319,9cyclictest309-21in:imuxsock19:10:423
2303620993225,4cyclictest309-21in:imuxsock20:25:013
2303620993225,4cyclictest309-21in:imuxsock20:25:003
2303620993216,12cyclictest275-21dbus-daemon21:05:013
230361699311,28cyclictest30-21ksoftirqd/219:35:022
2303620993022,5cyclictest2303548-21latency_hist19:10:013
2303616992917,9cyclictest3467602-21systemd-journal21:00:032
2303616992719,5cyclictest2304116-21kworker/2:320:55:022
2303616992620,4cyclictest2303548-21latency_hist19:10:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional