You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-27 - 23:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Fri Mar 27, 2026 12:45:40)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2375236991151,111cyclictest0-21swapper/010:15:020
23752369910298,2cyclictest0-21swapper/010:55:020
237523699961,3cyclictest0-21swapper/008:20:010
2375242998524,25cyclictest2411504-21ssh10:22:032
2375238998121,20cyclictest2413041-21ssh10:25:341
2375238997728,15cyclictest2382577-21ssh09:12:301
2375238997724,20cyclictest2457955-21ssh12:12:351
2375238997720,16cyclictest2461279-21ssh12:20:071
2375238997717,24cyclictest2386169-21ssh09:21:091
2375238997717,24cyclictest2386169-21ssh09:21:091
2375242997526,16cyclictest2404707-21ssh10:05:412
2375238997520,19cyclictest2454002-21rm12:03:151
2375238997520,19cyclictest2454002-21rm12:03:151
2375242997321,18cyclictest2467182-21latency_hist12:35:022
2375238997224,14cyclictest2384244-21ssh09:16:351
2375238997220,16cyclictest2422594-21ssh10:48:301
2375238997220,13cyclictest2408321-21ssh10:14:521
2375238997125,16cyclictest2460380-21sh12:18:261
2375238997120,16cyclictest2450661-21cut11:55:031
2375238997119,14cyclictest2415042-21sh10:30:221
2375238997119,14cyclictest2415042-21sh10:30:211
2375238997118,16cyclictest2456208-21ssh12:08:331
2375242997026,15cyclictest2417278-21sh10:35:372
2375238997024,17cyclictest2376033-21latency_hist07:25:011
2375238997020,18cyclictest2405845-21ssh10:08:401
2375238997020,17cyclictest2388116-21ssh09:25:451
2375238997020,15cyclictest2417939-21ssh10:37:251
2375238997018,14cyclictest2451389-21sh11:57:021
2375242996924,8cyclictest2383449-21ssh09:14:572
2375242996921,18cyclictest2387309-21sh09:24:182
2375242996921,18cyclictest2387309-21sh09:24:172
237523899696,6cyclictest131rcu_preempt11:20:031
2375238996925,6cyclictest2390028-21ssh09:30:231
2375238996925,6cyclictest2390028-21ssh09:30:231
2375238996920,14cyclictest2404127-21ssh10:04:411
2375238996820,15cyclictest2425041-21ssh10:54:241
2375238996816,19cyclictest2465861-21ssh12:31:241
2375236996814,35cyclictest12-21ksoftirqd/009:19:400
2375242996722,12cyclictest2424666-21ssh10:53:302
2375242996719,14cyclictest2392394-21ssh09:36:062
2375238996724,6cyclictest2394707-21ssh09:41:461
2375238996724,6cyclictest2394707-21ssh09:41:451
2375238996723,18cyclictest2430940-21ssh11:08:271
2375238996626,15cyclictest2439720-21rm11:29:151
2375238996619,18cyclictest2463570-21rm12:25:431
2375238996619,15cyclictest2377501-21cat07:50:021
2375238996618,15cyclictest2450097-21ssh11:54:021
2375242996526,13cyclictest2381459-21diskmemload10:19:372
2375242996525,8cyclictest2422408-21ssh10:48:022
2375242996521,14cyclictest2459867-21ssh12:17:112
2375238996519,14cyclictest2448295-21ssh11:49:521
2375238996519,14cyclictest2436741-21ssh11:22:031
2375238996517,14cyclictest2398380-21ssh09:50:261
2375242996423,13cyclictest2426350-21ssh10:57:222
2375238996421,8cyclictest2393364-21ssh09:38:421
2375242996343,15cyclictest2414120-21sshd10:28:332
2375242996341,18cyclictest2445607-21ssh11:43:142
2375242996341,18cyclictest2445607-21ssh11:43:132
2375242996341,18cyclictest2401573-21ssh09:58:282
2375238996325,11cyclictest2427726-21ssh11:00:221
2375238996324,12cyclictest2396376-21ssh09:45:391
2375238996324,11cyclictest2420977-21ssh10:44:491
2375238996324,11cyclictest2420977-21ssh10:44:491
2375242996241,17cyclictest2455914-21ssh12:07:502
2375242996144,13cyclictest2464184-21ssh12:27:282
2375242996143,14cyclictest2384808-21ssh09:18:022
2375242996141,16cyclictest2441129-21ssh11:32:282
2375242996140,17cyclictest2433942-21ssh11:15:142
2375242996140,17cyclictest2399959-21ssh09:54:412
2375238996118,14cyclictest2411319-21ssh10:21:331
2375236996144,13cyclictest275-21dbus-daemon10:45:010
2375236996144,13cyclictest275-21dbus-daemon10:45:010
2375236996121,33cyclictest19350irq/34-mmc107:55:020
2375242996044,12cyclictest2408311-21ssh10:14:512
2375242996043,13cyclictest2453470-21ssh12:01:492
2375242996043,13cyclictest2453470-21ssh12:01:492
2375242996043,13cyclictest2449778-21ssh11:53:162
2375242996043,13cyclictest2449778-21ssh11:53:152
2375242996043,13cyclictest2447575-21ssh11:47:562
2375242996043,13cyclictest2388082-21ssh09:25:412
2375242996042,14cyclictest2432231-21ssh11:11:122
2375242996040,16cyclictest2403604-21ssh10:03:232
2375238996017,13cyclictest2433116-21ssh11:13:321
2375238996014,14cyclictest2441349-21ssh11:33:001
2375242995946,10cyclictest2461953-21ssh12:21:562
2375242995946,10cyclictest2442469-21ssh11:35:372
2375242995945,12cyclictest2429087-21ssh11:03:572
2375242995943,13cyclictest2376497-21sshd07:34:322
2375242995943,12cyclictest2436611-21ssh11:21:332
2375242995942,13cyclictest2458290-21ssh12:13:352
2375242995942,13cyclictest2415753-21ssh10:32:202
2375242995942,13cyclictest2415753-21ssh10:32:202
2375242995941,14cyclictest2397917-21ssh09:49:502
237523699594,32cyclictest2463347-21kworker/u8:212:30:030
237523699591,54cyclictest0-21swapper/010:35:020
237523699591,54cyclictest0-21swapper/010:35:010
2375242995844,11cyclictest2390718-21ssh09:32:162
2375242995844,11cyclictest2390718-21ssh09:32:162
2375242995841,14cyclictest2375931-21sshd07:20:342
2375242995818,8cyclictest2419217-21ssh10:40:122
2375242995818,8cyclictest2419217-21ssh10:40:122
2375238995841,14cyclictest2401688-21ssh09:58:451
2375238995817,12cyclictest2409403-21ssh10:17:081
2375242995744,10cyclictest2438137-21ssh11:25:052
2375242995743,10cyclictest2381174-21sshd09:02:332
2375242995742,13cyclictest2452483-21ssh11:59:532
2375242995741,13cyclictest2429694-21ssh11:05:042
2375242995740,14cyclictest2394515-21ssh09:41:052
2375242995740,14cyclictest2394515-21ssh09:41:052
2375242995737,17cyclictest2467851-21ssh12:36:072
2375242995737,17cyclictest2467851-21ssh12:36:072
2375238995743,11cyclictest2375640-21sshd07:15:331
2375238995743,11cyclictest2375640-21sshd07:15:331
2375238995741,13cyclictest2381417-21sshd09:05:341
2375238995739,14cyclictest2444512-21ssh11:40:211
2375238995739,14cyclictest2444512-21ssh11:40:201
2375236995729,12cyclictest2386204-21ssh09:21:140
2375236995729,12cyclictest2386204-21ssh09:21:130
2375236995715,8cyclictest12-21ksoftirqd/010:10:020
2375242995642,10cyclictest2377028-21sshd07:43:342
2375242995642,10cyclictest2377028-21sshd07:43:332
2375242995640,12cyclictest2380418-21munin-run08:50:002
2375242995632,20cyclictest2375877-21sed07:20:032
2375242995632,20cyclictest2375877-21sed07:20:032
2375242995628,23cyclictest2378185-21cat08:05:022
2375238995641,12cyclictest2443526-21ssh11:38:231
2375238995640,13cyclictest3467602-21systemd-journal08:55:481
2375238995640,13cyclictest3467602-21systemd-journal08:55:481
2375238995638,14cyclictest2380638-21sshd08:51:321
2375238995635,17cyclictest2426094-21ssh10:56:411
237523699564,31cyclictest16950irq/224-800000011:55:020
237523699564,31cyclictest16950irq/224-800000011:55:020
2375242995543,9cyclictest2380670-21munin-run08:55:002
2375238995539,12cyclictest2467569-21ssh12:35:261
2375238995539,12cyclictest2467569-21ssh12:35:261
2375236995532,20cyclictest23985241ssh09:50:480
2375236995526,27cyclictest12-21ksoftirqd/012:20:010
2375236995520,32cyclictest12-21ksoftirqd/009:14:170
2375236995517,11cyclictest12-21ksoftirqd/012:04:050
2375236995517,11cyclictest12-21ksoftirqd/012:04:040
2375246995432,17cyclictest3467602-21systemd-journal07:25:003
2375242995442,9cyclictest2381421-21sshd09:06:332
2375242995441,10cyclictest364-21snmpd08:38:292
2375242995441,10cyclictest2377279-21sshd07:48:332
2375242995441,10cyclictest2375438-21munin-run07:15:002
2375242995439,10cyclictest48-21kcompactd008:12:172
2375242995439,10cyclictest48-21kcompactd008:12:162
2375242995435,14cyclictest364-21snmpd07:29:312
2375242995434,14cyclictest275-21dbus-daemon08:30:012
2375242995434,14cyclictest275-21dbus-daemon08:30:012
2375242995427,22cyclictest2379634-21munin-plugin-st08:35:002
2375236995423,28cyclictest12-21ksoftirqd/012:11:040
2375236995423,26cyclictest2455825-21sshd12:07:260
2375236995422,11cyclictest12-21ksoftirqd/011:44:250
2375236995422,11cyclictest12-21ksoftirqd/011:44:250
2375236995415,36cyclictest12-21ksoftirqd/010:40:000
2375242995339,11cyclictest2380146-21sshd08:44:332
2375242995339,11cyclictest2380146-21sshd08:44:322
2375242995339,10cyclictest2377540-21sshd07:54:432
2375238995343,7cyclictest2377849-21munin-run08:00:021
2375238995343,7cyclictest2377849-21munin-run08:00:011
2375238995340,9cyclictest2379143-21munin-run08:25:011
2375238995340,10cyclictest2376490-21sshd07:32:341
2375238995339,10cyclictest2380180-21munin-run08:45:011
2375238995339,10cyclictest2380180-21munin-run08:45:001
2375238995339,10cyclictest2378070-21sshd08:04:441
2375236995326,11cyclictest2463315-21ssh12:25:050
2375236995321,30cyclictest0-21swapper/010:23:020
2375236995319,24cyclictest12-21ksoftirqd/011:00:030
2375236995315,10cyclictest12-21ksoftirqd/012:39:210
2375236995315,10cyclictest12-21ksoftirqd/012:39:200
2375242995238,11cyclictest2376743-21sshd07:37:332
2375242995233,14cyclictest364-21snmpd08:06:502
2375238995239,10cyclictest2376247-21sshd07:29:321
2375238995238,11cyclictest3467602-21systemd-journal08:31:341
2375238995238,11cyclictest2381185-21sshd09:04:481
2375238995237,10cyclictest2377051-21munin-run07:45:011
2375238995237,10cyclictest2377051-21munin-run07:45:001
2375238995236,13cyclictest2379359-21sshd08:28:331
2375238995236,13cyclictest2379359-21sshd08:28:331
237523699528,37cyclictest16950irq/224-800000009:40:020
237523699528,37cyclictest16950irq/224-800000009:40:010
2375236995222,11cyclictest12-21ksoftirqd/011:47:120
2375238995139,9cyclictest3467602-21systemd-journal07:38:171
2375238995133,15cyclictest364-21snmpd07:11:061
2375236995144,4cyclictest16850irq/134-800000011:15:010
2375236995119,29cyclictest151rcuc/010:27:280
2375246995038,9cyclictest37-21ksoftirqd/309:48:443
2375242995042,5cyclictest2380965-21munin-run09:00:022
2375242995042,5cyclictest2380965-21munin-run09:00:012
2375242995037,10cyclictest364-21snmpd07:58:212
2375242995037,10cyclictest364-21snmpd07:58:202
2375238995037,9cyclictest48-21kcompactd008:46:411
2375238995032,14cyclictest2379931-21munin-run08:40:011
2375236995017,30cyclictest151rcuc/010:17:200
2375236995015,30cyclictest12-21ksoftirqd/009:10:000
2375242994935,9cyclictest48-21kcompactd008:19:302
2375238994919,25cyclictest2378481-21wc08:10:021
2375236994938,8cyclictest12-21ksoftirqd/008:22:330
237523699492,43cyclictest3467602-21systemd-journal09:39:100
237524699484,4cyclictest131rcu_preempt10:12:003
2375238994838,6cyclictest2377558-21munin-run07:54:591
2375238994834,10cyclictest2378838-21cron08:20:001
237523699484,6cyclictest1-21systemd09:05:000
2375246994732,12cyclictest3467602-21systemd-journal07:53:023
2375246994730,12cyclictest275-21dbus-daemon12:35:003
2375242994740,4cyclictest2379131-21munin-run08:25:002
237523699475,5cyclictest131rcu_preempt11:23:000
237523699475,29cyclictest19350irq/34-mmc108:55:020
237523699475,29cyclictest19350irq/34-mmc108:55:020
2375236994738,6cyclictest12-21ksoftirqd/007:30:000
2375236994736,7cyclictest12-21ksoftirqd/008:10:000
2375236994735,8cyclictest12-21ksoftirqd/012:23:490
2375236994732,11cyclictest3467602-21systemd-journal08:38:010
2375236994729,14cyclictest2438593-21ssh11:26:220
2375236994724,9cyclictest2440536-21ssh11:30:510
237523699471,8cyclictest2377797-21cron08:00:010
237523699471,8cyclictest2377797-21cron08:00:000
237524699465,28cyclictest2380911-21modprobe09:00:003
237524699465,28cyclictest2380911-21modprobe08:59:593
237524699463,40cyclictest2402313-21ssh10:00:033
2375236994635,9cyclictest12-21ksoftirqd/007:35:010
2375236994627,14cyclictest2421890-21ssh10:46:410
2375236994624,18cyclictest2440527-21kworker/u8:211:40:010
2375236994533,8cyclictest12-21ksoftirqd/011:06:430
2375236994528,14cyclictest2429321-21ssh11:04:410
237523699452,38cyclictest2380641-21kworker/u8:010:00:010
2375236994518,12cyclictest2451764-21ssh11:57:590
237523699451,5cyclictest0-21swapper/009:27:250
237523699451,2cyclictest0-21swapper/010:05:010
237523699451,29cyclictest23910261ssh09:33:020
237523699451,29cyclictest23910261ssh09:33:010
237524699447,34cyclictest2381459-21diskmemload12:20:013
2375246994433,7cyclictest2378853-21sh08:19:593
2375246994429,12cyclictest1-21systemd07:40:013
2375246994429,11cyclictest2380152-21sshd08:44:483
2375246994429,11cyclictest2380152-21sshd08:44:483
2375246994425,14cyclictest275-21dbus-daemon07:35:003
2375246994416,8cyclictest0-21swapper/309:37:173
2375242994420,20cyclictest2375377-21latency_hist07:10:022
2375238994432,9cyclictest364-21snmpd08:13:241
2375238994432,9cyclictest364-21snmpd08:13:231
2375236994436,5cyclictest16950irq/224-800000007:25:000
2375236994433,8cyclictest12-21ksoftirqd/011:16:180
2375236994427,14cyclictest2396512-21ssh09:46:000
237523699441,2cyclictest0-21swapper/008:54:340
2375246994326,12cyclictest0-21swapper/311:00:013
237523699431,38cyclictest0-21swapper/008:45:010
237523699431,38cyclictest0-21swapper/008:45:010
2375246994229,9cyclictest37-21ksoftirqd/309:10:003
2375246994229,11cyclictest37-21ksoftirqd/310:06:393
237524699421,3cyclictest131rcu_preempt11:32:083
237523699429,7cyclictest131rcu_preempt08:30:020
237523699429,7cyclictest131rcu_preempt08:30:010
2375236994236,4cyclictest16950irq/224-800000007:40:000
2375246994130,8cyclictest37-21ksoftirqd/311:46:293
2375246994129,8cyclictest275-21dbus-daemon10:30:013
2375246994127,9cyclictest309-21in:imuxsock08:22:333
237524699411,4cyclictest131rcu_preempt11:22:373
2375236994129,8cyclictest2377034-21sshd07:44:410
2375236994129,8cyclictest2377034-21sshd07:44:410
237524699409,5cyclictest131rcu_preempt11:07:033
237524699404,3cyclictest131rcu_preempt11:15:533
2375246994031,6cyclictest2432063-21sh11:10:473
2375246994030,8cyclictest37-21ksoftirqd/311:00:363
2375246994029,6cyclictest309-21in:imuxsock08:50:003
2375246994027,8cyclictest309-21in:imuxsock07:25:023
2375246994026,11cyclictest37-21ksoftirqd/309:52:333
2375246994025,11cyclictest275-21dbus-daemon12:15:013
2375246994024,11cyclictest309-21in:imuxsock08:15:013
2375246994024,11cyclictest309-21in:imuxsock08:15:003
2375246994022,13cyclictest37-21ksoftirqd/311:35:223
2375238994022,15cyclictest2375240-21latency_hist07:10:001
2375236994027,10cyclictest2375509-21latency_hist07:15:010
2375246993933,4cyclictest37-21ksoftirqd/310:41:043
2375246993933,4cyclictest37-21ksoftirqd/310:41:043
2375246993931,6cyclictest37-21ksoftirqd/310:23:123
2375246993931,5cyclictest2422860-21ssh10:49:193
2375246993928,8cyclictest37-21ksoftirqd/309:17:423
2375246993927,9cyclictest37-21ksoftirqd/309:23:343
2375246993927,9cyclictest37-21ksoftirqd/309:23:333
2375246993924,11cyclictest1-21systemd09:05:013
2375246993830,5cyclictest2383476-21latency_hist09:15:023
2375246993826,8cyclictest309-21in:imuxsock11:25:033
2375246993826,10cyclictest37-21ksoftirqd/310:04:093
2375246993824,10cyclictest3467602-21systemd-journal11:50:023
2375246993824,10cyclictest3467602-21systemd-journal11:50:023
2375246993822,12cyclictest2425229-21sshd10:54:593
237524699377,8cyclictest37-21ksoftirqd/312:39:223
237524699377,8cyclictest37-21ksoftirqd/312:39:223
237524699375,3cyclictest131rcu_preempt12:04:403
237524699375,3cyclictest131rcu_preempt12:04:403
2375246993722,10cyclictest37-21ksoftirqd/310:20:003
2375246993720,13cyclictest1-21systemd07:15:013
2375236993726,8cyclictest2375271-21wc07:10:020
2375236993726,7cyclictest12-21ksoftirqd/008:50:000
2375236993725,8cyclictest1-21systemd08:05:010
237523699372,25cyclictest2378305-21kworker/u8:108:15:020
237523699372,25cyclictest2378305-21kworker/u8:108:15:020
2375236993722,11cyclictest12-21ksoftirqd/008:31:330
237524699364,3cyclictest131rcu_preempt09:26:343
2375246993629,4cyclictest2454943-21sh12:05:113
2375246993628,5cyclictest2444920-21sh11:41:313
2375246993628,5cyclictest2444920-21sh11:41:313
2375246993628,5cyclictest2391427-21sh09:34:083
2375246993628,5cyclictest2391427-21sh09:34:083
2375246993627,6cyclictest2417193-21sh10:35:273
2375246993624,9cyclictest37-21ksoftirqd/309:40:543
2375246993624,9cyclictest37-21ksoftirqd/309:40:543
237524699362,31cyclictest2415844-21sshd10:32:333
237524699362,31cyclictest2415844-21sshd10:32:333
2375246993623,10cyclictest1-21systemd08:55:013
2375246993619,12cyclictest1-21systemd08:40:013
2375236993610,9cyclictest12-21ksoftirqd/007:47:330
2375246993524,9cyclictest37-21ksoftirqd/312:23:503
2375246993523,10cyclictest37-21ksoftirqd/308:30:023
2375246993523,10cyclictest37-21ksoftirqd/308:30:013
2375246993516,15cyclictest275-21dbus-daemon08:00:013
2375246993516,15cyclictest275-21dbus-daemon08:00:003
2375236993526,7cyclictest12-21ksoftirqd/007:17:330
2375236993526,7cyclictest12-21ksoftirqd/007:17:330
2375246993427,5cyclictest2452513-21ssh11:59:563
2375246993427,4cyclictest2463393-21sh12:25:173
237524699341,30cyclictest37-21ksoftirqd/307:45:013
237524699341,30cyclictest37-21ksoftirqd/307:45:013
2375246993320,9cyclictest37-21ksoftirqd/308:05:013
237524699323,4cyclictest131rcu_preempt07:20:013
237524699323,4cyclictest131rcu_preempt07:20:003
2375246993223,7cyclictest37-21ksoftirqd/308:34:283
2375246993221,9cyclictest37-21ksoftirqd/308:10:013
2375246993020,8cyclictest37-21ksoftirqd/307:10:013
2375246993019,8cyclictest1-21systemd07:50:003
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional