You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-20 - 16:32

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Fri Mar 20, 2026 12:45:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
23892399822,42cyclictest258059-21date09:40:023
23892399792,45cyclictest331214-21ssh12:30:563
23892399781,42cyclictest298985-21ssh11:15:563
238923997626,22cyclictest262878-21sh09:51:123
23892399752,36cyclictest323398-21sh12:13:093
23892399751,40cyclictest295690-21ssh11:08:273
23892399732,41cyclictest245090-21munin-run09:10:003
23892399732,41cyclictest245090-21munin-run09:10:003
23892399732,38cyclictest281580-21munin-run10:35:023
23892399732,38cyclictest281580-21munin-run10:35:023
23892399721,38cyclictest243904-21cat08:45:023
23892399721,36cyclictest278412-21ssh10:27:283
23892399721,34cyclictest245083-21diskmemload10:19:263
238908997224,13cyclictest12-21ksoftirqd/010:15:010
23892399711,36cyclictest243202-21cat08:30:013
23890899704,8cyclictest121ksoftirqd/011:08:210
238923996819,45cyclictest260925-21sshd09:46:363
23892399681,63cyclictest291915-21ssh10:59:463
23892399681,63cyclictest272592-21ssh10:14:043
23892399663,59cyclictest241698-21sshd08:04:363
23892399661,61cyclictest324481-21ssh12:15:223
23892399661,61cyclictest285578-21ssh10:44:143
23892399661,61cyclictest259152-21ssh09:42:373
23892399661,61cyclictest251067-21ssh09:23:583
23892399661,34cyclictest327300-21ssh12:21:543
23892399651,60cyclictest308448-21ssh11:38:143
23892399651,59cyclictest303743-21ssh11:27:103
23892399651,29cyclictest276545-21ssh10:23:153
23890899654,6cyclictest12-21ksoftirqd/009:33:380
23892399642,57cyclictest48-21kcompactd011:20:223
23892399641,59cyclictest320606-21ssh12:06:233
23892399641,59cyclictest320606-21ssh12:06:233
23892399641,59cyclictest319256-21ssh12:03:333
23892399641,59cyclictest316225-21ssh11:56:103
23892399641,59cyclictest298420-21ssh11:14:593
23892399641,59cyclictest293318-21ssh11:02:513
23892399641,59cyclictest282769-21ssh10:37:333
23892399641,59cyclictest255441-21ssh09:34:133
23892399641,59cyclictest240374-21sshd07:37:353
23892399641,58cyclictest48-21kcompactd011:50:283
23892399641,58cyclictest310259-21ssh11:42:183
23892399632,57cyclictest241184-21munin-run07:55:003
23892399631,58cyclictest328938-21ssh12:25:383
23892399631,58cyclictest328938-21ssh12:25:373
23892399631,58cyclictest288972-21ssh10:51:563
23892399631,57cyclictest305578-21ssh11:31:163
23892399631,57cyclictest286531-21ssh10:46:093
23892399631,57cyclictest251816-21ssh09:25:213
23892399631,57cyclictest251816-21ssh09:25:203
23892399631,57cyclictest245666-21ssh09:11:113
238908996324,35cyclictest151rcuc/009:24:490
23892399622,55cyclictest48-21kcompactd009:55:063
23892399622,55cyclictest240906-21sshd07:47:363
23892399621,57cyclictest312543-21ssh11:47:433
23892399621,57cyclictest269332-21ssh10:06:163
23892399621,57cyclictest247374-21ssh09:15:063
23892399621,57cyclictest247374-21ssh09:15:053
238920996211,11cyclictest30-21ksoftirqd/210:28:372
238916996217,10cyclictest23-21ksoftirqd/111:40:011
23890899621,8cyclictest12-21ksoftirqd/012:02:320
23892399612,55cyclictest267415-21ssh10:01:413
23892399612,55cyclictest239318-21sshd07:15:363
23892399612,54cyclictest241412-21sshd07:58:363
23892399612,50cyclictest239883-21cron07:30:003
23892399611,56cyclictest333188-21ssh12:35:363
23892399611,56cyclictest333188-21ssh12:35:353
23892399611,55cyclictest48-21kcompactd008:30:043
23892099615,10cyclictest30-21ksoftirqd/210:00:002
23890899615,12cyclictest12-21ksoftirqd/010:33:180
23890899615,12cyclictest12-21ksoftirqd/010:33:170
238908996127,9cyclictest12-21ksoftirqd/011:17:300
23892399602,53cyclictest242520-21munin-run08:20:013
23892399602,53cyclictest241980-21munin-run08:10:013
23890899605,7cyclictest12-21ksoftirqd/009:17:080
23890899605,7cyclictest12-21ksoftirqd/009:17:070
23892399592,52cyclictest240693-21munin-run07:45:013
23892399591,53cyclictest244512-21sshd08:55:363
23890899599,6cyclictest131rcu_preempt09:36:510
23890899595,6cyclictest12-21ksoftirqd/009:45:050
238908995920,30cyclictest16850irq/134-800000012:05:160
238908995920,30cyclictest16850irq/134-800000012:05:150
238908995920,10cyclictest12-21ksoftirqd/009:30:020
238908995920,10cyclictest12-21ksoftirqd/009:30:010
23892399582,51cyclictest244260-21sshd08:50:373
23892399581,52cyclictest239116-21munin-run07:15:013
238920995831,24cyclictest30-21ksoftirqd/211:00:022
238920995817,12cyclictest30-21ksoftirqd/209:14:592
238916995821,9cyclictest131rcu_preempt11:00:121
238916995817,8cyclictest23-21ksoftirqd/112:24:521
238916995811,8cyclictest23-21ksoftirqd/110:05:071
23890899582,38cyclictest288475-21ssh10:50:350
238908995811,5cyclictest131rcu_preempt11:42:400
238920995741,7cyclictest231782-21kworker/2:311:15:522
23891699578,10cyclictest313012-21ssh11:49:001
23890899577,7cyclictest12-21ksoftirqd/011:48:110
23892399562,50cyclictest364-21snmpd08:20:323
23892399562,50cyclictest364-21snmpd08:20:313
23892399561,50cyclictest48-21kcompactd008:12:523
238920995613,13cyclictest30-21ksoftirqd/209:20:032
238920995613,13cyclictest30-21ksoftirqd/209:20:022
238916995616,10cyclictest23-21ksoftirqd/112:33:321
238916995610,11cyclictest23-21ksoftirqd/109:25:011
23890899564,8cyclictest12-21ksoftirqd/010:50:000
238908995627,13cyclictest277147-21ssh10:24:490
238908995625,3cyclictest32684350rm12:20:510
238908995617,7cyclictest16850irq/134-800000011:35:010
23892399551,50cyclictest364-21snmpd08:36:303
238920995541,6cyclictest231782-21kworker/2:311:07:072
238916995522,9cyclictest23-21ksoftirqd/109:15:401
238916995522,9cyclictest23-21ksoftirqd/109:15:391
23890899556,6cyclictest12-21ksoftirqd/011:00:020
23890899555,12cyclictest12-21ksoftirqd/008:10:010
238908995528,11cyclictest314838-21ssh11:53:060
238908995527,13cyclictest265442-21ssh09:57:190
23890899552,46cyclictest3467602-21systemd-journal08:40:000
238908995519,32cyclictest16850irq/134-800000012:10:520
238908995519,32cyclictest16850irq/134-800000010:16:140
238908995519,17cyclictest16850irq/134-800000011:25:080
238908995518,33cyclictest16850irq/134-800000009:44:020
23892399541,49cyclictest48-21kcompactd007:21:163
23892399541,49cyclictest364-21snmpd07:33:363
238920995446,5cyclictest298459-21kworker/2:012:14:192
238920995446,5cyclictest231782-21kworker/2:310:09:482
238920995444,7cyclictest291rcuc/209:21:552
238920995442,5cyclictest243552-21kworker/2:110:33:432
238920995442,5cyclictest243552-21kworker/2:110:33:422
238916995446,5cyclictest221rcuc/110:16:011
238916995434,14cyclictest275-21dbus-daemon10:55:001
238916995419,9cyclictest23-21ksoftirqd/111:23:081
238916995412,7cyclictest23-21ksoftirqd/109:51:591
238908995426,13cyclictest263080-21ssh09:51:410
238908995419,32cyclictest16850irq/134-800000010:04:180
238908995419,17cyclictest16850irq/134-800000011:22:480
238908995418,32cyclictest16850irq/134-800000012:32:050
238908995418,32cyclictest16850irq/134-800000011:12:330
23892399532,46cyclictest364-21snmpd08:47:303
238920995346,4cyclictest243552-21kworker/2:109:28:062
238920995346,4cyclictest243552-21kworker/2:109:28:052
238920995344,5cyclictest298459-21kworker/2:012:36:402
238920995344,5cyclictest298459-21kworker/2:012:36:392
238920995341,5cyclictest231782-21kworker/2:312:22:162
238920995320,20cyclictest30-21ksoftirqd/211:40:192
23891699535,6cyclictest23-21ksoftirqd/111:51:181
238916995311,10cyclictest23-21ksoftirqd/110:45:001
238916995310,6cyclictest23-21ksoftirqd/111:30:561
23890899537,12cyclictest12-21ksoftirqd/012:25:150
23890899537,12cyclictest12-21ksoftirqd/012:25:140
23890899535,9cyclictest12-21ksoftirqd/010:08:390
238908995318,18cyclictest16850irq/134-800000012:16:450
238908995317,6cyclictest16850irq/134-800000011:58:070
238908995317,6cyclictest16850irq/134-800000010:41:200
238908995316,7cyclictest16850irq/134-800000010:26:580
238908995315,34cyclictest16850irq/134-800000009:12:150
23892399521,47cyclictest3476162-21ntpd09:00:083
238920995244,5cyclictest298459-21kworker/2:011:57:242
238920995244,5cyclictest243552-21kworker/2:109:41:252
238920995244,5cyclictest231782-21kworker/2:311:47:172
238920995244,5cyclictest231782-21kworker/2:311:10:262
238920995244,5cyclictest231782-21kworker/2:309:30:472
238920995243,6cyclictest243552-21kworker/2:110:40:282
238920995240,5cyclictest243552-21kworker/2:111:00:292
238920995233,15cyclictest3467602-21systemd-journal10:12:362
23891699528,7cyclictest23-21ksoftirqd/109:41:241
238908995217,17cyclictest16850irq/134-800000010:38:210
23892399512,44cyclictest239014-21latency_hist07:10:023
238920995144,4cyclictest231782-21kworker/2:310:35:062
238920995143,5cyclictest298459-21kworker/2:011:51:052
238920995143,5cyclictest243552-21kworker/2:110:16:582
238920995143,5cyclictest243552-21kworker/2:109:48:062
238920995143,5cyclictest231782-21kworker/2:312:29:022
238920995143,5cyclictest231782-21kworker/2:312:29:012
238920995143,5cyclictest231782-21kworker/2:312:03:502
238920995143,5cyclictest231782-21kworker/2:311:30:122
238920995143,5cyclictest231782-21kworker/2:310:52:502
238920995142,7cyclictest30-21ksoftirqd/210:00:192
238920995142,5cyclictest231782-21kworker/2:311:28:432
23891699519,5cyclictest131rcu_preempt11:42:051
23891699517,8cyclictest23-21ksoftirqd/108:25:011
23891699517,8cyclictest23-21ksoftirqd/108:25:001
23891699517,10cyclictest23-21ksoftirqd/112:08:371
23891699517,10cyclictest23-21ksoftirqd/112:08:361
23891699513,9cyclictest23-21ksoftirqd/108:00:011
238916995134,13cyclictest242488-21systemctl08:20:011
238908995142,6cyclictest16950irq/224-800000008:50:000
238908995116,31cyclictest16850irq/134-800000011:03:160
238908995114,32cyclictest16850irq/134-800000011:35:420
238908995113,9cyclictest12-21ksoftirqd/012:38:490
238908995113,9cyclictest12-21ksoftirqd/012:38:480
238920995043,5cyclictest243552-21kworker/2:110:48:462
238920995043,5cyclictest231782-21kworker/2:312:08:182
238920995043,5cyclictest231782-21kworker/2:312:08:182
238920995043,5cyclictest231782-21kworker/2:311:39:432
238920995042,5cyclictest231782-21kworker/2:312:30:272
238920995042,5cyclictest231782-21kworker/2:311:22:012
238920995042,5cyclictest231782-21kworker/2:309:38:232
23891699508,8cyclictest23-21ksoftirqd/109:49:381
23891699505,7cyclictest23-21ksoftirqd/112:16:581
23891699505,10cyclictest23-21ksoftirqd/111:27:421
238916995015,7cyclictest23-21ksoftirqd/112:25:161
238916995015,7cyclictest23-21ksoftirqd/112:25:161
238908995039,8cyclictest12-21ksoftirqd/007:20:010
238920994941,5cyclictest243552-21kworker/2:110:21:182
238920994941,5cyclictest243552-21kworker/2:109:52:262
238920994941,5cyclictest242237-21kworker/2:208:24:062
238920994941,5cyclictest242237-21kworker/2:208:24:052
238920994941,5cyclictest231782-21kworker/2:308:56:052
238920994941,5cyclictest231782-21kworker/2:308:37:292
238920994941,5cyclictest231782-21kworker/2:307:25:202
238920994941,5cyclictest231782-21kworker/2:307:14:142
238920994936,6cyclictest231782-21kworker/2:309:06:512
238920994936,6cyclictest231782-21kworker/2:309:06:502
238920994924,8cyclictest30-21ksoftirqd/212:18:292
238920994919,22cyclictest0-21swapper/207:25:002
238920994910,12cyclictest30-21ksoftirqd/208:44:362
23891699499,8cyclictest23-21ksoftirqd/108:05:381
23891699497,11cyclictest23-21ksoftirqd/110:02:231
23891699496,6cyclictest23-21ksoftirqd/111:19:241
23891699496,6cyclictest23-21ksoftirqd/110:57:591
23891699495,8cyclictest23-21ksoftirqd/110:46:521
238916994910,6cyclictest240426-21grep07:40:001
23890899494,10cyclictest12-21ksoftirqd/008:20:000
238920994840,5cyclictest231782-21kworker/2:308:50:212
238920994840,5cyclictest231782-21kworker/2:308:49:562
238920994840,5cyclictest231782-21kworker/2:308:32:352
238920994840,5cyclictest231782-21kworker/2:308:19:332
238920994840,5cyclictest231782-21kworker/2:307:36:312
238920994840,5cyclictest229650-21kworker/2:108:11:362
238920994840,5cyclictest229650-21kworker/2:108:01:362
238920994840,5cyclictest229650-21kworker/2:107:43:282
23891699489,8cyclictest23-21ksoftirqd/111:05:401
23891699487,8cyclictest23-21ksoftirqd/109:36:541
23891699486,9cyclictest23-21ksoftirqd/112:14:001
23891699486,7cyclictest23-21ksoftirqd/110:35:111
23891699482,9cyclictest23-21ksoftirqd/111:58:441
23891699482,10cyclictest23-21ksoftirqd/109:26:121
23891699482,10cyclictest23-21ksoftirqd/109:26:121
238916994820,8cyclictest23-21ksoftirqd/109:58:501
238916994815,6cyclictest0-21swapper/110:11:101
238916994812,5cyclictest0-21swapper/108:03:581
238916994810,8cyclictest0-21swapper/107:52:191
238920994740,4cyclictest231782-21kworker/2:307:53:022
238920994739,5cyclictest242237-21kworker/2:208:27:592
238920994739,5cyclictest231782-21kworker/2:309:00:362
238920994739,5cyclictest231782-21kworker/2:307:55:092
238920994739,5cyclictest231782-21kworker/2:307:30:152
238920994738,6cyclictest231782-21kworker/2:307:15:292
23891699479,8cyclictest0-21swapper/108:43:381
23891699476,5cyclictest23-21ksoftirqd/112:36:011
23891699476,5cyclictest23-21ksoftirqd/112:36:001
23891699476,5cyclictest23-21ksoftirqd/110:33:371
23891699476,5cyclictest23-21ksoftirqd/110:33:361
23891699476,5cyclictest23-21ksoftirqd/107:45:021
23891699475,7cyclictest23-21ksoftirqd/109:31:321
23891699475,11cyclictest23-21ksoftirqd/110:28:361
23891699473,12cyclictest23-21ksoftirqd/111:15:031
238916994717,9cyclictest23-21ksoftirqd/112:02:461
238916994712,6cyclictest0-21swapper/107:29:441
238916994710,5cyclictest131rcu_preempt09:14:211
23890899475,9cyclictest12-21ksoftirqd/008:00:010
238908994732,12cyclictest1-21systemd07:50:000
238920994639,5cyclictest229650-21kworker/2:107:45:142
238920994638,5cyclictest229650-21kworker/2:108:05:032
23892099461,8cyclictest30-21ksoftirqd/207:10:012
23891699467,8cyclictest23-21ksoftirqd/109:10:011
23891699467,8cyclictest23-21ksoftirqd/109:10:001
23891699467,5cyclictest131rcu_preempt07:31:361
238916994611,5cyclictest0-21swapper/108:56:361
23891699461,14cyclictest243437-21wc08:35:021
238916994610,7cyclictest0-21swapper/108:50:111
238916994610,6cyclictest0-21swapper/107:45:531
23890899466,7cyclictest12-21ksoftirqd/009:00:020
238908994611,32cyclictest12-21ksoftirqd/007:15:010
23891699459,5cyclictest0-21swapper/108:38:461
23891699456,6cyclictest131rcu_preempt10:20:241
238916994511,5cyclictest0-21swapper/108:46:151
23890899454,10cyclictest12-21ksoftirqd/009:10:000
23890899454,10cyclictest12-21ksoftirqd/009:10:000
238908994536,7cyclictest151rcuc/008:33:480
23890899446,9cyclictest12-21ksoftirqd/007:28:590
23890899446,8cyclictest12-21ksoftirqd/007:10:010
238908994427,12cyclictest275-21dbus-daemon08:15:010
238908994414,16cyclictest131rcu_preempt08:42:290
23890899441,14cyclictest284-21systemd-logind09:05:010
238916994332,8cyclictest239079-21sshd07:13:351
23890899436,6cyclictest12-21ksoftirqd/007:35:010
23890899435,11cyclictest12-21ksoftirqd/008:05:000
238908994329,11cyclictest12-21ksoftirqd/007:40:000
23891699429,8cyclictest0-21swapper/108:11:361
23891699428,6cyclictest0-21swapper/108:29:181
23891699426,4cyclictest131rcu_preempt07:16:261
23891699422,7cyclictest239793-21date07:25:031
238908994232,8cyclictest12-21ksoftirqd/007:55:020
23890899419,4cyclictest131rcu_preempt07:25:010
23890899407,6cyclictest12-21ksoftirqd/008:25:020
23890899407,6cyclictest12-21ksoftirqd/008:25:010
238908994027,9cyclictest3467602-21systemd-journal07:45:010
23890899395,7cyclictest12-21ksoftirqd/008:50:360
238908993932,4cyclictest16950irq/224-800000008:25:420
23891699363,6cyclictest150-21pr/ttyS209:00:231
238916992715,8cyclictest239061-21cut07:10:031
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional