You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-12 - 07:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sun Jul 12, 2026 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1703122840,2sleep30-21swapper/319:05:453
868321730,5sleep21781399cyclictest00:00:112
17812991142,83cyclictest7950irq/56-dwc_otg_22:50:391
17811991115,81cyclictest0-21swapper/022:40:470
17811991115,81cyclictest0-21swapper/022:40:470
120742980,3sleep00-21swapper/021:27:290
1781199954,65cyclictest0-21swapper/022:05:350
261882920,2sleep10-21swapper/123:02:201
1781299924,69cyclictest0-21swapper/122:40:481
1781299924,69cyclictest0-21swapper/122:40:481
1781299913,13cyclictest11080-21fschecks_count22:05:341
1781299903,8cyclictest0-21swapper/121:40:391
1781199873,68cyclictest0-21swapper/022:50:410
1781199817,32cyclictest0-21swapper/021:40:390
17813998047,18cyclictest8050irq/56-dwc_otg_22:05:342
147092790,5sleep21781399cyclictest22:49:252
1781199751,51cyclictest0-21swapper/023:55:220
207792740,2sleep30-21swapper/322:16:323
1781199742,31cyclictest0-21swapper/020:25:290
1781199742,31cyclictest0-21swapper/020:25:290
242152720,2sleep30-21swapper/322:20:433
21492700,2sleep00-21swapper/021:55:150
191872690,2sleep10-21swapper/100:11:291
17811996813,30cyclictest28814-21latency_hist19:40:170
183192670,2sleep00-21swapper/022:14:360
17813996739,8cyclictest8050irq/56-dwc_otg_22:50:382
17813996528,15cyclictest7850irq/56-dwc_otg22:40:462
17813996528,15cyclictest7850irq/56-dwc_otg22:40:462
1781399643,19cyclictest19028-21ssh22:15:272
1781299645,13cyclictest7950irq/56-dwc_otg_19:20:171
1781199643,53cyclictest0-21swapper/020:30:220
1781199641,47cyclictest750-21snmpd00:39:350
1781199641,36cyclictest24466-21unixbench_multi19:25:460
1781499633,16cyclictest11054-21grep22:05:343
17814996310,8cyclictest7950irq/56-dwc_otg_22:35:283
1781299637,5cyclictest30780-21/usr/sbin/munin21:50:381
17811996336,5cyclictest0-21swapper/000:30:280
1781199632,42cyclictest0-21swapper/022:00:280
1781199631,45cyclictest727-21runrttasks23:20:330
1781299621,5cyclictest11641-21ssh22:45:341
1781199621,29cyclictest0-21swapper/000:00:300
17813996122,12cyclictest7950irq/56-dwc_otg_21:40:392
1781299613,12cyclictest0-21swapper/120:45:271
1781299612,8cyclictest25452-21latency_hist21:00:161
17811996130,4cyclictest7950irq/56-dwc_otg_23:00:180
1781199611,43cyclictest25587-21fschecks_time19:30:350
1781199611,40cyclictest19298-21grep22:15:320
1781199611,16cyclictest3740-21latency_hist23:15:170
1781299601,6cyclictest18306-21cut19:10:361
17812996012,7cyclictest22557-21switchtime00:15:421
17812996012,7cyclictest22557-21switchtime00:15:421
1781299601,10cyclictest32572-21fschecks_count23:10:331
17811996027,11cyclictest0-21swapper/021:10:280
17811996016,10cyclictest0-21swapper/022:35:270
217072590,3sleep321652-21ssh23:35:443
217072590,3sleep321652-21ssh23:35:443
17812995940,6cyclictest7950irq/56-dwc_otg_20:50:281
1781299593,5cyclictest7850irq/56-dwc_otg00:00:301
1781299592,6cyclictest2992-21ssh00:30:531
17812995919,37cyclictest18981-21/usr/sbin/munin21:35:371
1781199593,25cyclictest0-21swapper/022:35:170
1781199592,43cyclictest0-21swapper/020:50:300
1781299581,11cyclictest8050irq/56-dwc_otg_22:04:131
1781199581,31cyclictest2691-21switchtime19:55:430
1781299577,8cyclictest8050irq/56-dwc_otg_00:05:301
1781299574,12cyclictest7950irq/56-dwc_otg_22:35:431
1781299574,10cyclictest8050irq/56-dwc_otg_23:15:391
1781299573,11cyclictest7950irq/56-dwc_otg_22:24:171
17812995715,4cyclictest27268-21cat21:05:161
1781299571,3cyclictest8050irq/56-dwc_otg_19:20:401
1781299571,3cyclictest7850irq/56-dwc_otg21:45:451
1781199573,37cyclictest0-21swapper/020:25:170
1781199571,39cyclictest0-21swapper/023:50:420
1781199571,39cyclictest0-21swapper/023:50:420
17814995612,17cyclictest39-21ksoftirqd/322:40:453
17814995612,17cyclictest39-21ksoftirqd/322:40:453
1781299568,8cyclictest7850irq/56-dwc_otg22:15:361
1781299563,3cyclictest7950irq/56-dwc_otg_20:00:441
1781299562,8cyclictest0-21swapper/122:56:021
1781299562,4cyclictest0-21swapper/120:15:321
1781299561,5cyclictest15189-21ssh21:30:451
1781299561,4cyclictest29332-21/usr/sbin/munin21:10:441
1781299561,4cyclictest17162-21grep20:35:391
17812995614,8cyclictest12174-21sh23:25:211
17812995614,8cyclictest12174-21sh23:25:211
1781299561,3cyclictest0-21swapper/121:22:551
1781199562,41cyclictest0-21swapper/021:22:240
1781299559,4cyclictest0-21swapper/123:05:531
17811995524,6cyclictest26981-21unixbench_multi00:20:450
1781199552,41cyclictest0-21swapper/021:03:450
1781199551,43cyclictest0-21swapper/023:45:170
1781199551,36cyclictest0-21swapper/019:45:360
1781499547,33cyclictest21627-21sh00:15:293
1781499547,33cyclictest21627-21sh00:15:293
1781499544,8cyclictest7950irq/56-dwc_otg_21:05:313
1781299546,7cyclictest30047-21ssh00:25:311
1781299546,12cyclictest0-21swapper/123:50:461
1781299546,12cyclictest0-21swapper/123:50:461
1781299542,9cyclictest8050irq/56-dwc_otg_21:17:171
1781299541,5cyclictest7950irq/56-dwc_otg_21:56:141
1781199545,35cyclictest9-21ksoftirqd/022:20:450
17811995434,6cyclictest7950irq/56-dwc_otg_22:45:420
17811995433,5cyclictest7850irq/56-dwc_otg23:00:180
1781199541,40cyclictest0-21swapper/020:49:240
1781199541,38cyclictest27354-21/usr/sbin/munin22:25:310
1781199541,27cyclictest0-21swapper/023:37:290
1781199541,27cyclictest0-21swapper/023:37:290
1781299536,8cyclictest8050irq/56-dwc_otg_23:45:301
1781299535,4cyclictest0-21swapper/122:25:291
1781299534,3cyclictest7950irq/56-dwc_otg_22:30:311
1781299533,11cyclictest0-21swapper/123:43:571
1781199532,33cyclictest0-21swapper/000:10:270
17811995318,20cyclictest7116-21idleruntime-cro20:10:160
1781199531,39cyclictest12384-21tr23:25:310
1781199531,39cyclictest12384-21tr23:25:310
1781199531,35cyclictest0-21swapper/023:05:300
1781199531,28cyclictest727-21runrttasks00:09:150
1781399523,7cyclictest8050irq/56-dwc_otg_23:10:272
1781399522,10cyclictest7850irq/56-dwc_otg20:35:282
1781299524,13cyclictest14902-21sh20:30:321
1781299522,4cyclictest0-21swapper/119:25:371
1781299522,10cyclictest0-21swapper/100:21:431
1781299521,6cyclictest28600-21grep21:05:481
1781299521,3cyclictest0-21swapper/121:25:301
1781199522,39cyclictest0-21swapper/019:16:090
1781199522,35cyclictest0-21swapper/021:18:100
1781199521,41cyclictest0-21swapper/021:35:110
1781299513,4cyclictest0-21swapper/119:47:021
1781299511,4cyclictest16339-21chrt22:10:591
1781299511,10cyclictest17511-21ssh23:30:431
17811995123,2cyclictest0-21swapper/021:45:300
17811995121,19cyclictest0-21swapper/023:45:510
17811995115,5cyclictest25140-21kworker/0:121:05:300
1781299502,8cyclictest727-21runrttasks20:41:041
1781299501,7cyclictest0-21swapper/123:24:591
1781199502,36cyclictest19108-21zcat20:40:410
1781199501,46cyclictest20321-21apt-config23:35:160
1781199501,37cyclictest0-21swapper/000:25:190
247482490,2sleep324749-21/usr/sbin/munin23:00:373
17814994910,17cyclictest7950irq/56-dwc_otg_22:50:393
1781399493,3cyclictest0-21swapper/222:20:272
1781299495,4cyclictest0-21swapper/123:35:491
1781299495,4cyclictest0-21swapper/123:35:491
1781199492,36cyclictest0-21swapper/019:20:250
1781399488,25cyclictest0-21swapper/223:40:222
1781299484,3cyclictest7950irq/56-dwc_otg_19:44:251
1781299481,3cyclictest7850irq/56-dwc_otg00:38:331
1781199482,38cyclictest0-21swapper/019:52:000
1781199482,34cyclictest0-21swapper/020:58:120
1781199482,31cyclictest0-21swapper/000:15:370
1781199482,31cyclictest0-21swapper/000:15:370
1781199481,34cyclictest0-21swapper/020:00:280
17811994811,25cyclictest0-21swapper/020:15:290
1781399477,25cyclictest0-21swapper/220:25:312
1781399477,25cyclictest0-21swapper/220:25:312
1781399472,7cyclictest16376-21ssh23:30:282
1781299475,4cyclictest6695-21ssh23:56:331
17811994724,4cyclictest8050irq/56-dwc_otg_21:35:270
1781199472,36cyclictest0-21swapper/020:36:190
1781199472,34cyclictest6344-21latency_hist22:00:160
1781499463,8cyclictest0-21swapper/321:40:393
1781399467,24cyclictest0-21swapper/221:05:322
17812994610,3cyclictest0-21swapper/119:35:371
17811994622,10cyclictest6378-21ssh23:17:440
1781199461,33cyclictest0-21swapper/019:40:360
168252463,33sleep10-21swapper/119:05:441
1781499457,24cyclictest0-21swapper/319:30:223
17814994521,5cyclictest21941-21latency_hist20:50:173
17814994518,6cyclictest32571-21ssh21:51:353
1781199452,35cyclictest0-21swapper/020:15:090
173262452,36sleep00-21swapper/019:07:370
229072440,2sleep20-21swapper/223:37:322
229072440,2sleep20-21swapper/223:37:322
1781399442,8cyclictest7850irq/56-dwc_otg21:45:272
1781199441,31cyclictest0-21swapper/019:10:380
1781399438,13cyclictest31-21ksoftirqd/221:11:272
1781399436,17cyclictest31-21ksoftirqd/221:00:312
286102420,1sleep30-21swapper/323:45:143
1781399427,25cyclictest0-21swapper/220:40:292
1781399427,23cyclictest0-21swapper/219:30:232
1781399426,23cyclictest0-21swapper/200:00:222
1781399421,4cyclictest7950irq/56-dwc_otg_23:05:312
1781499416,23cyclictest0-21swapper/323:05:313
1781399414,25cyclictest31-21ksoftirqd/220:00:312
1781399407,17cyclictest31-21ksoftirqd/221:50:332
1781399406,19cyclictest0-21swapper/219:10:302
1781399403,6cyclictest0-21swapper/222:00:302
17814993920,12cyclictest8271-21ssh23:59:263
1781399398,15cyclictest7950irq/56-dwc_otg_00:30:412
1781399397,25cyclictest0-21swapper/220:10:272
1781399397,24cyclictest0-21swapper/220:50:302
1781399388,16cyclictest31-21ksoftirqd/223:50:442
1781399388,16cyclictest31-21ksoftirqd/223:50:442
1781399387,24cyclictest0-21swapper/220:05:222
1781399386,23cyclictest0-21swapper/223:15:312
1781399386,21cyclictest0-21swapper/200:10:302
1781399384,10cyclictest7950irq/56-dwc_otg_19:35:272
1781399382,6cyclictest30039-21wget00:25:312
1781499377,21cyclictest0-21swapper/320:25:313
1781499377,21cyclictest0-21swapper/320:25:313
1781499377,20cyclictest0-21swapper/320:30:303
17814993712,5cyclictest10167-21sh00:00:463
1781399377,26cyclictest0-21swapper/219:20:212
1781399374,20cyclictest29-21rcuc/222:27:012
17813993717,5cyclictest17444-21sh21:34:272
1781499363,5cyclictest7950irq/56-dwc_otg_21:13:463
1781499362,8cyclictest0-21swapper/322:45:403
1781499361,25cyclictest8050irq/56-dwc_otg_21:29:033
1781399363,20cyclictest31-21ksoftirqd/223:01:442
1781399361,28cyclictest0-21swapper/221:16:402
1781399361,25cyclictest15087-21ls22:10:292
1781399361,22cyclictest606-21ls19:50:382
1781399361,18cyclictest0-21swapper/221:25:182
17814993511,4cyclictest8050irq/56-dwc_otg_00:25:453
17813993516,5cyclictest10051-21fschecks_count21:25:322
17813993516,4cyclictest31376-21sh22:30:202
1781299351,17cyclictest2546-21ntp_states19:55:411
1781499347,14cyclictest0-21swapper/320:15:293
1781499345,19cyclictest13338-21ssh00:05:303
17814993410,11cyclictest0-21swapper/300:33:133
1781399349,14cyclictest31-21ksoftirqd/222:35:522
1781399346,5cyclictest7950irq/56-dwc_otg_20:45:272
1781399343,18cyclictest7950irq/56-dwc_otg_00:07:512
17813993425,6cyclictest22858-21grep00:15:442
17813993425,6cyclictest22858-21grep00:15:442
17813993422,9cyclictest0-21swapper/200:40:172
1781299341,7cyclictest10970-21munin-node20:20:271
1781499336,16cyclictest0-21swapper/323:30:293
17814993318,4cyclictest27789-21if_eth022:25:363
17814993316,5cyclictest848-21sh23:10:433
1781499331,5cyclictest22199-21munin-run21:40:163
1781499331,4cyclictest7950irq/56-dwc_otg_21:00:303
1781499331,25cyclictest18851-21ls22:15:173
1781399338,15cyclictest0-21swapper/222:57:002
1781399334,14cyclictest14296-21kworker/2:020:32:422
1781399331,8cyclictest18794-21ssh21:35:352
1781399331,7cyclictest8050irq/56-dwc_otg_20:00:172
1781399331,14cyclictest7950irq/56-dwc_otg_19:25:322
1781299337,16cyclictest0-21swapper/120:05:231
1781299335,4cyclictest7950irq/56-dwc_otg_19:30:471
1781499329,4cyclictest0-21swapper/322:00:343
1781499329,10cyclictest0-21swapper/323:51:533
1781499329,10cyclictest0-21swapper/323:51:533
1781499325,18cyclictest5780-21ssh00:35:323
1781499322,11cyclictest0-21swapper/319:20:173
17814993214,7cyclictest29006-21diskmemload21:24:383
17814993214,4cyclictest16872-21/usr/sbin/munin20:35:353
1781499321,21cyclictest20148-21uniq22:55:353
1781399325,7cyclictest7850irq/56-dwc_otg21:55:412
17813993222,6cyclictest301ktimersoftd/223:25:282
17813993222,6cyclictest301ktimersoftd/223:25:282
1781399321,6cyclictest9373-21unixbench_singl23:20:442
1781399321,6cyclictest7850irq/56-dwc_otg20:55:392
17813993213,6cyclictest12031-21/usr/sbin/munin20:20:452
1781399321,12cyclictest8050irq/56-dwc_otg_23:45:302
17812993223,5cyclictest221ktimersoftd/120:10:261
1781499316,9cyclictest8050irq/56-dwc_otg_21:56:063
1781499316,15cyclictest0-21swapper/323:20:293
1781499311,8cyclictest8050irq/56-dwc_otg_21:30:423
1781499311,6cyclictest3244950ssh23:49:403
1781499311,20cyclictest2363-21latency19:55:373
17814993111,4cyclictest7850irq/56-dwc_otg21:47:453
1781399312,19cyclictest0-21swapper/220:15:212
1781299317,11cyclictest8050irq/56-dwc_otg_19:50:371
1781499306,15cyclictest0-21swapper/323:15:313
1781499305,17cyclictest0-21swapper/300:14:093
1781499302,15cyclictest1146-21grep19:50:453
1781499301,7cyclictest1956-21ssh21:15:423
1781499301,19cyclictest6473-21timerandwakeup20:05:433
1781299306,11cyclictest0-21swapper/120:25:401
1781299306,11cyclictest0-21swapper/120:25:401
1781499296,4cyclictest7850irq/56-dwc_otg22:30:403
1781499293,4cyclictest7950irq/56-dwc_otg_23:28:343
1781499293,4cyclictest7950irq/56-dwc_otg_23:28:343
1781499293,4cyclictest25753-21apt-get00:20:303
1781499293,13cyclictest0-21swapper/320:00:563
1781499292,10cyclictest32254-21munin-run19:50:163
1781499291,14cyclictest0-21swapper/320:52:123
1781399294,7cyclictest7950irq/56-dwc_otg_19:15:452
1781399293,17cyclictest0-21swapper/200:20:232
1781399292,13cyclictest7950irq/56-dwc_otg_19:40:332
17814992824,2cyclictest0-21swapper/319:25:353
1781399284,11cyclictest7950irq/56-dwc_otg_19:45:392
1781499272,8cyclictest0-21swapper/320:57:413
1781499272,10cyclictest8050irq/56-dwc_otg_20:15:163
1781499271,15cyclictest18195-21ls19:10:343
1781499271,13cyclictest8050irq/56-dwc_otg_20:20:443
1781499267,4cyclictest8050irq/56-dwc_otg_19:40:343
173022263,14sleep20-21swapper/219:07:192
1781499251,6cyclictest7950irq/56-dwc_otg_19:20:303
1781499251,4cyclictest18294-21/usr/sbin/munin20:40:383
1781499241,9cyclictest7950irq/56-dwc_otg_19:35:293
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional