You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-19 - 06:18

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sat Jul 19, 2025 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1756321860,5sleep02072399cyclictest22:10:420
2184321690,5sleep22072599cyclictest23:35:352
194312950,2sleep30-21swapper/322:53:413
194312950,2sleep30-21swapper/322:53:413
69452890,2sleep10-21swapper/123:17:551
69452890,2sleep10-21swapper/123:17:551
82942870,2sleep00-21swapper/023:20:070
82942870,2sleep00-21swapper/023:20:070
188072870,2sleep20-21swapper/223:32:172
131512850,2sleep10-21swapper/121:25:421
210912810,3sleep221086-21ssh22:15:312
2072399752,4cyclictest0-21swapper/021:40:160
2072399733,56cyclictest17441-21aten_rbpower_vo20:30:220
2072399721,54cyclictest0-21swapper/023:25:180
2072399712,41cyclictest3918-21aten_rbpower_po21:55:200
277392690,2sleep20-21swapper/223:03:592
20723996817,28cyclictest32530-21munin-plugin-st23:50:070
20723996817,28cyclictest32530-21munin-plugin-st23:50:070
20723996810,28cyclictest0-21swapper/023:55:220
247472670,3sleep337-21rcuc/320:50:253
2072399672,50cyclictest0-21swapper/023:00:240
2072399662,56cyclictest8070-21fschecks_time21:20:260
2072399661,54cyclictest460-21ntpq21:50:300
63742650,1sleep30-21swapper/321:57:533
2072399652,44cyclictest0-21swapper/021:25:230
262492640,2sleep20-21swapper/222:21:392
20723996345,7cyclictest7850irq/56-dwc_otg22:35:060
2072399632,50cyclictest0-21swapper/000:25:060
2072399632,44cyclictest5466-21grep22:35:370
2072399631,46cyclictest0-21swapper/023:35:320
20723996314,34cyclictest19183-21wget20:35:240
2072399621,52cyclictest8947-21awk23:20:260
2072399621,52cyclictest21431-21latency20:40:280
20724996118,13cyclictest16595-21grep20:25:371
2072399612,46cyclictest0-21swapper/000:00:250
2072399612,45cyclictest0-21swapper/019:15:240
2072399612,43cyclictest8686-21sh22:40:260
2072399611,50cyclictest0-21swapper/023:05:250
2072399602,44cyclictest0-21swapper/020:55:330
20723995938,5cyclictest31056-21grep21:05:350
2072399593,41cyclictest28588-21ssh00:25:370
2072399592,40cyclictest9919-21latency_hist20:10:070
2072399591,43cyclictest4191-21ssh21:15:270
2072399591,43cyclictest4191-21ssh21:15:270
20724995822,12cyclictest13990-21apt-get00:06:121
20724995820,24cyclictest0-21swapper/120:05:221
2072399582,41cyclictest0-21swapper/021:30:210
2072399582,38cyclictest20205-21sh22:55:070
2072399582,38cyclictest20205-21sh22:55:070
20723995818,4cyclictest20867-21grep19:10:220
2072399581,45cyclictest29538-21kworker/0:122:20:330
2072399581,42cyclictest0-21swapper/022:27:330
20723995813,26cyclictest32462-21latency21:10:290
20723995811,32cyclictest0-21swapper/021:45:380
20724995715,16cyclictest20073-21aten_rbpower_vo21:35:241
20723995728,14cyclictest20542-21/usr/sbin/munin22:55:340
2072399571,46cyclictest0-21swapper/020:45:310
2072399571,3cyclictest0-21swapper/019:50:180
2072399571,33cyclictest2544-21/usr/sbin/munin00:35:300
20724995619,18cyclictest29961-21ssh00:28:251
20724995616,21cyclictest27392-21sh22:23:471
20723995635,6cyclictest25103-21cut23:40:250
204172560,5sleep30-21swapper/319:09:383
160862560,2sleep30-21swapper/322:10:093
20724995519,8cyclictest23439-21ntp_states20:45:301
20724995517,24cyclictest11543-21ssh22:04:431
2072399552,33cyclictest30993-21tail19:35:370
2072399551,45cyclictest0-21swapper/022:45:170
2072399551,44cyclictest0-21swapper/000:08:350
2072399551,43cyclictest0-21swapper/000:30:340
2072399551,38cyclictest28997-21grep21:00:330
2072399551,38cyclictest28997-21grep21:00:330
2072399551,36cyclictest0-21swapper/022:05:260
2072399542,36cyclictest0-21swapper/019:40:290
2072399542,35cyclictest0-21swapper/020:50:290
20724995318,19cyclictest1908-21ssh22:31:351
20724995313,22cyclictest6290-21ssh22:36:591
2072399537,32cyclictest0-21swapper/000:20:060
2072399532,42cyclictest0-21swapper/022:16:160
2072399531,45cyclictest9673-21sh22:01:140
2072399531,40cyclictest661-21runrttasks00:13:020
2072399531,35cyclictest19937-21/usr/sbin/munin21:35:200
20724995217,12cyclictest10737-21rm22:42:401
20724995215,14cyclictest30224-21chrt22:26:291
2072399521,29cyclictest0-21swapper/023:15:000
2072499519,34cyclictest0-21swapper/121:55:201
20724995125,4cyclictest7850irq/56-dwc_otg22:50:431
20724995125,4cyclictest7850irq/56-dwc_otg22:50:431
20724995118,21cyclictest30712-21ssh23:06:561
20724995115,23cyclictest9952-21rm00:00:431
20724995113,24cyclictest0-21swapper/120:40:211
2072399513,37cyclictest0-21swapper/023:51:340
2072399512,41cyclictest0-21swapper/020:28:060
2072399512,38cyclictest0-21swapper/023:32:510
2072499509,9cyclictest0-21swapper/119:15:111
2072499509,23cyclictest27595-21taskset20:56:231
2072499508,15cyclictest16011-21latency_hist22:10:071
20724995017,20cyclictest9166-21ssh23:20:291
20724995012,11cyclictest25970-21ssh00:22:571
20724995011,12cyclictest13965-21ssh23:25:511
20724995010,11cyclictest4056-21idleruntime-cro23:15:061
20723995028,8cyclictest24518-21wget19:20:240
2072399502,38cyclictest0-21swapper/019:45:230
2072399502,33cyclictest0-21swapper/020:15:100
20725994940,7cyclictest28404-21sh22:25:152
20724994915,12cyclictest26898-21rm21:43:331
20724994914,22cyclictest2046-21ssh21:12:591
20724994914,15cyclictest5571-21timerandwakeup23:55:351
20724994912,22cyclictest4711-21/usr/sbin/munin19:55:201
20723994939,3cyclictest0-21swapper/019:55:170
20723994919,16cyclictest0-21swapper/020:12:570
2072399491,39cyclictest0-21swapper/020:00:130
2072399491,34cyclictest13749-21grep20:20:200
2072499489,24cyclictest0-21swapper/121:15:201
2072499489,24cyclictest0-21swapper/121:15:201
2072499483,23cyclictest7850irq/56-dwc_otg22:56:121
20724994817,15cyclictest26432-21rm23:01:321
20724994814,8cyclictest20764-21irqstats22:15:261
20724994814,12cyclictest2971-21rm23:52:541
20724994812,8cyclictest28550-21irqstats19:30:261
20724994812,19cyclictest7850irq/56-dwc_otg22:10:281
2072399482,38cyclictest0-21swapper/019:28:300
2072399482,38cyclictest0-21swapper/019:28:300
203842483,11sleep00-21swapper/019:09:110
2072499479,22cyclictest19578-21sh21:35:051
20724994723,14cyclictest23974-21ssh23:39:201
20724994717,15cyclictest32756-21ssh00:31:091
20724994715,14cyclictest18189-21rm00:12:171
20724994713,11cyclictest21984-21ssh00:17:271
20724994711,20cyclictest32612-21systemd-journal23:31:581
20724994711,15cyclictest2984-21wget19:50:211
2072599463,16cyclictest8050irq/56-dwc_otg_23:10:222
2072499469,11cyclictest0-21swapper/121:45:581
2072499467,24cyclictest7181-21ntp_states20:00:311
20724994610,20cyclictest7850irq/56-dwc_otg21:05:071
20724994610,20cyclictest7850irq/56-dwc_otg21:05:071
20724994517,14cyclictest3050-21seq21:54:201
20724994515,15cyclictest4354-21ssh00:36:371
2072399452,29cyclictest0-21swapper/019:32:190
2072499447,23cyclictest0-21swapper/121:05:201
2072499447,10cyclictest8050irq/56-dwc_otg_22:45:251
20724994414,16cyclictest32356-21ssh23:49:481
20724994414,16cyclictest32356-21ssh23:49:481
2072699432,7cyclictest0-21swapper/321:20:223
2072599436,30cyclictest8050irq/56-dwc_otg_00:35:222
20725994318,5cyclictest12921-21if_wlan000:05:312
2072499438,11cyclictest9384-21ssh21:21:161
2072499436,23cyclictest0-21swapper/119:40:221
20724994312,12cyclictest26348-21aten_rbpower_en19:25:211
20724994312,12cyclictest26348-21aten_rbpower_en19:25:211
2072699420,3cyclictest8050irq/56-dwc_otg_22:40:193
2072599427,23cyclictest0-21swapper/221:20:222
2072599427,22cyclictest0-21swapper/222:00:132
2072599427,21cyclictest0-21swapper/220:40:212
2072599426,25cyclictest0-21swapper/221:05:202
2072599426,23cyclictest0-21swapper/219:40:222
20725994221,6cyclictest4286-21latency_hist23:55:062
2072499424,7cyclictest0-21swapper/119:35:201
20724994210,9cyclictest0-21swapper/119:20:241
20724994210,17cyclictest28262-21ssh23:44:451
2072599418,27cyclictest0-21swapper/220:20:202
2072599417,24cyclictest0-21swapper/219:15:122
2072599416,26cyclictest0-21swapper/200:20:212
2072499415,12cyclictest13783-21aten_rbpower_po20:20:201
20726994034,4cyclictest100792sleep320:10:173
2072599401,4cyclictest8050irq/56-dwc_otg_19:35:202
2072599401,18cyclictest8050irq/56-dwc_otg_22:34:172
2072599401,15cyclictest8128-21sh23:20:072
2072599401,15cyclictest8128-21sh23:20:072
2072499407,23cyclictest0-21swapper/120:50:241
20724994019,5cyclictest19061-21latency_hist20:35:071
124032400,2sleep10-21swapper/120:15:251
9092390,2sleep20-21swapper/221:50:352
69882390,2sleep30-21swapper/321:19:363
69882390,2sleep30-21swapper/321:19:363
20726993919,13cyclictest5082-21ssh00:38:083
20726993917,5cyclictest32444-21grep21:50:243
20726993914,7cyclictest32453-21grep00:30:373
20725993916,15cyclictest301ktimersoftd/220:25:352
2072499394,14cyclictest2379-21taskset19:47:021
2072499394,13cyclictest0-21swapper/120:14:351
35982380,2sleep20-21swapper/221:15:202
35982380,2sleep20-21swapper/221:15:202
2072699386,23cyclictest0-21swapper/321:35:233
20726993816,5cyclictest381ktimersoftd/300:10:373
2072599388,9cyclictest29-21rcuc/200:03:252
2072599387,16cyclictest0-21swapper/220:55:222
2072599386,17cyclictest31-21ksoftirqd/200:25:432
20725993822,7cyclictest20757-21ssh21:35:332
20725993819,11cyclictest8050irq/56-dwc_otg_23:20:232
20725993816,6cyclictest585-21dhclient19:50:332
20725993814,13cyclictest28349-21/usr/sbin/munin21:45:252
2072599381,27cyclictest16775-21cut22:50:232
2072599381,27cyclictest16775-21cut22:50:232
2072499385,11cyclictest7950irq/56-dwc_otg_20:39:401
2072599378,8cyclictest7850irq/56-dwc_otg00:30:192
2072599377,10cyclictest7850irq/56-dwc_otg22:10:272
2072599376,16cyclictest301ktimersoftd/219:25:222
2072599376,16cyclictest301ktimersoftd/219:25:222
2072599376,14cyclictest31-21ksoftirqd/223:55:102
2072599371,27cyclictest10412-21fschecks_time20:10:242
2072699367,18cyclictest37-21rcuc/322:35:243
2072699367,16cyclictest8050irq/56-dwc_otg_20:45:353
2072699366,5cyclictest8050irq/56-dwc_otg_23:50:213
20726993614,4cyclictest30866-21cat00:30:073
2072699361,24cyclictest17546-21switchtime23:30:333
2072599367,14cyclictest0-21swapper/221:10:222
2072599365,5cyclictest7950irq/56-dwc_otg_19:30:272
2072599365,12cyclictest31-21ksoftirqd/222:39:532
2072599362,13cyclictest301ktimersoftd/200:17:082
2072599361,18cyclictest8050irq/56-dwc_otg_23:25:582
129482360,4sleep312924-21ssh22:45:283
2072699356,5cyclictest8050irq/56-dwc_otg_23:45:203
2072699356,5cyclictest8050irq/56-dwc_otg_23:45:203
2072699351,9cyclictest0-21swapper/320:20:173
20726993517,15cyclictest2087150ssh22:15:273
20726993517,10cyclictest27668-21ssh22:24:193
2072699351,6cyclictest1318850ssh22:05:343
20726993515,6cyclictest12306-21latency_hist23:25:063
2072599358,18cyclictest29-21rcuc/219:55:202
2072599358,12cyclictest301ktimersoftd/222:58:532
2072599356,19cyclictest25009-21ssh23:40:252
2072599353,10cyclictest0-21swapper/200:10:222
20725993517,9cyclictest301ktimersoftd/222:07:232
20725993514,9cyclictest7850irq/56-dwc_otg22:44:582
2072599351,25cyclictest29895-21ls21:05:082
2072599351,25cyclictest29895-21ls21:05:082
20725993512,4cyclictest301ktimersoftd/222:47:422
2072599351,17cyclictest0-21swapper/221:40:342
20725993511,15cyclictest301ktimersoftd/221:29:342
20724993517,15cyclictest0-21swapper/119:10:071
2072699349,4cyclictest0-21swapper/300:09:233
2072699349,11cyclictest0-21swapper/323:15:193
2072699349,11cyclictest0-21swapper/323:15:193
2072699347,15cyclictest0-21swapper/319:30:203
20726993418,5cyclictest15124-21sh23:28:013
2072699341,23cyclictest32563-21ls23:10:073
2072599349,7cyclictest7950irq/56-dwc_otg_23:49:532
2072599349,7cyclictest7950irq/56-dwc_otg_23:49:532
2072599347,24cyclictest0-21swapper/219:10:212
20725993419,6cyclictest1346-21fschecks_count19:45:232
20725993412,8cyclictest7950irq/56-dwc_otg_21:59:212
18752340,1sleep30-21swapper/323:11:053
2072699339,6cyclictest0-21swapper/323:00:243
2072699336,15cyclictest0-21swapper/321:00:213
2072699336,15cyclictest0-21swapper/321:00:213
20726993310,10cyclictest0-21swapper/300:20:313
2072599337,19cyclictest17057-21unixbench_multi21:30:352
2072599337,16cyclictest0-21swapper/220:05:222
2072599335,19cyclictest28717-21ssh23:05:212
2072599331,8cyclictest18420-21unixbench_multi20:30:352
2072699328,5cyclictest0-21swapper/321:48:353
2072699326,5cyclictest8050irq/56-dwc_otg_23:55:373
20726993220,9cyclictest8943-21ssh22:00:343
2072699321,5cyclictest7850irq/56-dwc_otg21:40:233
2072699321,19cyclictest0-21swapper/321:29:413
2072599321,7cyclictest12182-21fschecks_time20:15:232
2072699314,5cyclictest8050irq/56-dwc_otg_20:40:323
20726993122,7cyclictest32063-21ssh21:10:233
20726993115,7cyclictest20655-21/usr/sbin/munin23:35:343
20726993114,5cyclictest27648-21sh23:43:363
2072599318,6cyclictest31-21ksoftirqd/220:00:252
2072599315,19cyclictest0-21swapper/220:50:352
2072599312,15cyclictest301ktimersoftd/220:40:072
191592311,23sleep30-21swapper/320:35:253
2072699307,5cyclictest8050irq/56-dwc_otg_22:30:293
2072699306,4cyclictest7850irq/56-dwc_otg00:00:283
2072699302,26cyclictest24272-21sh23:00:063
2072699301,26cyclictest9154-21ls20:05:353
2072699301,15cyclictest0-21swapper/320:30:073
2072699301,11cyclictest7850irq/56-dwc_otg19:25:213
2072699301,11cyclictest7850irq/56-dwc_otg19:25:213
2072599301,21cyclictest0-21swapper/219:20:352
202502302,18sleep10-21swapper/119:07:261
2072699298,13cyclictest37-21rcuc/300:15:183
2072699292,8cyclictest0-21swapper/319:19:393
2072699292,19cyclictest0-21swapper/321:30:243
2072699292,10cyclictest29044-21cat22:25:253
2072599294,19cyclictest29-21rcuc/220:45:302
2072699289,6cyclictest2277-21seq19:45:463
2072699289,5cyclictest30122-21sort21:05:223
2072699287,7cyclictest7950irq/56-dwc_otg_19:40:323
2072699285,13cyclictest0-21swapper/320:00:193
2072699281,4cyclictest8050irq/56-dwc_otg_19:10:313
2072699274,4cyclictest7950irq/56-dwc_otg_20:15:293
2072699273,10cyclictest8050irq/56-dwc_otg_19:50:243
2072699272,5cyclictest7850irq/56-dwc_otg19:20:283
2072699271,7cyclictest7850irq/56-dwc_otg19:55:203
201782273,14sleep20-21swapper/219:06:382
2072699266,3cyclictest8050irq/56-dwc_otg_19:35:223
2072699262,8cyclictest17532-21/usr/sbin/munin20:30:233
2072699261,15cyclictest0-21swapper/320:55:293
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional