You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-05-31 - 13:11

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Wed May 31, 2023 00:46:03)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
8255911710,6ptp4l401ktimersoftd/319:05:013
8255911710,6ptp4l401ktimersoftd/319:05:013
1868621240,6sleep1804499cyclictest19:30:371
804499961,9cyclictest25-21ksoftirqd/123:55:271
8044998675,6cyclictest25-21ksoftirqd/122:40:201
8043998029,8cyclictest9-21ksoftirqd/021:30:210
8043998020,7cyclictest9-21ksoftirqd/020:00:420
8043997929,10cyclictest9-21ksoftirqd/022:50:180
8043997925,7cyclictest9-21ksoftirqd/019:50:310
8043997728,9cyclictest9-21ksoftirqd/019:55:210
8043997726,10cyclictest9-21ksoftirqd/020:25:360
8043997724,9cyclictest9-21ksoftirqd/019:35:250
8043997723,7cyclictest9-21ksoftirqd/022:25:270
8044997538,8cyclictest25-21ksoftirqd/123:25:211
8043997522,7cyclictest9-21ksoftirqd/019:40:420
8044997432,10cyclictest25-21ksoftirqd/120:15:421
8044997362,6cyclictest25-21ksoftirqd/119:10:171
8044997362,4cyclictest25-21ksoftirqd/123:50:171
8043997322,7cyclictest9-21ksoftirqd/023:30:350
8043997321,7cyclictest9-21ksoftirqd/022:00:180
76072730,5sleep07608-21fschecks_count23:45:220
825591720,2ptp4l391rcuc/322:56:463
804399713,9cyclictest9-21ksoftirqd/019:20:190
8043997133,8cyclictest9-21ksoftirqd/019:45:310
8043997123,9cyclictest9-21ksoftirqd/000:28:410
8043997121,7cyclictest9-21ksoftirqd/019:25:300
8043997119,5cyclictest9-21ksoftirqd/023:05:330
8043997117,5cyclictest9-21ksoftirqd/023:00:200
108882710,4sleep38042-21cyclictest20:25:203
825591700,4ptp4l42350irq/98-enp4s0-T23:29:443
8044997032,11cyclictest25-21ksoftirqd/120:30:281
8043997032,8cyclictest9-21ksoftirqd/021:35:250
8043997029,8cyclictest9-21ksoftirqd/023:35:180
8043997024,10cyclictest9-21ksoftirqd/020:50:260
8043997019,9cyclictest9-21ksoftirqd/020:05:240
8043997017,7cyclictest9-21ksoftirqd/000:00:340
8043997016,7cyclictest9-21ksoftirqd/021:15:370
804499694,4cyclictest121rcu_preempt19:20:401
8044996929,10cyclictest25-21ksoftirqd/123:17:251
8044996929,10cyclictest25-21ksoftirqd/120:45:461
8044996918,5cyclictest25-21ksoftirqd/122:10:341
8043996933,4cyclictest9-21ksoftirqd/019:15:240
8043996932,8cyclictest9-21ksoftirqd/020:10:170
8043996932,5cyclictest9-21ksoftirqd/021:45:470
8043996931,7cyclictest9-21ksoftirqd/021:40:390
8043996930,7cyclictest9-21ksoftirqd/020:40:350
8043996922,9cyclictest9-21ksoftirqd/023:20:370
8043996919,7cyclictest9-21ksoftirqd/023:50:230
8044996829,9cyclictest25-21ksoftirqd/122:30:371
8044996829,9cyclictest25-21ksoftirqd/122:30:371
8044996829,6cyclictest25-21ksoftirqd/119:35:261
8044996824,7cyclictest25-21ksoftirqd/123:45:311
8043996831,5cyclictest9-21ksoftirqd/019:10:060
8043996819,9cyclictest9-21ksoftirqd/022:20:210
8043996817,7cyclictest9-21ksoftirqd/022:40:330
8043996816,7cyclictest9-21ksoftirqd/020:45:170
8043996815,9cyclictest9-21ksoftirqd/000:15:350
8044996716,7cyclictest25-21ksoftirqd/119:45:011
8043996730,7cyclictest9-21ksoftirqd/023:40:320
8043996730,7cyclictest9-21ksoftirqd/023:40:310
8043996729,7cyclictest9-21ksoftirqd/021:50:380
8043996729,5cyclictest9-21ksoftirqd/022:30:360
8043996729,5cyclictest9-21ksoftirqd/022:30:360
8043996720,5cyclictest9-21ksoftirqd/023:15:230
8043996716,7cyclictest9-21ksoftirqd/020:39:090
8043996715,7cyclictest9-21ksoftirqd/021:05:350
8044996629,5cyclictest3184391kworker/1:200:30:231
8044996618,10cyclictest25-21ksoftirqd/122:35:311
8044996612,7cyclictest25-21ksoftirqd/120:04:591
8044996610,7cyclictest25-21ksoftirqd/121:50:001
8043996628,7cyclictest9-21ksoftirqd/021:20:260
8043996620,10cyclictest9-21ksoftirqd/020:55:290
8043996617,7cyclictest9-21ksoftirqd/022:55:240
8043996617,4cyclictest9-21ksoftirqd/022:15:370
8043996616,9cyclictest9-21ksoftirqd/022:45:330
8043996615,7cyclictest9-21ksoftirqd/020:30:380
8043996615,7cyclictest9-21ksoftirqd/020:20:190
8044996524,5cyclictest25-21ksoftirqd/121:11:411
8044996517,7cyclictest25-21ksoftirqd/120:25:401
8044996516,7cyclictest25-21ksoftirqd/100:00:251
8044996511,7cyclictest25-21ksoftirqd/123:05:211
8043996532,9cyclictest9-21ksoftirqd/021:25:410
8043996530,7cyclictest9-21ksoftirqd/023:10:030
8043996528,5cyclictest9-21ksoftirqd/022:35:400
8043996520,10cyclictest9-21ksoftirqd/000:20:030
8043996518,6cyclictest9-21ksoftirqd/020:15:240
8043996513,8cyclictest9-21ksoftirqd/021:12:580
213652650,5sleep31131-21lldpd20:45:403
804499647,8cyclictest1131-21lldpd21:15:201
8044996434,4cyclictest25-21ksoftirqd/121:35:001
8044996429,9cyclictest25-21ksoftirqd/119:50:361
8044996421,5cyclictest25-21ksoftirqd/121:00:001
8044996416,8cyclictest25-21ksoftirqd/100:05:381
8044996412,8cyclictest25-21ksoftirqd/123:40:291
8044996412,8cyclictest25-21ksoftirqd/123:40:291
8043996419,4cyclictest9-21ksoftirqd/022:05:170
8044996320,4cyclictest25-21ksoftirqd/123:00:211
8043996324,8cyclictest9-21ksoftirqd/000:10:420
804499629,7cyclictest25-21ksoftirqd/120:35:251
804499628,7cyclictest25-21ksoftirqd/122:02:261
8044996247,3cyclictest25-21ksoftirqd/123:35:231
8044996229,9cyclictest25-21ksoftirqd/119:15:381
8044996228,8cyclictest25-21ksoftirqd/121:25:411
8044996226,9cyclictest25-21ksoftirqd/119:59:311
804499622,3cyclictest25-21ksoftirqd/121:56:091
8044996213,7cyclictest25-21ksoftirqd/122:25:321
8043996215,4cyclictest9-21ksoftirqd/019:34:040
8044996152,4cyclictest25-21ksoftirqd/121:05:161
8044996125,9cyclictest25-21ksoftirqd/123:20:341
8044996124,13cyclictest25-21ksoftirqd/100:36:091
8044996123,5cyclictest25-21ksoftirqd/100:11:041
8044996123,10cyclictest25-21ksoftirqd/123:30:351
8044996111,7cyclictest25-21ksoftirqd/122:45:271
8043996129,7cyclictest9-21ksoftirqd/000:35:230
8043996127,7cyclictest9-21ksoftirqd/023:29:530
804499609,7cyclictest25-21ksoftirqd/120:07:301
804499605,7cyclictest25-21ksoftirqd/120:50:141
8043996022,7cyclictest9-21ksoftirqd/021:04:500
8043996019,7cyclictest9-21ksoftirqd/022:10:190
8043996017,8cyclictest9-21ksoftirqd/021:55:410
804499597,7cyclictest25-21ksoftirqd/119:25:421
804499593,8cyclictest25-21ksoftirqd/121:05:011
8044995923,5cyclictest25-21ksoftirqd/122:55:261
8044995920,8cyclictest25-21ksoftirqd/122:20:231
804399595,4cyclictest9-21ksoftirqd/000:30:210
8043995917,10cyclictest9-21ksoftirqd/023:56:220
8043995915,11cyclictest9-21ksoftirqd/000:06:020
825591580,2ptp4l0-21swapper/321:44:343
8044995845,3cyclictest25-21ksoftirqd/121:42:301
804499579,4cyclictest25-21ksoftirqd/122:50:371
804499575,4cyclictest121rcu_preempt22:16:531
8044995749,4cyclictest25-21ksoftirqd/100:25:211
8044995720,7cyclictest25-21ksoftirqd/121:40:011
804499567,9cyclictest25-21ksoftirqd/121:20:231
8044995648,4cyclictest25-21ksoftirqd/120:10:181
8044995644,4cyclictest25-21ksoftirqd/100:20:211
8044995637,4cyclictest25-21ksoftirqd/120:41:571
804499562,7cyclictest25-21ksoftirqd/120:24:301
771525642,6sleep10-21swapper/119:09:301
771525642,6sleep10-21swapper/119:09:301
8044995538,4cyclictest25-21ksoftirqd/123:10:421
8044995520,10cyclictest25-21ksoftirqd/100:15:221
8044995517,7cyclictest25-21ksoftirqd/122:05:241
8044995425,4cyclictest25-21ksoftirqd/119:49:291
804499534,4cyclictest121rcu_preempt21:50:381
57698530,38rtkit-daemon3489-21apache219:06:140
57698530,38rtkit-daemon3489-21apache219:06:130
804699480,4cyclictest13132-21users22:45:433
804699472,37cyclictest27460-21apt-get22:10:173
804699472,36cyclictest17831-21apt-get20:40:213
804699451,34cyclictest11818-21apt-get23:55:273
804699451,30cyclictest1123-21snmpd23:41:573
804699451,30cyclictest1123-21snmpd23:41:573
8045994537,4cyclictest33-21ksoftirqd/220:30:382
1120024527,5sleep233-21ksoftirqd/223:51:232
804699441,22cyclictest0-21swapper/321:29:103
804699440,4cyclictest1131-21lldpd22:42:113
804699440,3cyclictest0-21swapper/320:16:583
804699434,23cyclictest206-21systemd-journal21:06:473
8046994336,4cyclictest41-21ksoftirqd/320:36:413
804699432,33cyclictest29140-21apt-get19:55:213
804699431,35cyclictest206-21systemd-journal21:35:203
804699431,34cyclictest64-21kswapd021:00:183
8045994337,4cyclictest33-21ksoftirqd/222:10:182
8045994336,4cyclictest33-21ksoftirqd/219:45:382
804699421,34cyclictest1726-21apt-get21:15:213
804699420,4cyclictest15538-21/usr/sbin/munin19:25:263
804599423,4cyclictest121rcu_preempt23:04:012
8045994234,4cyclictest33-21ksoftirqd/219:25:232
804599423,3cyclictest121rcu_preempt19:21:022
8045994225,4cyclictest33-21ksoftirqd/221:50:272
804599420,3cyclictest121rcu_preempt22:42:212
8046994134,4cyclictest41-21ksoftirqd/321:56:313
804699413,32cyclictest0-21swapper/320:50:133
804699410,5cyclictest1123-21snmpd19:10:263
804699410,4cyclictest3094-21interrupts23:35:273
804699410,4cyclictest3036-21meminfo22:25:353
804699410,4cyclictest28792-21cat23:20:313
804699410,4cyclictest1123-21snmpd23:12:223
804699410,4cyclictest1123-21snmpd00:05:113
8045994134,4cyclictest33-21ksoftirqd/220:15:362
804699407,29cyclictest206-21systemd-journal00:10:563
804699401,33cyclictest22814-21apt-get22:00:183
8046994013,23cyclictest1100-21runrttasks00:31:483
804699400,5cyclictest206-21systemd-journal20:12:183
804699400,5cyclictest20392-21idleruntime19:35:303
804699400,4cyclictest32462-21apt-get23:30:193
804699400,4cyclictest1131-21lldpd21:30:383
804699400,4cyclictest1123-21snmpd21:12:513
765824024,7sleep20-21swapper/219:08:462
765824024,7sleep20-21swapper/219:08:452
804699394,31cyclictest1123-21snmpd22:35:393
804699393,32cyclictest0-21swapper/323:15:193
804699391,32cyclictest0-21swapper/322:20:193
8046993913,23cyclictest27324-21cut19:50:253
8046993911,24cyclictest569-21in:imuxsock19:46:323
804699390,5cyclictest1131-21lldpd23:09:583
804699390,5cyclictest0-21swapper/320:05:353
804699390,4cyclictest57698rtkit-daemon00:04:213
804699390,4cyclictest31401-21/usr/sbin/munin20:00:223
804699390,4cyclictest22082-21runrttasks19:40:183
804699390,4cyclictest206-21systemd-journal22:05:183
804699390,4cyclictest206-21systemd-journal00:35:233
804699390,4cyclictest206-21systemd-journal00:23:233
804699390,4cyclictest1131-21lldpd22:50:223
804699390,4cyclictest1123-21snmpd22:15:303
8045993934,3cyclictest33-21ksoftirqd/221:30:342
8045993934,3cyclictest33-21ksoftirqd/219:50:322
8045993931,5cyclictest33-21ksoftirqd/223:35:192
8045993922,6cyclictest33-21ksoftirqd/221:12:202
804599391,3cyclictest121rcu_preempt19:44:392
804699383,31cyclictest559-21gmain21:50:233
804699380,6cyclictest1123-21snmpd00:25:183
804699380,5cyclictest1123-21snmpd23:50:343
804699380,4cyclictest571-21rs:main3
804699380,4cyclictest206-21systemd-journal19:24:263
804699380,4cyclictest1131-21lldpd22:30:263
804699380,4cyclictest1131-21lldpd22:30:263
804699380,4cyclictest1131-21lldpd20:23:183
804699380,4cyclictest1123-21snmpd19:30:383
804699380,3cyclictest5501-21python21:20:393
804699380,3cyclictest206-21systemd-journal20:59:103
804699380,3cyclictest206-21systemd-journal00:16:303
804699380,3cyclictest0-21swapper/319:19:513
8045993833,3cyclictest33-21ksoftirqd/220:50:252
8045993833,3cyclictest33-21ksoftirqd/200:25:302
8045993832,3cyclictest33-21ksoftirqd/223:25:262
8045993831,4cyclictest33-21ksoftirqd/221:20:302
8045993831,4cyclictest33-21ksoftirqd/220:38:082
8045993831,4cyclictest33-21ksoftirqd/200:38:282
8045993820,12cyclictest1123-21snmpd19:35:232
2101823820,5sleep233-21ksoftirqd/221:55:432
804699378,25cyclictest1123-21snmpd20:30:333
804699370,5cyclictest1123-21snmpd23:01:193
804599374,3cyclictest121rcu_preempt22:48:332
8045993732,3cyclictest33-21ksoftirqd/220:55:382
8045993732,3cyclictest33-21ksoftirqd/200:10:132
8045993732,3cyclictest33-21ksoftirqd/200:09:582
8045993730,4cyclictest33-21ksoftirqd/220:41:502
804599371,7cyclictest1131-21lldpd23:43:352
804599371,7cyclictest1131-21lldpd23:43:352
804699360,3cyclictest0-21swapper/323:45:073
804599366,3cyclictest121rcu_preempt23:24:582
804599365,3cyclictest57698rtkit-daemon19:19:472
8045993630,4cyclictest33-21ksoftirqd/223:55:402
8045993630,4cyclictest33-21ksoftirqd/221:25:352
8045993629,4cyclictest33-21ksoftirqd/200:20:282
8045993530,3cyclictest33-21ksoftirqd/220:10:342
8045993529,4cyclictest33-21ksoftirqd/223:45:332
8045993529,4cyclictest33-21ksoftirqd/223:10:212
8045993529,4cyclictest33-21ksoftirqd/219:30:342
8045993529,3cyclictest33-21ksoftirqd/220:23:022
8045993528,4cyclictest33-21ksoftirqd/222:58:392
8045993528,4cyclictest33-21ksoftirqd/222:50:202
8045993528,4cyclictest33-21ksoftirqd/222:15:352
8045993524,7cyclictest33-21ksoftirqd/221:35:202
357123528,3sleep233-21ksoftirqd/221:16:402
300152350,5sleep21131-21lldpd21:05:222
8045993429,3cyclictest33-21ksoftirqd/221:00:382
8045993429,3cyclictest33-21ksoftirqd/220:45:332
8045993428,4cyclictest33-21ksoftirqd/222:25:432
8045993428,3cyclictest33-21ksoftirqd/220:05:292
8045993427,4cyclictest33-21ksoftirqd/223:15:302
8045993427,4cyclictest33-21ksoftirqd/220:28:402
8045993418,6cyclictest33-21ksoftirqd/219:14:372
8045993417,6cyclictest33-21ksoftirqd/200:19:122
8045993416,7cyclictest33-21ksoftirqd/221:40:572
8045993414,15cyclictest206-21systemd-journal19:55:202
8045993326,4cyclictest33-21ksoftirqd/223:05:222
8045993315,7cyclictest33-21ksoftirqd/200:32:442
804599317,5cyclictest6971-21cpuspeed_turbos22:35:212
8045993125,4cyclictest33-21ksoftirqd/221:45:342
8045993116,5cyclictest33-21ksoftirqd/220:04:332
8045993025,3cyclictest33-21ksoftirqd/222:00:302
8045993023,4cyclictest33-21ksoftirqd/222:20:222
8045993017,10cyclictest33-21ksoftirqd/200:00:302
8045992822,4cyclictest33-21ksoftirqd/223:30:352
8045992720,4cyclictest33-21ksoftirqd/222:05:172
8045992520,3cyclictest33-21ksoftirqd/222:30:442
8045992520,3cyclictest33-21ksoftirqd/222:30:432
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional